Évaluation des résultats des tests numériques

L'application de mesures de performance spécifiées à des données expérimentales peut être un processus complexe, nécessitant souvent le développement de logiciels personnalisés pour gérer les données et effectuer les actions de traitement nécessaires. Un client peut décider de laisser l'application des métriques à l'agroalimentaireTEF pour se concentrer plutôt sur le développement et les tests du système et sur la définition des métriques de performance. Ce service permet à ce client de recevoir directement les résultats de l'évaluation des performances.Le rapport contenant les résultats est préparé par les ingénieurs qui préparent et exécutent le traitement axé sur les métriques. Ces ingénieurs sont également experts en systèmes numériques (par exemple, modèles d’IA) et en robotique pour les applications agroalimentaires, ce qui leur permet de compléter les résultats du rapport par une analyse approfondie, par exemple pour identifier les problèmes de performance. Cette analyse, qui fait partie du rapport, met en évidence les problèmes de performance du système et identifie les éléments de la chaîne d'outils de traitement du système testé qui sont les plus susceptibles d'être impliqués dans les problèmes. Le client peut donc tirer parti du rapport non seulement pour comprendre si les performances du système sont à la hauteur des attentes, mais aussi pour décider où concentrer les efforts de développement supplémentaires pour améliorer les performances du système.

La durée de ce service est en moyenne de 3-4 semaines mais dépend de la quantité de données à traiter et de la complexité des opérations nécessaires à la mise en place et à l'exécution du traitement des données.La phase de préparation du service implique un ou plusieurs entretiens où le client partage avec agrifoodTEF des informations sur les données à analyser et les mesures de performance à appliquer. Des informations supplémentaires (par exemple, les caractéristiques du système interne) peuvent être utiles pour étayer l’analyse accompagnant les données du rapport (voir ci-dessous); ces informations peuvent être partagées dans le cadre de la NDA si elles sont confidentielles.L’échange préliminaire d’informations est suivi de la transmission à AgrifoodTEF des données à traiter. À la fin du service, le client reçoit un rapport contenant les résultats de l'application des mesures de performance aux données et une analyse de ces résultats avec des indications sur les moyens possibles d'améliorer les performances du système.

Cette description de service est intentionnellement générique. Chaque cas de ce service est, en fait, personnalisé pour l'adapter aux besoins et aux exigences du client spécifique. Ce qui suit est un exemple d'instance de service.Exemple de service: Les performances d'un système de navigation robotisée intra-ligne sont testées sur différents ensembles de données dans des environnements de simulation virtuelle (par exemple, via le service S00183). Un ensemble de mesures précédemment conçues (par exemple, via le service S00178) sont utilisées pour suivre des aspects spécifiques de la performance de la solution du client. Les mesures choisies tiennent compte, en particulier, du déplacement du robot (simulé) de la ligne centrale, du nombre de points de cheminement correctement visités et du nombre de collisions avec des plantes. Les métriques sont calculées pour différents parcours et trajectoires à travers les données de référence, tracées / tabulées dans un rapport détaillé, qui comprend également des vidéos qualitatives démontrant la trajectoire de navigation suivie par le système en simulation. Le rapport met également en évidence les écarts les plus importants du système par rapport aux performances attendues et fournit des liens entre ceux-ci et des situations/événements particuliers, tels que documentés dans les données (simulées) des capteurs qui ont été collectées lors de l'exécution des tests, ainsi que les ensembles de données utilisés pour les mesures de performance. Un ensemble de mesures précédemment conçues (par exemple, via le service S00178) sont utilisées pour suivre des aspects spécifiques de la performance de la solution du client. Les mesures choisies tiennent compte, en particulier, du déplacement du robot (simulé) de la ligne centrale, du nombre de points de cheminement correctement visités et du nombre de collisions avec des plantes. Les métriques sont calculées pour différents parcours et trajectoires à travers les données de référence, tracées / tabulées dans un rapport détaillé, qui comprend également des vidéos qualitatives démontrant la trajectoire de navigation suivie par le système en simulation. Le rapport met également en évidence les écarts les plus importants du système par rapport aux performances attendues et fournit des liens entre ceux-ci et des situations/événements particuliers, tels que documentés dans les données (simulées) des capteurs qui ont été collectées lors de l'exécution des tests, ainsi que les ensembles de données utilisés pour les mesures de performance.