Conception de mesures d'évaluation pour les tests numériques

La construction d'un système numérique (par exemple, un modèle d'IA) qui résout un problème et la conception des opérations mathématiques et de traitement des données nécessaires pour analyser les données collectées lors de l'expérimentation numérique avec le système pour évaluer sa performance sont deux activités très différentes et impliquent des compétences très différentes. En outre, les mesures d'évaluation sont essentielles pour identifier les problèmes et les moyens d'améliorer les performances du système; par conséquent, leur choix a un impact important sur le développement des produits. Ce service aide les clients qui ont développé une solution numérique, telle qu'un logiciel, à concevoir les mesures d'évaluation nécessaires pour traiter les données expérimentales afin d'évaluer les performances du système et son adéquation à la tâche. À la fin du service, les clients reçoivent un ensemble de mesures adaptées à leur propre système, à leurs données et à leurs besoins, qui peuvent être utilisées pour évaluer quantitativement la performance de leur système. Les mesures seront décrites dans un rapport expliquant clairement comment et à quelles données les appliquer, quels aspects de la performance du système elles sont conçues pour capturer, ainsi que toute limitation de leur applicabilité ou de leur importance.  Si nécessaire, agrifoodTEF peut aider le client à concevoir également l'environnement numérique et le protocole de test pour les tests (via les services S00176 et S00177), dans la configuration de l'environnement numérique où les tests ont lieu (via les services S00180 et S00181), et dans l'exécution des tests (service S00182) et la collecte de données associée (service S00183). Si nécessaire, AgrifoodTEF peut également apporter son soutien à l'application des mesures de performance et à l'évaluation de la performance du système (service S00184), offrant ainsi l'ensemble des activités composant un pipeline d'essais expérimentaux.

La durée de ce service est en moyenne de 1 à 3 semaines.La première phase comprend un ou plusieurs entretiens, en personne ou à distance, au cours desquels le client fournit des informations sur les caractéristiques du ou des systèmes à tester, les éléments de performance présentant un intérêt et le type de données à traiter pour l’évaluation des performances. Par la suite, nous concevons les mesures d'évaluation et vérifions leur conformité aux exigences en effectuant des tests de traitement préliminaires sur des fragments de données (éventuellement fournis par le client, sous NDA si nécessaire). Au cours de cette phase, nous pouvons fournir au client des commentaires sur la qualité et l'adéquation des données à cette fin.Si le client a besoin d'une validation approfondie des données, il peut choisir de tirer parti d'un service agroalimentaire distinct dédié à ces activités, à savoir S00115 (services de validation et de traitement des données). S00115 accompagne également le client dans la correction des déficits de qualité des données et dans l'élaboration de stratégies visant à améliorer les pratiques de collecte des données.

Cette description de service est intentionnellement générique. Chaque cas de ce service est, en fait, personnalisé pour l'adapter aux besoins et aux exigences du client spécifique. Ce qui suit est un exemple d'instance de service. Exemple de service: Le client est intéressé à mesurer la capacité d'un module logiciel de vision par ordinateur à distinguer les mauvaises herbes des cultures dans les images RVB. Par conséquent, un ensemble de mesures d’évaluation objectives est conçu pour décrire la qualité des prédictions, y compris l’exactitude de la classification, la précision et les scores de rappel pour toutes les instances de «culture» et de «mauvaises herbes» observées. Les mesures sont conçues en tenant compte des caractéristiques spécifiques des données utilisées pour les tests, fournies par le client; les données ont été collectées à l'aide de leur propre machine dans des environnements pertinents. Le client est également intéressé par la mesure d’indicateurs tels que «À quelle fréquence Matricaria Chamomilla est-il confondu avec les cultures de haricots?». Ainsi, la qualité des scores de prédiction est également calculée non seulement au niveau macro («culture» par rapport à «mauvaises herbes»), mais également pour des espèces végétales individuelles présentant un intérêt pour le client («haricot» par rapport à «Matricaria»). Le client reçoit les spécifications complètes des paramètres de performance conçus et des informations sur les données à utiliser afin d’optimiser l’importance des essais expérimentaux. À titre facultatif, AgrifoodTEF peut aider le client à générer de telles données (par exemple, au moyen d’une campagne expérimentale spécifique de collecte de données – via le service S00113 – suivie d’une annotation de données appropriée – via le service S00115 – ou en complétant les données existantes par des exemples supplémentaires – via le service S00115).