Ce service effectue l'étape cruciale qui suit l'exécution de l'expérimentation physique, c'est-à-dire l'évaluation des performances du système testé. Cette activité nécessite l'application de mesures de performance appropriées à des données d'essai spécifiques collectées lors des essais, puis l'interprétation des résultats en fonction des caractéristiques du système et du cadre expérimental. Selon le cas d'utilisation spécifique, les mesures de performance peuvent impliquer un traitement informatique pur, une expertise humaine par des agronomes ou une combinaison des deux.
L'application de mesures de performance peut inclure le développement de logiciels personnalisés pour extraire les informations nécessaires des données expérimentales et / ou pour appliquer un traitement approprié à l'information. Si les mesures de performance exigent que les données soient soumises à une certaine forme de prétraitement, le service S00115 peut être utilisé pour préparer les données.
Outre l'objet de ce service (c'est-à-dire l'évaluation des résultats), AgrifoodTEF peut, sur demande, accompagner le client sur tout autre aspect et phase du pipeline d'expérimentation physique. Par exemple, pour la conception de l'environnement et du protocole pour le test, le client peut tirer parti des services S00106 et S00107. La préparation de l'environnement de test peut être effectuée soit par le client, soit par AgrifoodTEF via le service S00110; dans les deux cas, une aide à l’interconnexion du système testé avec l’infrastructure de test de AgrifoodTEF est disponible via le service S00111. Enfin, la collecte de données pendant le test peut, si nécessaire, être assurée par AgrifoodTEF via le service S00113.
Comment le service peut-il vous aider?
Lorsque des systèmes complexes basés sur l’IA et/ou la robotique sont impliqués, l’évaluation des performances n’est pas une activité simple. Une fois que des mesures de performance appropriées ont été définies, il est important de les appliquer correctement aux données expérimentales, ce qui nécessite souvent qu'elles soient traitées de manière appropriée. Enfin, la sortie des métriques nécessite une interprétation pour extraire des informations utiles sur la performance réelle du système, l'impact de tous les facteurs environnementaux et les pistes d'amélioration qui émergent de l'analyse. Tout cela ne fait pas nécessairement partie de l'expertise d'une entreprise axée sur le développement de produits.Ce service fournit au client l'expertise d'un personnel spécialement formé à l'évaluation expérimentale de systèmes basés sur l'IA et la robotique (ainsi que de machines agricoles avancées).
Ce service fournit au client l'expertise d'un personnel spécialement formé à l'évaluation expérimentale de systèmes basés sur l'IA et la robotique (ainsi que de machines agricoles avancées).
Comment le service sera fourni
La première phase d'exécution de ce service consiste à discuter avec le client des caractéristiques des données à analyser et des mesures de performance à utiliser. D'autres éléments à discuter concernent les caractéristiques du ou des systèmes à l'essai qui sont pertinentes pour interpréter les données.
Cette phase initiale peut prendre 1 à 2 semaines et se déroule en réunions, en personne ou à distance.La deuxième phase du service est celle où le traitement effectif des données, y compris l’application de mesures de performance, a lieu: à titre préliminaire, elle exige que le client donne accès aux données aux prestataires de services, en vertu de la NDA si nécessaire.
La durée de la deuxième phase dépend de la complexité du traitement des données requis et des ressources informatiques dont il a besoin, mais ne dépasse généralement pas 4 semaines.La troisième et dernière phase du service est l'interprétation des résultats du traitement des données, qui implique un personnel expert et nécessite généralement une semaine.
Le résultat final du service est un rapport comprenant les résultats de l’analyse des performances, y compris l’identification des points faibles de l’action du système et les aspects qui, s’ils étaient améliorés, amélioreraient considérablement les performances globales.
Personnalisation du service
Cette description de service est intentionnellement générique. Chaque cas de ce service est, en fait, personnalisé pour l'adapter aux besoins et aux exigences du client spécifique. Ce qui suit est un exemple d'instance de service.Exemple de service: La performance d'un système de désherbage autonome est évaluée en fonction de l'exactitude de la classification, de la précision et des scores de rappel pour la culture de haricots et la mauvaise herbe Matricaria chamomilla (p. ex., selon la définition du service S00108). Les mesures sont calculées sur les prédictions générées à partir d'une collection d'images de test (par exemple, recueillies via le service S00113 et annotées par la suite soit directement par le client, soit par AgrifoodTEF via le service S00290) et tracées / tabulées dans un rapport détaillé, qui comprend également des images qualitatives montrant les prédictions correctes et incorrectes. Le rapport identifie également les points faibles dans la performance des systèmes et fournit des suggestions sur les améliorations les plus efficaces pour améliorer la performance dans le monde réel.
