Evaluación de los resultados de las pruebas digitales

La aplicación de métricas de rendimiento especificadas a datos experimentales puede ser un proceso complejo, que a menudo requiere el desarrollo de software personalizado para administrar datos y realizar las acciones de procesamiento necesarias. Un cliente puede decidir dejar la aplicación de las métricas a agrifoodTEF para centrarse en cambio en el desarrollo y las pruebas del sistema y en la definición de métricas de rendimiento. Este servicio permite a este cliente recibir directamente los resultados de la evaluación del rendimiento.El informe que contiene los resultados es preparado por los ingenieros que preparan y ejecutan el procesamiento basado en métricas. Estos ingenieros también son expertos en sistemas digitales (por ejemplo, modelos de IA) y robótica para aplicaciones agroalimentarias, lo que les permite complementar los resultados del informe con un análisis en profundidad, por ejemplo, para identificar problemas de rendimiento. Este análisis, que forma parte del informe, destaca los problemas en el rendimiento del sistema e identifica los elementos en la cadena de herramientas de procesamiento del sistema bajo prueba que probablemente estén involucrados en los problemas. Por lo tanto, el cliente puede aprovechar el informe no solo para comprender si el rendimiento del sistema está a la altura de las expectativas, sino también para decidir dónde enfocar el esfuerzo de desarrollo adicional para mejorar el rendimiento del sistema.

La duración media de este servicio es de 3 a 4 semanas, pero depende de la cantidad de datos que se vayan a tratar y de la complejidad de las operaciones necesarias para configurar y ejecutar el tratamiento de datos. La información adicional (por ejemplo, características internas del sistema) puede ser útil para apoyar el análisis que acompaña a los datos en el informe (véase más adelante); cualquier información de este tipo puede compartirse en el marco de la NDA si es confidencial. El intercambio preliminar de información va seguido de la transmisión a agrifoodTEF de los datos que deben tratarse. Al final del servicio, el cliente recibe un informe que contiene los resultados de la aplicación de las métricas de rendimiento a los datos y un análisis de dichos resultados con indicaciones sobre posibles formas de mejorar el rendimiento del sistema.

Esta descripción del servicio es intencionalmente genérica. Cada instancia de este servicio está, de hecho, personalizada para adaptarla a las necesidades y requisitos del cliente específico. El siguiente es un ejemplo de un servicio instance.Example service: El rendimiento de un sistema de navegación robotizado intra-fila se prueba en diferentes conjuntos de datos en entornos de simulación virtual (por ejemplo, a través del servicio S00183). Se utiliza un conjunto de métricas diseñadas previamente (por ejemplo, a través del servicio S00178) para realizar un seguimiento de aspectos específicos del rendimiento de la solución del cliente. Las métricas elegidas consideran, en particular, la ubicación incorrecta del robot (simulado) de la línea de la fila central, el número de puntos de ruta visitados correctamente y el número de colisiones con plantas. Las métricas se calculan para diferentes carreras y trayectorias a través de los datos de referencia, trazados / tabulados en un informe detallado, que también incluye videos cualitativos que demuestran la trayectoria de navegación seguida por el sistema en simulación. El informe también destaca las desviaciones más significativas del sistema del rendimiento esperado y proporciona enlaces entre ellos y situaciones / eventos particulares, como se documenta en los datos del sensor (simulados) que se han recopilado durante la ejecución de las pruebas, junto con los conjuntos de datos utilizados para las métricas de rendimiento. Se utiliza un conjunto de métricas diseñadas previamente (por ejemplo, a través del servicio S00178) para realizar un seguimiento de aspectos específicos del rendimiento de la solución del cliente. Las métricas elegidas consideran, en particular, la ubicación incorrecta del robot (simulado) de la línea de la fila central, el número de puntos de ruta visitados correctamente y el número de colisiones con plantas. Las métricas se calculan para diferentes carreras y trayectorias a través de los datos de referencia, trazados / tabulados en un informe detallado, que también incluye videos cualitativos que demuestran la trayectoria de navegación seguida por el sistema en simulación. El informe también destaca las desviaciones más significativas del sistema del rendimiento esperado y proporciona enlaces entre ellos y situaciones / eventos particulares, como se documenta en los datos del sensor (simulados) que se han recopilado durante la ejecución de las pruebas, junto con los conjuntos de datos utilizados para las métricas de rendimiento.