Una de las actividades clave durante las pruebas digitales es la recopilación de datos sobre la progresión y el resultado final de las pruebas. Estos datos permiten evaluar el rendimiento del sistema por parte del cliente o, en caso necesario, por parte de agrifoodTEF (a través del servicio S00184). Este servicio gestiona la recopilación de datos relevantes para la evaluación del rendimiento producida durante las pruebas tanto por el sistema bajo prueba como por el entorno computacional donde se realizan las pruebas.
Los ejemplos de datos recopilados incluyen información producida en un entorno virtual para simular la recopilación de datos de sensores en un entorno físico; estadísticas sobre el rendimiento del modelo de IA en la fase de prueba y despliegue (por ejemplo, memoria ocupada, número de parámetros entrenables, pérdida de entrenamiento/optimización, etc.); etiquetas y anotaciones específicas que deben utilizarse como verdad fundamental para evaluar el sistema; y la salida del sistema cuando se somete a una serie de condiciones de ensayo.
El conjunto mínimo de datos a recopilar está definido por las métricas de evaluación que el usuario eligió (ya sea solo o con soporte de agrifoodTEF, a través del Servicio S00178) para procesarlos; en general, agrifoodTEF selecciona junto con el cliente un conjunto más amplio de datos con el mínimo necesario para ofrecer una visión más completa del rendimiento del sistema y permitir la aplicación de otras métricas en el futuro, en caso necesario.
Como resultado del servicio, además de los datos brutos, también proporcionamos al cliente documentación que describe las características y condiciones registradas del entorno de prueba en el momento de la prueba, así como los valores de los parámetros, los rangos de variación y los detalles necesarios para fines de reproducibilidad.
¿Cómo puede ayudarle el servicio?
Al ejecutar pruebas digitales aprovechando los recursos computacionales proporcionados por agrifoodTEF, la recopilación de datos significativos requiere un conocimiento profundo sobre el tipo de infraestructura utilizada para las pruebas y sobre las características específicas de la implementación de agrifoodTEF. Este servicio ayuda a los clientes a obtener los datos requeridos sin tener que construir las competencias internas necesarias para realizar la recopilación de datos por su cuenta.
Al aprovechar este servicio, el cliente transmite la tarea de recopilar datos al equipo de ingenieros de agrifoodTEF, que son expertos tanto en campañas de recopilación de datos como en la arquitectura y las herramientas de la infraestructura digital de agrifoodTEF.
Este servicio permite al cliente aprovechar la capacidad (que solo tienen las pruebas digitales) de permitir una reproducibilidad / repetibilidad perfecta de las pruebas: De hecho, existe un control perfecto sobre el entorno de prueba, por lo que el problema de reproducibilidad / repetibilidad se reduce a poseer información completa sobre el entorno y las pruebas realizadas en él.
Cómo se entregará el servicio
Al ejecutar pruebas digitales aprovechando los recursos computacionales proporcionados por agrifoodTEF, la recopilación de datos significativos requiere un conocimiento profundo sobre el tipo de infraestructura utilizada para las pruebas y sobre las características específicas de la implementación de agrifoodTEF.
Este servicio ayuda a los clientes a obtener los datos requeridos sin tener que construir las competencias internas necesarias para realizar la recopilación de datos por su cuenta.
Al aprovechar este servicio, el cliente transmite la tarea de recopilar datos al equipo de ingenieros de agrifoodTEF, que son expertos tanto en campañas de recopilación de datos como en la arquitectura y las herramientas de la infraestructura digital de agrifoodTEF.
Personalización del servicio
Esta descripción del servicio es intencionalmente genérica. Cada instancia de este servicio está, de hecho, personalizada para adaptarla a las necesidades y requisitos del cliente específico. El siguiente es un ejemplo de un servicio instance.Example service: Para evitar dañar las plantas durante las operaciones de deshierbe robótico, el cliente quiere probar una solución de navegación dentro de la fila en simulación antes de desplegar el sistema en el campo, por lo que se ha preparado una simulación adecuada (basada en Gazebo) del robot y el entorno. Para ayudar al cliente a validar a fondo su software de navegación, ejecutamos la simulación y recopilamos datos de nube de puntos dentro de un simulador Gazebo. Los datos recopilados representan hileras de plantas de diferentes longitudes (3, 5 y hasta 10 metros), anchuras dentro de la hilera (de 3 a 1 metro) y densidades de plantas para permitir el ensayo del sistema en escenarios de dificultad variable. Durante estas actividades, recopilamos conjuntos de datos que describen la interacción del robot con el entorno simulado; además, recopilamos los flujos de datos de sensores completos (simulados) para que el cliente pueda usarlos más adelante (por ejemplo, para el entrenamiento de modelos de IA). También proporcionamos al cliente un informe que describe los diferentes campos de datos incluidos y su frecuencia de recopilación, así como los archivos de configuración completos del entorno de simulación, lo que permite reproducir exactamente las pruebas en el futuro.
