Cualquier actividad de prueba física implica tres componentes principales: entorno (donde se llevan a cabo las pruebas), protocolo (definiendo qué pruebas se ejecutan y cómo) y métricas de evaluación (utilizadas para evaluar los resultados de las pruebas). Este servicio se refiere al último elemento; Su objetivo es diseñar las mejores métricas para evaluar el rendimiento de una solución de cliente, teniendo en cuenta los casos de uso especificados por el cliente y el entorno y protocolo elegido para las pruebas (que, si es necesario, pueden diseñarse a través de los servicios S00106 y S00107).
Nuestro equipo identificará y definirá con los clientes el conjunto más adecuado de métricas cuantitativas (es decir, basadas en mediciones instrumentales) y/o cualitativas (es decir, basadas en el juicio humano experto) para evaluar las funcionalidades del sistema de interés. En esta fase participarán, en particular, agrónomos y expertos en maquinaria agrícola.
Sobre la base de las métricas de evaluación definidas, también se definirá en consecuencia un conjunto de requisitos para la recopilación de los datos requeridos y las anotaciones de verdad sobre el terreno. Por ejemplo, el servicio puede establecer las especificaciones para campañas de recopilación de datos dedicadas (posiblemente ejecutadas a través del servicio S00113). En esta fase participarán ingenieros y expertos en IA y robótica.
A petición, el resultado del servicio incluirá análisis sobre factores ambientales adicionales que los rastreados directamente a través de las métricas diseñadas (por ejemplo, efectos estacionales, impacto de la distribución de la prueba a lo largo del tiempo en los resultados).
¿Cómo puede ayudarle el servicio?
Construir un sistema (por ejemplo, una máquina) que resuelva un problema y diseñar las operaciones matemáticas y de procesamiento de datos necesarias para analizar los datos recopilados durante las actividades experimentales para evaluar el rendimiento de la máquina son dos actividades muy diferentes e implican competencias muy diferentes.
Además, las métricas de evaluación son cruciales para la identificación de problemas y formas de mejorar el rendimiento del sistema, por lo que su elección tiene un fuerte impacto en el desarrollo de productos.Este servicio apoya a los clientes que desarrollaron una solución en el diseño de las métricas de evaluación necesarias para procesar datos experimentales para evaluar el rendimiento del sistema y la idoneidad para la tarea. Al final del servicio, los clientes reciben un conjunto de métricas adaptadas a sus propios sistemas y necesidades, que se pueden utilizar para recopilar y procesar datos con el fin de evaluar cuantitativamente el rendimiento de su sistema.
Si es necesario, AgrifoodTEF puede ayudar al cliente a diseñar también el entorno y el protocolo de pruebas para las pruebas (a través de los servicios S00106 y S00107), en la configuración de las actividades experimentales (a través de los servicios S00110 y S00111), y en la ejecución de las pruebas (servicio S00112) y la recopilación de datos asociados (servicio S00113). Si es necesario, AgrifoodTEF también puede proporcionar apoyo con la evaluación del rendimiento (servicio S00114), ofreciendo así el conjunto completo de actividades que componen una línea de pruebas experimentales.
Cómo se entregará el servicio
La duración media de este servicio es de 3 a 6 semanas.La primera fase implica una o más entrevistas, presenciales o a distancia, en las que el cliente proporciona información sobre las características del sistema o sistemas que se van a probar, los elementos de rendimiento de interés y el tipo de datos que se van a procesar para la evaluación del rendimiento.
Posteriormente diseñamos las métricas de evaluación y comprobamos su cumplimiento con los requisitos mediante la ejecución de pruebas preliminares de procesamiento de fragmentos de datos proporcionados por el cliente (bajo NDA si es necesario).
Durante esta fase, podemos proporcionar al cliente comentarios sobre la calidad de los datos y la idoneidad para el propósito.Al final del servicio, el cliente recibe un informe con el diseño de las métricas de rendimiento y los resultados de las pruebas preliminares de procesamiento.
Personalización del servicio
Esta descripción del servicio es intencionalmente genérica. Cada instancia de este servicio está, de hecho, personalizada para adaptarla a las necesidades y requisitos del cliente específico. El siguiente es un ejemplo de una instancia de servicio.
Ejemplo de servicio: El cliente está interesado en probar el módulo de navegación intra-fila para sus propios robots agrícolas.
Para lograr este objetivo, definimos con ellos los objetivos de rendimiento, por ejemplo, maximizar la tasa de éxito en términos de puntos de referencia atravesados y minimizar el porcentaje de plantas dañadas. Posteriormente, se definen métricas cuantitativas de rendimiento adecuadas para evaluar qué tan bien el sistema alcanza los objetivos elegidos. El servicio también puede identificar conjuntos de datos donde estas métricas ya han sido anotadas. En ausencia de cualquier información estándar de oro sobre valores métricos óptimos para usar como verdad fundamental, opcionalmente se puede definir una campaña auxiliar de recopilación de datos dedicada, ya sea realizada en instalaciones físicas (por ejemplo, a través del servicio S00113) o en simulación (por ejemplo, a través del servicio S00183).
