Este servicio realiza el paso crucial que sigue a la ejecución de la experimentación física, es decir, la evaluación del rendimiento del sistema bajo prueba. Esta actividad requiere la aplicación de métricas de rendimiento adecuadas a los datos de prueba específicos recopilados durante las pruebas y luego interpretar los resultados a la vista de las características del sistema y el entorno experimental. Dependiendo del caso de uso específico, las métricas de rendimiento pueden involucrar procesamiento informático puro, experiencia humana de agrónomos o una combinación de ambos.
La aplicación de métricas de rendimiento puede incluir el desarrollo de software personalizado para extraer la información necesaria de datos experimentales y / o aplicar un procesamiento adecuado a la información. Si las métricas de rendimiento requieren que los datos se sometan a algún tipo de preprocesamiento, el servicio S00115 puede aprovecharse para preparar los datos.
Además del objeto de este servicio (es decir, la evaluación de los resultados), agrifoodTEF puede, previa solicitud, apoyar al cliente a lo largo de cualquier otro aspecto y fase de la tubería de experimentación física. Por ejemplo, para el diseño del entorno y el protocolo para la prueba, el cliente puede aprovechar los servicios S00106 y S00107. La preparación del entorno de prueba puede ser realizada por el cliente o por agrifoodTEF a través del servicio S00110; en ambos casos, la asistencia para interconectar el sistema objeto de ensayo con la infraestructura de ensayo de agrifoodTEF está disponible a través del servicio S00111. Por último, la recogida de datos durante la prueba puede ser proporcionada, si es necesario, por agrifoodTEF a través del servicio S00113.
¿Cómo puede ayudarle el servicio?
Cuando se trata de sistemas complejos basados en IA o robótica, la evaluación del rendimiento no es una actividad sencilla. Una vez definidas las métricas de rendimiento adecuadas, es importante aplicarlas correctamente a los datos experimentales, que a menudo requieren que se procesen de manera adecuada. Finalmente, el resultado de las métricas requiere interpretación para extraer información útil sobre el rendimiento real del sistema, el impacto de cualquier factor ambiental y las vías de mejora que surgen del análisis. Todo esto no es necesariamente parte de la experiencia de una empresa centrada en el desarrollo de productos.Este servicio proporciona al cliente la experiencia de personal específicamente capacitado en la evaluación experimental de sistemas basados en IA y robótica (y de maquinaria agrícola avanzada también).
Este servicio proporciona al cliente la experiencia de personal específicamente capacitado en la evaluación experimental de sistemas basados en IA y robótica (y de maquinaria agrícola avanzada también).
Cómo se entregará el servicio
La primera fase de ejecución de este servicio implica discutir con el cliente las características de los datos a analizar y las métricas de rendimiento a emplear. Otros elementos que deben debatirse se refieren a las características del sistema o sistemas sometidos a ensayo que son pertinentes para interpretar los datos.
Esta fase inicial puede tomar 1-2 semanas y procede a través de reuniones, ya sea en persona o a distancia.La segunda fase del servicio es aquella en la que se lleva a cabo el procesamiento de datos real, incluida la aplicación de métricas de rendimiento: como paso preliminar, requiere que el cliente dé acceso a los datos a los proveedores de servicios, en virtud de la NDA si es necesario.
La duración de la segunda fase depende de la complejidad del procesamiento de datos requerido y de los recursos computacionales que requiere, pero generalmente no supera las 4 semanas.La tercera y última fase del servicio es la interpretación de los resultados del procesamiento de datos, que involucra personal experto y generalmente requiere una semana.
El resultado final del servicio es un informe que incluye los resultados del análisis del rendimiento, incluida la identificación de los puntos más débiles de la acción del sistema y los aspectos que, si se mejoran, mejorarían significativamente el rendimiento general.
Personalización del servicio
Esta descripción del servicio es intencionalmente genérica. Cada instancia de este servicio está, de hecho, personalizada para adaptarla a las necesidades y requisitos del cliente específico. El siguiente es un ejemplo de un servicio instance.Example service: El rendimiento de un sistema de deshierbe autónomo se evalúa con respecto a la precisión de la clasificación, la precisión y los puntajes de recuperación para el cultivo de frijol y la maleza Matricaria chamomilla (por ejemplo, según se define a través del Servicio S00108). Las métricas se calculan sobre las predicciones generadas a partir de una colección de imágenes de prueba (por ejemplo, recopiladas a través del Servicio S00113 y posteriormente anotadas directamente por el cliente o por agrifoodTEF a través del Servicio S00290) y trazadas / tabuladas en un informe detallado, que también incluye imágenes cualitativas que muestran las predicciones correctas e incorrectas. El informe también identifica puntos débiles en el rendimiento de los sistemas y proporciona sugerencias sobre qué mejora sería más efectiva para mejorar el rendimiento en el mundo real.
