Diseño de métricas de evaluación para pruebas digitales

Construir un sistema digital (por ejemplo, un modelo de IA) que resuelva un problema y diseñar las operaciones matemáticas y de procesamiento de datos necesarias para analizar los datos recopilados durante la experimentación digital con el sistema para evaluar su rendimiento son dos actividades muy diferentes e implican competencias muy diferentes. Además, las métricas de evaluación son cruciales para la identificación de problemas y formas de mejorar el rendimiento del sistema; por lo tanto, su elección tiene un fuerte impacto en el desarrollo de productos. Este servicio apoya a los clientes que desarrollaron una solución digital, como una pieza de software, en el diseño de las métricas de evaluación necesarias para procesar datos experimentales para evaluar el rendimiento del sistema y la idoneidad para la tarea. Al final del servicio, los clientes reciben un conjunto de métricas adaptadas a su propio sistema, datos y necesidades, que se pueden utilizar para evaluar cuantitativamente el rendimiento de su sistema. Las métricas se describirán en un informe que explicará claramente cómo y a qué datos aplicarlas, qué aspectos del rendimiento del sistema están diseñados para capturar, así como cualquier limitación en su aplicabilidad o importancia.  Si es necesario, agrifoodTEF puede ayudar al cliente a diseñar también el entorno digital y el protocolo de pruebas para las pruebas (a través de los servicios S00176 y S00177), en la configuración del entorno digital donde se realizan las pruebas (a través de los servicios S00180 y S00181), y en la ejecución de las pruebas (servicio S00182) y la recopilación de datos asociada (servicio S00183). Si es necesario, agrifoodTEF también puede proporcionar soporte con la aplicación de las métricas de rendimiento y la evaluación del rendimiento del sistema (servicio S00184), ofreciendo así el conjunto completo de actividades que componen una tubería de pruebas experimentales.

La duración media de este servicio es de 1 a 3 semanas.La primera fase consiste en una o varias entrevistas, presenciales o a distancia, en las que el cliente proporciona información sobre las características del sistema o sistemas que se van a probar, los elementos de rendimiento de interés y el tipo de datos que se van a tratar para la evaluación del rendimiento. Posteriormente diseñamos las métricas de evaluación y comprobamos su cumplimiento con los requisitos mediante la ejecución de pruebas preliminares de procesamiento de fragmentos de datos (posiblemente proporcionados por el cliente, bajo NDA si es necesario). Durante esta fase, podemos proporcionar al cliente comentarios sobre la calidad de los datos y la idoneidad para el propósito.Si el cliente necesita una validación extensa de datos, puede optar por aprovechar un servicio agroalimentarioTEF separado dedicado a tales actividades, es decir, S00115 (servicios de validación y procesamiento de datos). S00115 también apoya al cliente en la corrección de los déficits de calidad de los datos y en el diseño de estrategias para mejorar las prácticas de recopilación de datos.Al final del servicio, el cliente recibe un informe con el diseño de las métricas de rendimiento y los resultados de las pruebas preliminares de procesamiento.

Esta descripción del servicio es intencionalmente genérica. Cada instancia de este servicio está, de hecho, personalizada para adaptarla a las necesidades y requisitos del cliente específico. El siguiente es un ejemplo de una instancia de servicio. Ejemplo de servicio: El cliente está interesado en medir la capacidad de un módulo de software de visión por computadora para discriminar las malezas de los cultivos en imágenes RGB. En consecuencia, se diseña un conjunto de métricas de evaluación objetivas para describir la calidad de las predicciones, incluida la precisión de la clasificación, la precisión y las puntuaciones de recuperación para todas las instancias de «cultivo» y «mala hierba» observadas. Las métricas se diseñan teniendo en cuenta las características específicas de los datos utilizados para las pruebas, proporcionados por el cliente; Los datos se han recopilado utilizando su propia máquina en entornos relevantes. El cliente también está interesado en medir indicadores como «¿Con qué frecuencia se confunde Matricaria Chamomilla con cultivos de frijoles?», por lo que la calidad de las puntuaciones de predicción también se calcula no solo a nivel macro («cultivo» frente a «mala hierba»), sino también para especies vegetales individuales de interés para el cliente («frijol» frente a «matricaria»). Se proporcionan al cliente las especificaciones completas de las métricas de rendimiento diseñadas y información sobre qué datos utilizar para optimizar la importancia de los ensayos experimentales. Opcionalmente, agrifoodTEF puede ayudar al cliente a generar dichos datos (por ejemplo, a través de una campaña experimental específica de recopilación de datos —a través del servicio S00113— seguida de una anotación de datos adecuada —a través del servicio S00115— o aumentando los datos existentes con ejemplos adicionales —a través del servicio S00115).