Cualquier actividad de prueba implica tres componentes principales, es decir,, medio ambiente (donde se realizan las pruebas), protocolo (definiendo qué actividades se ejecutan y cómo), y métricas de evaluación (utilizado para evaluar los resultados de las pruebas). Este servicio se refiere al segundo elemento, es decir, el diseño del procedimiento de ensayo para sistemas digitales como (por ejemplo) modelos de IA o programas informáticos de visión artificial. El entorno digital y los parámetros de evaluación pueden diseñarse, en caso necesario, a través de los servicios S00176 y S00178.
En el contexto de las pruebas de las soluciones de los clientes en entornos digitales, este servicio tiene por objeto diseñar un protocolo adecuado para las pruebas digitales basado en los casos de uso especificados por el cliente. Los componentes del protocolo de prueba pueden incluir:
Selección de los conjuntos de datos que se utilizarán para las pruebas
Selección de modelos de IA de referencia que se utilizarán para las pruebas (si es necesario)
Elección de formatos de datos y estándares de metadatos
Definición de pasos de preprocesamiento y preparación de datos
Definición de valores y rangos de parámetros de ensayo
Definición de las diferentes fases del protocolo
Esbozo de las operaciones a ejecutar en cada fase
Descripción detallada de los detalles del protocolo para garantizar la reproducibilidad
Los conjuntos de datos que se utilizarán para las pruebas pueden ser proporcionados por agrifoodTEF y/o por el cliente; si no se dispone de nada adecuado, pueden aprovecharse otros servicios de AgrifoodTEF para recopilar y/o generar datos adaptados.
El equipo técnico que ejecuta este servicio está compuesto por ingenieros expertos, pero también puede involucrar a agrónomos cuando sea necesario para garantizar la relevancia de las pruebas para el caso de uso, por ejemplo, para determinar la distribución de las repeticiones de prueba en los rangos de variación.
¿Cómo puede ayudarle el servicio?
La construcción de un sistema digital (por ejemplo, un módulo de software) que resuelve un problema y la realización de pruebas exhaustivas de dicho sistema son actividades separadas y diferentes e implican diferentes competencias. Las pruebas son importantes no solo para verificar que el sistema funciona satisfactoriamente, sino también para identificar formas de mejorarlo aún más.
Este servicio ayuda al cliente a definir el protocolo experimental óptimo para validar el sistema con datos pertinentes para el caso de uso del cliente, permitir la evaluación cuantitativa del rendimiento y demostrar su rendimiento a los usuarios potenciales. Al final del servicio, los clientes reciben un protocolo de prueba digital totalmente documentado que pueden utilizar inmediatamente para establecer su propia actividad experimental.
Si es necesario, agrifoodTEF puede ayudar al cliente a diseñar también el entorno computacional necesario para las pruebas y las métricas de evaluación (a través de los servicios S00176 y S00178), en la configuración de las actividades experimentales (a través de los servicios S00180 y S00181), y en la ejecución de las pruebas (servicio S00182) y la recopilación de datos asociada (servicio S00183). Finalmente, agrifoodTEF también puede apoyar al cliente en la evaluación del rendimiento (servicio S00184), ofreciendo así el conjunto completo de actividades que componen una tubería de pruebas digitales.
Cómo se entregará el servicio
La duración de este servicio es en promedio de 1-3 semanas.La primera fase implica una o más entrevistas, en persona o a distancia, donde el cliente proporciona información sobre las características del sistema o sistemas a probar y los elementos de rendimiento que el protocolo a diseñar debe investigar. Se puede proporcionar documentación adicional (por ejemplo, detalles sobre los componentes internos de los programas informáticos) (en el marco de la NDA si es confidencial) con el fin de adaptar con precisión el protocolo a las necesidades del sistema del cliente.
Después de esta fase preliminar, se lleva a cabo el diseño del protocolo. Se producirá una interacción adicional con el cliente para garantizar el cumplimiento de sus necesidades y para afinar el diseño. Al final del servicio, el cliente recibe un diseño integral que puede emplear inmediatamente para configurar y realizar las pruebas.
Personalización del servicio
Esta descripción del servicio es intencionalmente genérica. De hecho, cada instancia de este servicio está personalizada para adaptarlo a las necesidades y requisitos del cliente específico. El siguiente es un ejemplo de instancia de servicio.
Ejemplo de servicio: En el contexto de las pruebas de la capacidad de un modelo de visión por ordenador para discriminar las malas hierbas de los cultivos, se define una lista de métodos candidatos que ya se aplican en gran medida en el mercado, para considerarlos como referencia y compararlos con la solución existente del cliente. También se identifican variaciones incrementales de estos modelos (por ejemplo, valores y rangos de parámetros del modelo, aislamiento de submódulos individuales durante el entrenamiento y el ajuste fino, diferentes funciones de optimización, etc.). Sobre la base del tamaño y el rendimiento del modelo en diferentes conjuntos de datos, se hacen estimaciones del número mínimo de ejemplos requeridos por maleza y clase de cultivo para entrenar los modelos.
También se define una lista de conjuntos de datos comparables disponibles dentro del consorcio o públicamente para reducir el coste de formación del modelo y reutilizar los conjuntos de datos existentes siempre que sea posible. En el protocolo experimental definido, los métodos se prueban 10 veces seguidas, para recopilar valores de desviación promedio y estándar para todas las métricas de evaluación.
