Progettazione di metriche di valutazione per test digitali

Costruire un sistema digitale (ad esempio, un modello di IA) che risolva un problema e progettare le operazioni matematiche e di elaborazione dei dati necessarie per analizzare i dati raccolti durante la sperimentazione digitale con il sistema per valutarne le prestazioni sono due attività molto diverse e coinvolgono competenze molto diverse. Inoltre, le metriche di valutazione sono fondamentali per individuare i problemi e le modalità per migliorare le prestazioni del sistema; pertanto, la loro scelta ha un forte impatto sullo sviluppo del prodotto. Questo servizio supporta i clienti che hanno sviluppato una soluzione digitale, come un software, nella progettazione delle metriche di valutazione necessarie per elaborare dati sperimentali per valutare le prestazioni del sistema e l'idoneità all'attività. Al termine del servizio, ai clienti viene fornita una serie di metriche su misura per il proprio sistema, i dati e le necessità, che possono essere utilizzate per valutare quantitativamente le prestazioni del proprio sistema. Le metriche saranno descritte in un rapporto che spiegherà chiaramente come e a quali dati applicarle, quali aspetti delle prestazioni del sistema sono progettati per acquisire, nonché qualsiasi limitazione nella loro applicabilità o significato.  Se necessario, agrifoodTEF può supportare il cliente nella progettazione anche dell'ambiente digitale e del protocollo di test per i test (tramite i servizi S00176 e S00177), nella configurazione dell'ambiente digitale in cui avviene il test (tramite i servizi S00180 e S00181), e nell'esecuzione dei test (servizio S00182) e della relativa raccolta dati (servizio S00183). Se necessario, agrifoodTEF può anche fornire supporto con l'applicazione delle metriche di performance e la valutazione delle prestazioni del sistema (servizio S00184), offrendo così l'intera serie di attività che compongono una pipeline di test sperimentali.

La durata media di questo servizio è di 1-3 settimane.La prima fase prevede uno o più colloqui, di persona o a distanza, in cui il cliente fornisce informazioni sulle caratteristiche del sistema o dei sistemi da testare, sugli elementi di performance di interesse e sul tipo di dati da trattare per la valutazione delle prestazioni. Successivamente progettiamo le metriche di valutazione e verifichiamo la loro conformità ai requisiti eseguendo test preliminari di elaborazione su frammenti di dati (eventualmente forniti dal cliente, sotto NDA se necessario). Durante questa fase potremmo fornire al cliente un feedback sulla qualità dei dati e sull'idoneità allo scopo.Se il cliente dovesse aver bisogno di un'ampia convalida dei dati, potrebbe scegliere di sfruttare un servizio agroalimentare TEF separato dedicato a tali attività, vale a dire S00115 (servizi di convalida ed elaborazione dei dati). S00115 supporta inoltre il cliente nella correzione delle carenze di qualità dei dati e nell'elaborazione di strategie per migliorare le pratiche di raccolta dei dati.

Questa descrizione del servizio è intenzionalmente generica. Ogni istanza di questo servizio è, infatti, personalizzata per adattarla alle esigenze e alle esigenze del cliente specifico. Quello che segue è un esempio di un'istanza di servizio. Esempio di servizio: Il cliente è interessato a misurare la capacità di un modulo software di visione artificiale di discriminare le erbacce dalle colture nelle immagini RGB. Di conseguenza, viene progettata una serie di metriche di valutazione oggettive per descrivere la qualità delle previsioni, tra cui l'accuratezza della classificazione, la precisione e i punteggi di richiamo per tutti i casi di "coltivazione" e "erbaccia" osservati. Le metriche sono progettate tenendo conto delle caratteristiche specifiche dei dati utilizzati per i test, forniti dal cliente; i dati sono stati raccolti utilizzando la propria macchina in ambienti pertinenti. Il cliente è anche interessato a misurare indicatori quali “Quanto spesso Matricaria Chamomilla viene scambiata per colture di fagioli?” Pertanto, i punteggi relativi alla qualità delle previsioni sono calcolati non solo a livello macro (“coltivazione” vs. “erba”), ma anche per le singole specie vegetali di interesse per il cliente (“fagiolo” vs. “Matricaria”). Al cliente vengono fornite le specifiche complete delle metriche di prestazione progettate e informazioni su quali dati utilizzare al fine di ottimizzare l’importanza dei test sperimentali. Facoltativamente, agrifoodTEF può supportare il cliente nella generazione di tali dati (ad esempio, attraverso una campagna di raccolta dati sperimentale dedicata – tramite il servizio S00113 – seguita da un’appropriata annotazione dei dati – tramite il servizio S00115 – o aumentando i dati esistenti con ulteriori esempi – tramite il servizio S00115).