Progettazione di metriche di valutazione per test fisici

Costruire un sistema (ad esempio, una macchina) che risolva un problema e progettare le operazioni matematiche e di elaborazione dei dati necessarie per analizzare i dati raccolti durante le attività sperimentali per valutare le prestazioni della macchina sono due attività molto diverse e coinvolgono competenze molto diverse. Inoltre, le metriche di valutazione sono cruciali per l'identificazione di problemi e modi per migliorare le prestazioni del sistema, quindi la loro scelta ha un forte impatto sullo sviluppo del prodotto.Questo servizio supporta i clienti che hanno sviluppato una soluzione nella progettazione delle metriche di valutazione necessarie per elaborare dati sperimentali per valutare le prestazioni del sistema e l'idoneità per il compito. Al termine del servizio, ai clienti viene fornito un set di metriche su misura per i propri sistemi e necessità, che possono essere utilizzate per raccogliere ed elaborare i dati al fine di valutare quantitativamente le prestazioni del proprio sistema.  Se necessario, AgrifoodTEF può supportare il cliente nella progettazione anche dell'ambiente e del protocollo di collaudo per i test (tramite i servizi S00106 e S00107), nell'impostazione delle attività sperimentali (tramite i servizi S00110 e S00111), e nell'esecuzione dei test (servizio S00112) e della relativa raccolta dati (servizio S00113). Se necessario, AgrifoodTEF può anche fornire supporto con la valutazione delle prestazioni (servizio S00114), offrendo così l'intera serie di attività che compongono una pipeline di test sperimentali.

La durata media di questo servizio è di 3-6 settimane.La prima fase prevede uno o più colloqui, di persona o a distanza, in cui il cliente fornisce informazioni sulle caratteristiche del sistema o dei sistemi da testare, sugli elementi di performance di interesse e sul tipo di dati da trattare per la valutazione delle prestazioni. Successivamente progettiamo le metriche di valutazione e ne verifichiamo la conformità ai requisiti eseguendo test preliminari di elaborazione su frammenti di dati forniti dal cliente (in NDA se necessario). Durante questa fase possiamo fornire al cliente un feedback sulla qualità dei dati e l'idoneità allo scopo.Alla fine del servizio, il cliente riceve un rapporto con la progettazione delle metriche di prestazione e i risultati dei test di elaborazione preliminari.

Questa descrizione del servizio è intenzionalmente generica. Ogni istanza di questo servizio è, infatti, personalizzata per adattarla alle esigenze e alle esigenze del cliente specifico. Quello che segue è un esempio di un'istanza di servizio. Esempio di servizio: Il cliente è interessato a testare il modulo di navigazione intra-fila per i propri robot agricoli. Per raggiungere questo obiettivo, definiamo con loro gli obiettivi prestazionali, ad esempio massimizzando il tasso di successo in termini di waypoint attraversati e riducendo al minimo la percentuale di piante danneggiate. Successivamente, vengono definite adeguate metriche quantitative di performance per valutare quanto bene il sistema raggiunge gli obiettivi prescelti. Il servizio può anche identificare set di dati in cui queste metriche sono già state annotate. In assenza di informazioni gold standard sui valori metrici ottimali da utilizzare come verità fondamentale, è possibile definire facoltativamente una campagna di raccolta dati dedicata accessoria, condotta presso strutture fisiche (ad esempio tramite il servizio S00113) o in simulazione (ad esempio tramite il servizio S00183).