Una delle attività chiave durante i test digitali è la raccolta di dati relativi alla progressione e all'esito finale dei test. Tali dati consentono la valutazione delle prestazioni del sistema da parte del cliente o, se necessario, da parte di agrifoodTEF (tramite il servizio S00184). Questo servizio gestisce la raccolta di dati rilevanti per la valutazione delle prestazioni prodotte durante i test sia dal sistema in test che dall'ambiente computazionale in cui si svolgono i test.
Esempi di dati raccolti comprendono informazioni prodotte all'interno di un ambiente virtuale per simulare la raccolta dei dati dei sensori in un ambiente fisico; statistiche sulle prestazioni del modello di IA nella fase di prova e distribuzione (ad esempio, memoria occupata, numero di parametri addestrabili, perdita di addestramento/ottimizzazione, ecc.); etichette e annotazioni specifiche da utilizzare come verità fondamentale per la valutazione del sistema; e uscita del sistema quando sottoposto a una serie di condizioni di prova.
L'insieme minimo di dati da raccogliere è definito dalle metriche di valutazione che l'utente ha scelto (da solo o con il supporto di agrifoodTEF, tramite il Servizio S00178) per elaborarli; in generale, un insieme più ampio di dati con il minimo è selezionato da agrifoodTEF insieme al cliente per fornire una visione più completa delle prestazioni del sistema e per consentire l'applicazione di altre metriche in futuro, se necessario.
Come output del servizio, oltre ai dati grezzi, forniamo al cliente anche la documentazione che descrive le caratteristiche registrate e le condizioni dell'ambiente di test al momento del test, nonché eventuali valori dei parametri, intervalli di variazione e specifiche richieste ai fini della riproducibilità.
In che modo il servizio può aiutarti?
Nell'eseguire test digitali sfruttando le risorse computazionali fornite da agrifoodTEF, la raccolta di dati significativi richiede una conoscenza approfondita del tipo di infrastruttura utilizzata per i test e delle specifiche dell'attuazione di agrifoodTEF. Questo servizio aiuta i clienti a ottenere i dati richiesti senza dover costruire le competenze interne necessarie per eseguire la raccolta dei dati da soli.
Sfruttando questo servizio, il cliente trasmette il compito di raccogliere dati al team di ingegneri di agrifoodTEF, esperti sia nelle campagne di raccolta dati che nell'architettura e negli strumenti dell'infrastruttura digitale di agrifoodTEF.
Questo servizio consente al cliente di sfruttare la capacità (che solo il test digitale ha) di consentire una perfetta riproducibilità/ripetibilità dei test: è infatti disponibile un perfetto controllo dell'ambiente di prova, per cui il problema della riproducibilità/ripetibilità si riduce al possesso di informazioni complete sull'ambiente e sui test effettuati in esso.
Come verrà erogato il servizio
Nell'eseguire test digitali sfruttando le risorse computazionali fornite da agrifoodTEF, la raccolta di dati significativi richiede una conoscenza approfondita del tipo di infrastruttura utilizzata per i test e delle specifiche dell'attuazione di agrifoodTEF.
Questo servizio aiuta i clienti a ottenere i dati richiesti senza dover costruire le competenze interne necessarie per eseguire la raccolta dei dati da soli.
Sfruttando questo servizio, il cliente trasmette il compito di raccogliere dati al team di ingegneri di agrifoodTEF, esperti sia nelle campagne di raccolta dati che nell'architettura e negli strumenti dell'infrastruttura digitale di agrifoodTEF.
Personalizzazione del servizio
Questa descrizione del servizio è intenzionalmente generica. Ogni istanza di questo servizio è, infatti, personalizzata per adattarla alle esigenze e alle esigenze del cliente specifico. Di seguito è riportato un esempio di un servizio instance.Example servizio: Per evitare di danneggiare gli impianti durante le operazioni di diserbo robotizzato, il cliente vuole testare una soluzione di navigazione intra-fila in simulazione prima di implementare il sistema sul campo, quindi è stata preparata un'adeguata simulazione (basata su Gazebo) del robot e dell'ambiente. Per aiutare il cliente a convalidare a fondo il proprio software di navigazione, eseguiamo la simulazione e raccogliamo i dati della nuvola di punti all'interno di un simulatore Gazebo. I dati raccolti rappresentano file di piante di diverse lunghezze (3, 5 e fino a 10 metri), larghezze intrafila (da 3 a 1 metro) e densità degli impianti per consentire test di sistema in scenari di diversa difficoltà. Durante queste attività, raccogliamo set di dati che descrivono l'interazione del robot con l'ambiente simulato; inoltre, raccogliamo i flussi di dati completi (simulati) dei sensori in modo che il cliente possa utilizzarli in un secondo momento (ad esempio per l'addestramento di modelli di IA). Forniamo inoltre al cliente una relazione che descrive i diversi campi di dati inclusi e la loro frequenza di raccolta, nonché i file di configurazione completi dell'ambiente di simulazione, rendendo così possibile riprodurre esattamente i test in futuro.
