Valutazione dei risultati dei test digitali

L'applicazione di specifiche metriche di performance ai dati sperimentali può essere un processo complesso, che spesso richiede lo sviluppo di software personalizzati per gestire i dati ed eseguire le necessarie azioni di elaborazione. Un cliente può decidere di lasciare l'applicazione delle metriche ad agrofoodTEF per concentrarsi invece sullo sviluppo e il collaudo del sistema e sulla definizione delle metriche di performance. Questo servizio consente a questo cliente di ricevere direttamente i risultati della valutazione delle prestazioni.Il rapporto contenente i risultati è preparato dagli ingegneri che preparano ed eseguono l'elaborazione basata sulle metriche. Questi ingegneri sono anche esperti in sistemi digitali (ad esempio, modelli di IA) e robotica per applicazioni agroalimentari, il che consente loro di integrare i risultati della relazione con un'analisi approfondita, ad esempio per identificare problemi di prestazioni. Questa analisi, che fa parte del rapporto, evidenzia i problemi nelle prestazioni del sistema e identifica gli elementi nella toolchain di elaborazione del sistema in test che sono molto probabilmente coinvolti nei problemi. Il cliente può quindi sfruttare il report non solo per capire se le prestazioni del sistema sono all'altezza delle aspettative, ma anche per decidere dove concentrare ulteriori sforzi di sviluppo per migliorare le prestazioni del sistema.

La durata media di questo servizio è di 3-4 settimane ma dipende dalla quantità di dati da trattare e dalla complessità delle operazioni necessarie per impostare ed eseguire il trattamento dei dati.La fase di preparazione del servizio prevede uno o più colloqui in cui il cliente condivide con agrifoodTEF le informazioni sui dati da analizzare e le metriche di performance da applicare. Ulteriori informazioni (ad esempio, le caratteristiche interne del sistema) possono essere utili a sostegno dell'analisi che accompagna i dati contenuti nella relazione (cfr. di seguito); tali informazioni possono essere condivise nell'ambito dell'NDA se riservate. Lo scambio preliminare di informazioni è seguito dalla trasmissione a agroalimentareTEF dei dati da trattare. Al termine del servizio, il cliente riceve un report contenente i risultati dell'applicazione delle metriche di performance ai dati e un'analisi di tali risultati con indicazioni su possibili modi per migliorare le prestazioni del sistema.

Questa descrizione del servizio è intenzionalmente generica. Ogni istanza di questo servizio è, infatti, personalizzata per adattarla alle esigenze e alle esigenze del cliente specifico. Di seguito è riportato un esempio di un servizio instance.Example servizio: Le prestazioni di un sistema di navigazione robot intra-fila sono testate su diversi set di dati in ambienti di simulazione virtuale (ad esempio tramite il servizio S00183). Una serie di metriche precedentemente progettate (ad esempio tramite il servizio S00178) sono utilizzate per tenere traccia di aspetti specifici delle prestazioni della soluzione del cliente. Le metriche scelte considerano, in particolare, l'errata collocazione del robot (simulato) dalla linea centrale della fila, il numero di waypoint correttamente visitati e il numero di collisioni con gli impianti. Le metriche sono calcolate per diverse corse e traiettorie tra i dati di riferimento, tracciati / tabulati in un rapporto dettagliato, che include anche video qualitativi che dimostrano la traiettoria di navigazione seguita dal sistema in simulazione. Il rapporto evidenzia anche le deviazioni più significative del sistema dalle prestazioni attese e fornisce collegamenti tra esse e situazioni / eventi particolari, come documentato nei dati del sensore (simulati) raccolti durante l'esecuzione dei test, insieme ai set di dati utilizzati per le metriche delle prestazioni. Una serie di metriche precedentemente progettate (ad esempio tramite il servizio S00178) sono utilizzate per tenere traccia di aspetti specifici delle prestazioni della soluzione del cliente. Le metriche scelte considerano, in particolare, l'errata collocazione del robot (simulato) dalla linea centrale della fila, il numero di waypoint correttamente visitati e il numero di collisioni con gli impianti. Le metriche sono calcolate per diverse corse e traiettorie tra i dati di riferimento, tracciati / tabulati in un rapporto dettagliato, che include anche video qualitativi che dimostrano la traiettoria di navigazione seguita dal sistema in simulazione. Il rapporto evidenzia anche le deviazioni più significative del sistema dalle prestazioni attese e fornisce collegamenti tra esse e situazioni / eventi particolari, come documentato nei dati del sensore (simulati) raccolti durante l'esecuzione dei test, insieme ai set di dati utilizzati per le metriche delle prestazioni.