Evaluering af resultaterne af digitale test

Anvendelsen af specificerede ydeevneparametre til eksperimentelle data kan være en kompleks proces, der ofte kræver udvikling af brugerdefineret software til at styre data og udføre de nødvendige behandlingshandlinger. En kunde kan beslutte at overlade anvendelsen af parametrene til agrifoodTEF for i stedet at fokusere på systemudvikling og -test og på definitionen af resultatparametre. Denne service giver denne kunde mulighed for direkte at modtage resultaterne af præstationsevalueringen.Rapporten, der indeholder resultaterne, udarbejdes af de ingeniører, der forbereder og udfører den metrikdrevne behandling. Disse ingeniører er også eksperter i digitale systemer (f.eks. AI-modeller) og robotteknologi til landbrugsfødevareapplikationer, hvilket gør det muligt for dem at supplere resultaterne i rapporten med en dybdegående analyse, f.eks. for at identificere præstationsproblemer. Denne analyse, som er en del af rapporten, fremhæver problemer med systemets ydeevne og identificerer de elementer i behandlingsværktøjskæden i det system, der testes, som sandsynligvis er involveret i problemerne. Kunden kan derfor udnytte rapporten til ikke blot at forstå, om systemets ydeevne lever op til forventningerne, men også til at beslutte, hvor der skal fokuseres yderligere udviklingsindsats for at forbedre systemets ydeevne.

Varigheden af denne tjeneste er i gennemsnit 3-4 uger, men afhænger af mængden af data, der skal behandles, og kompleksiteten af de operationer, der er nødvendige for at oprette og udføre databehandling.Tjenestens forberedelsesfase omfatter en eller flere interviews, hvor kunden deler oplysninger med agrifoodTEF om de data, der skal analyseres, og de resultatparametre, der skal anvendes. Yderligere oplysninger (f.eks. interne systemfunktioner) kan være nyttige til støtte for den analyse, der ledsager dataene i rapporten (se nedenfor). alle sådanne oplysninger kan deles under NDA, hvis de er fortrolige. Den foreløbige udveksling af oplysninger efterfølges af fremsendelsen til agrifoodTEF af de data, der skal behandles. Ved afslutningen af tjenesten modtager kunden en rapport med resultaterne af anvendelsen af resultatparametrene på dataene og en analyse af sådanne resultater med angivelse af mulige måder at forbedre systemets ydeevne på.

Denne servicebeskrivelse er bevidst generisk. Hvert tilfælde af denne service er faktisk tilpasset for at tilpasse den til den specifikke kundes behov og krav. Følgende er et eksempel på en tjenesteforekomst.Eksempeltjeneste: Et robotnavigationssystems ydeevne testes på forskellige datasæt i virtuelle simuleringsmiljøer (f.eks. via tjeneste S00183). Et sæt parametre, der tidligere er udformet (f.eks. via tjeneste S00178), anvendes til at spore specifikke aspekter af kundens løsnings ydeevne. De valgte målinger tager især hensyn til den (simulerede) robots fejlplacering fra den midterste rækkelinje, antallet af korrekt besøgte waypoints og antallet af kollisioner med planter. Metrics beregnes for forskellige kørsler og baner på tværs af referencedataene og plottes/tabuleres i en detaljeret rapport, som også omfatter kvalitative videoer, der viser navigationsforløbet efterfulgt af systemet i simulering. Rapporten fremhæver også systemets væsentligste afvigelser fra den forventede ydeevne og indeholder links mellem dem og særlige situationer/begivenheder, som dokumenteret i de (simulerede) sensordata, der er indsamlet under udførelsen af testene, sammen med de datasæt, der anvendes til resultatmålingerne. Et sæt parametre, der tidligere er udformet (f.eks. via tjeneste S00178), anvendes til at spore specifikke aspekter af kundens løsnings ydeevne. De valgte målinger tager især hensyn til den (simulerede) robots fejlplacering fra den midterste rækkelinje, antallet af korrekt besøgte waypoints og antallet af kollisioner med planter. Metrics beregnes for forskellige kørsler og baner på tværs af referencedataene og plottes/tabuleres i en detaljeret rapport, som også omfatter kvalitative videoer, der viser navigationsforløbet efterfulgt af systemet i simulering. Rapporten fremhæver også systemets væsentligste afvigelser fra den forventede ydeevne og indeholder links mellem dem og særlige situationer/begivenheder, som dokumenteret i de (simulerede) sensordata, der er indsamlet under udførelsen af testene, sammen med de datasæt, der anvendes til resultatmålingerne.