Utvärdering av resultaten av digitala tester

Tillämpningen av specificerade prestandamått på experimentella data kan vara en komplex process, som ofta kräver utveckling av anpassad programvara för att hantera data och utföra nödvändiga bearbetningsåtgärder. En kund kan besluta att låta tillämpningen av mätvärdena till jordbruksbaserade livsmedels- och foderföretag i stället fokusera på systemutveckling och testning och på definitionen av prestandamätvärden. Denna tjänst gör det möjligt för denna kund att direkt få resultaten av prestandautvärderingen.Rapporten som innehåller resultaten utarbetas av ingenjörerna som förbereder och utför den mätdrivna bearbetningen. Dessa ingenjörer är också experter på digitala system (t.ex. AI-modeller) och robotteknik för jordbruksbaserade livsmedelstillämpningar, vilket gör det möjligt för dem att komplettera resultaten i rapporten med en djupgående analys, t.ex. för att identifiera prestandaproblem. Denna analys, som är en del av rapporten, belyser problem i systemets prestanda och identifierar de delar i bearbetningsverktygskedjan för det system som testas som sannolikt är involverade i problemen. Kunden kan därför utnyttja rapporten inte bara för att förstå om systemets prestanda mäter upp till förväntningarna utan också för att bestämma var man ska fokusera ytterligare utvecklingsinsatser för att förbättra systemets prestanda.

Varaktigheten för denna tjänst är i genomsnitt 3-4 veckor men beror på mängden data som ska behandlas och komplexiteten i de åtgärder som krävs för att inrätta och utföra databehandling.Förberedelsefasen av tjänsten innebär en eller flera intervjuer där kunden delar med agrifoodTEF information om de data som ska analyseras och de resultatmått som ska tillämpas. Ytterligare information (t.ex. interna systemfunktioner) kan vara användbar som stöd för den analys som åtföljer uppgifterna i rapporten (se nedan). All sådan information kan delas inom ramen för kärnavvecklingsbyrån om den är konfidentiell. Det preliminära informationsutbytet följs av överföring till jordbruksbaserade livsmedelsföretag av de uppgifter som ska behandlas. I slutet av tjänsten får kunden en rapport som innehåller resultaten av tillämpningen av prestandamåtten på data och en analys av sådana resultat med indikationer om möjliga sätt att förbättra systemets prestanda.

Denna tjänstebeskrivning är avsiktligt generisk. Varje instans av denna tjänst är faktiskt anpassad för att anpassa den till den specifika kundens behov och krav. Följande är ett exempel på en serviceinstans.Exempeltjänst: Prestandan hos ett intraradigt robotnavigeringssystem testas på olika dataset i virtuella simuleringsmiljöer (t.ex. via tjänst S00183). En uppsättning mätvärden som tidigare utformats (t.ex. via tjänst S00178) används för att spåra specifika aspekter av kundens lösnings prestanda. De valda mätvärdena tar särskilt hänsyn till felplaceringen av den (simulerade) roboten från mittradlinjen, antalet korrekt besökta waypoints och antalet kollisioner med växter. Metrics beräknas för olika körningar och banor över referensdata, plottade/tabulerade i en detaljerad rapport, som också innehåller kvalitativa videor som visar navigationsbanan följt av systemet i simulering. Rapporten belyser också de mest betydande avvikelserna i systemet från förväntad prestanda och ger länkar mellan dem och särskilda situationer / händelser, som dokumenteras i de (simulerade) sensordata som har samlats in under utförandet av testerna, tillsammans med de dataset som används för prestandamåtten. En uppsättning mätvärden som tidigare utformats (t.ex. via tjänst S00178) används för att spåra specifika aspekter av kundens lösnings prestanda. De valda mätvärdena tar särskilt hänsyn till felplaceringen av den (simulerade) roboten från mittradlinjen, antalet korrekt besökta waypoints och antalet kollisioner med växter. Metrics beräknas för olika körningar och banor över referensdata, plottade/tabulerade i en detaljerad rapport, som också innehåller kvalitativa videor som visar navigationsbanan följt av systemet i simulering. Rapporten belyser också de mest betydande avvikelserna i systemet från förväntad prestanda och ger länkar mellan dem och särskilda situationer / händelser, som dokumenteras i de (simulerade) sensordata som har samlats in under utförandet av testerna, tillsammans med de dataset som används för prestandamåtten.