Insamling av testdata vid digital testning

En av de viktigaste aktiviteterna under den digitala testningen är insamlingen av uppgifter om testernas förlopp och slutresultat. Sådana uppgifter gör det möjligt för kunden eller – vid behov – agrifoodTEF (via tjänst S00184) att utvärdera systemets prestanda. Denna tjänst hanterar insamlingen av data som är relevanta för prestandautvärderingen och som produceras under testerna av både det system som testas och den beräkningsmiljö där testerna äger rum.

Exempel på insamlade data omfattar information som produceras i en virtuell miljö för att simulera insamling av sensordata i en fysisk miljö. Statistik om AI-modellens prestanda under test- och införandefasen (t.ex. upptaget minne, antal parametrar som kan tränas, förlust av träning/optimering osv.). Särskilda märkningar och kommentarer som ska användas som grundsanning vid utvärderingen av systemet. och systemets uteffekt när det utsätts för en rad olika provningsförhållanden.  

Den minimiuppsättning uppgifter som ska samlas in definieras av de utvärderingsmått som användaren valde (antingen på egen hand eller med stöd från agrifoodTEF, via tjänst S00178) för att behandla dem. I allmänhet väljs en större uppsättning uppgifter ut av agrifoodTEF tillsammans med kunden för att ge en bättre bild av systemets prestanda och vid behov möjliggöra tillämpning av andra mått i framtiden.

Som ett resultat av tjänsten, förutom rådata, ger vi också kunden dokumentation som beskriver loggade funktioner och förhållanden i testmiljön vid tidpunkten för testningen, liksom eventuella parametervärden, variationsområden och specifikationer som krävs för reproducerbarhetsändamål.