Udformning af evalueringsparametre til digital testning

Opbygning af et digitalt system (f.eks. en AI-model), der løser et problem, og udformning af de matematiske og databehandlingsmæssige operationer, der er nødvendige for at analysere data indsamlet under digitale eksperimenter med systemet for at evaluere dets ydeevne, er to meget forskellige aktiviteter og involverer meget forskellige kompetencer. Desuden er evalueringsparametre afgørende for at identificere problemer og metoder til at forbedre systemets ydeevne. Derfor har deres valg stor indflydelse på produktudviklingen. Denne service understøtter kunder, der har udviklet en digital løsning, såsom et stykke software, i at designe de evalueringsmålinger, der er nødvendige for at behandle eksperimentelle data for at evaluere systemets ydeevne og egnethed til opgaven. Ved afslutningen af tjenesten får kunderne et sæt parametre, der er skræddersyet til deres eget system, data og fornødenheder, som kan bruges til at vurdere deres systems ydeevne kvantitativt. Metrics vil blive beskrevet i en rapport, der klart forklarer, hvordan og til hvilke data at anvende dem, hvilke aspekter af systemets ydeevne de er designet til at fange, samt enhver begrænsning i deres anvendelighed eller betydning.  Hvis det er nødvendigt, kan agrifoodTEF støtte kunden i udformningen af det digitale miljø og testprotokollen for testene (via tjenesterne S00176 og S00177), i opsætningen af det digitale miljø, hvor testen finder sted (via tjenesterne S00180 og S00181), og i udførelsen af testene (tjeneste S00182) og den tilhørende dataindsamling (tjeneste S00183). Hvis det er nødvendigt, kan agrifoodTEF også yde støtte til anvendelsen af resultatparametrene og evalueringen af systemets ydeevne (service S00184) og dermed tilbyde hele sættet af aktiviteter, der udgør en eksperimentel testpipeline.

Varigheden af denne tjeneste er i gennemsnit 1-3 uger.Den første fase omfatter en eller flere interviews, personligt eller på afstand, hvor kunden giver oplysninger om funktionerne i det eller de systemer, der skal testes, de præstationselementer, der er af interesse, og den type data, der skal behandles med henblik på præstationsevaluering. Efterfølgende designer vi evalueringsparametrene og kontrollerer deres overensstemmelse med kravene ved at udføre indledende behandlingstest på datafragmenter (muligvis leveret af kunden, under NDA, hvis det er nødvendigt). I denne fase kan vi give kunden feedback om datakvalitet og egnethed til formålet.Hvis kunden har brug for omfattende datavalidering, kan de vælge at udnytte en separat agrifoodTEF-tjeneste, der er dedikeret til sådanne aktiviteter, dvs. S00115 (datavalidering og databehandlingstjenester). S00115 støtter også kunden i afhjælpningen af datakvalitetsmangler og i udformningen af strategier til forbedring af dataindsamlingspraksis.Ved afslutningen af tjenesten modtager kunden en rapport med udformningen af præstationsmålingerne og resultaterne af de indledende behandlingstest.

Denne servicebeskrivelse er bevidst generisk. Hvert tilfælde af denne service er faktisk tilpasset for at tilpasse den til den specifikke kundes behov og krav. Følgende er et eksempel på en tjeneste instans. Eksempel på tjeneste: Kunden er interesseret i at måle evnen af en computer vision software modul til at diskriminere ukrudt fra afgrøder i RGB-billeder. Derfor udformes der et sæt objektive evalueringsparametre til at beskrive kvaliteten af forudsigelser, herunder klassificeringsnøjagtighed, præcision og tilbagekaldelsesscorer for alle observerede "afgrøde"- og "ukrudts"-tilfælde. Metrics er udformet under hensyntagen til de specifikke karakteristika ved de data, der anvendes til testning, og som leveres af kunden. Dataene er indsamlet ved hjælp af deres egen maskine i relevante miljøer. Kunden er også interesseret i at måle indikatorer såsom "Hvor ofte forveksles Matricaria Chamomilla med bønneafgrøder?" Kvaliteten af forudsigelsesscorer beregnes således ikke kun på makroniveau ("afgrøde" vs. "ukrudt"), men også for individuelle plantearter af interesse for kunden ("bønne" vs. "Matricaria"). Kunden får de fuldstændige specifikationer for de designede resultatparametre og oplysninger om, hvilke data der skal anvendes for at optimere betydningen af forsøgsforsøgene. AgrifoodTEF kan eventuelt hjælpe kunden med at generere sådanne data (f.eks. gennem en særlig eksperimentel dataindsamlingskampagne — via tjeneste S00113 — efterfulgt af en passende dataanmærkning — via tjeneste S00115 — eller ved at supplere eksisterende data med yderligere eksempler — via tjeneste S00115).