Enhver testaktivitet omfatter tre hovedkomponenter, dvs., miljø (hvor prøverne finder sted) protokol (definere, hvilke aktiviteter der udføres, og hvordan) og evalueringsparametre (anvendes til at vurdere resultaterne af testene). Denne tjeneste vedrører det andet element, dvs. udformningen af prøvningsproceduren for digitale systemer såsom (f.eks.) AI-modeller eller computervisionssoftware. Det digitale miljø og evalueringsparametrene kan om nødvendigt udformes via tjenesterne S00176 og S00178.
I forbindelse med test af kundernes løsninger inden for digitale miljøer er denne tjeneste rettet mod at udforme en passende protokol for digital testning baseret på de use cases, som kunden har angivet. Testprotokollens komponenter kan omfatte:
Valg af de datasæt, der skal anvendes til test
Valg af AI-referencemodeller, der skal anvendes til prøvning (om nødvendigt)
Valg af dataformater og metadatastandarder
Definition af forbehandling og forberedelse af data
Definition af værdier og intervaller for testparametre
Definition af protokollens forskellige faser
Beskrivelse af de operationer, der skal udføres i hver fase
Detaljeret beskrivelse af protokolspecifikationerne for at sikre reproducerbarhed
Datasæt, der skal anvendes til testning, kan leveres af agrifoodTEF og/eller af kunden. hvis der ikke er noget egnet til rådighed, kan andre agrifoodTEF-tjenester udnyttes til at indsamle og/eller generere skræddersyede data.
Det tekniske team, der udfører denne service, omfatter ekspertingeniører, men kan også inddrage agronomer, når dette er nødvendigt for at sikre testenes relevans for brugsscenariet, f.eks. for at bestemme fordelingen af testgentagelser på tværs af variationsområder.
Hvordan kan tjenesten hjælpe dig?
Opbygning af et digitalt system (f.eks. et softwaremodul), der løser et problem og udfører grundig afprøvning af et sådant system, er separate og forskellige aktiviteter og involverer forskellige kompetencer. Testning er vigtig ikke kun for at kontrollere, at systemet fungerer tilfredsstillende, men også for at identificere måder, hvorpå det kan forbedres yderligere.
Denne tjeneste hjælper kunden med at definere den optimale forsøgsprotokol for at validere systemet med data, der er relevante for kundens brugstilfælde, for at muliggøre kvantitativ evaluering af ydeevnen og for at demonstrere dens ydeevne over for potentielle brugere. Ved afslutningen af tjenesten får kunderne en fuldt dokumenteret digital testprotokol, som de straks kan bruge til at oprette deres egen forsøgsaktivitet.
Hvis det er nødvendigt, kan agrifoodTEF også støtte kunden i udformningen af det beregningsmæssige miljø, der er nødvendigt for testning og evalueringsparametre (via tjenesterne S00176 og S00178), i opsætningen af eksperimentelle aktiviteter (via tjenesterne S00180 og S00181) og i udførelsen af testene (tjeneste S00182) og den tilhørende dataindsamling (tjeneste S00183). Endelig kan agrifoodTEF også støtte kunden i evalueringen af ydeevne (service S00184) og dermed tilbyde hele sættet af aktiviteter, der udgør en digital testpipeline.
Hvordan tjenesten vil blive leveret
Varigheden af denne service er i gennemsnit 1-3 uger.Den første fase involverer en eller flere interviews, personligt eller på afstand, hvor kunden giver oplysninger om funktionerne i det eller de systemer, der skal testes, og de præstationselementer, som den protokol, der skal udformes, skal undersøge. Yderligere dokumentation (f.eks. oplysninger om softwarekomponenternes interne dele) kan fremlægges (under NDA, hvis den er fortrolig) for præcist at matche protokollen med kundens systems behov.
Efter denne indledende fase finder protokoldesignet sted. Yderligere interaktion med kunden vil forekomme for at sikre overholdelse af deres fornødenheder og for at finjustere designet. Ved afslutningen af tjenesten modtager kunden et omfattende design, som de straks kan anvende til at oprette og udføre testene.
Tilpasning af tjenester
Denne servicebeskrivelse er bevidst generisk. Hvert tilfælde af denne service er faktisk tilpasset for at tilpasse den til den specifikke kundes behov og krav. Følgende er et eksempel på service instans.
Eksempel på tjeneste: I forbindelse med afprøvning af en computervisionsmodels evne til at diskriminere ukrudt fra afgrøder defineres en liste over kandidatmetoder, der allerede i vid udstrækning anvendes på markedet, og som kan betragtes som et benchmark og sammenlignes med kundens eksisterende løsning. Der identificeres også trinvise variationer af disse modeller (f.eks. værdier og intervaller for modelparametre, isolering af individuelle delmoduler under træning og finjustering, forskellige optimeringsfunktioner osv.). På grundlag af modelstørrelsen og ydeevnen på forskellige datasæt foretages der skøn over det mindste antal eksempler, der kræves pr. ukrudts- og afgrødeklasse til træning af modellerne.
En liste over sammenlignelige datasæt, der er tilgængelige inden for konsortiet og/eller offentligt, er også defineret for at reducere modeluddannelsesomkostningerne og genbruge eksisterende datasæt, hvor det er muligt. I den definerede forsøgsprotokol testes metoderne 10 gange i træk for at indsamle gennemsnits- og standardafvigelsesværdier for alle evalueringsparametre.