Utformning av utvärderingsmått för digital testning

Att bygga ett digitalt system (t.ex. en AI-modell) som löser ett problem och utformar de matematiska och databehandlingsoperationer som behövs för att analysera data som samlats in under digitala experiment med systemet för att utvärdera dess prestanda är två mycket olika aktiviteter och involverar mycket olika kompetenser. Dessutom är utvärderingsmått avgörande för att identifiera problem och sätt att förbättra systemets prestanda. Därför har deras val en stark inverkan på produktutvecklingen. Denna tjänst hjälper kunder som utvecklat en digital lösning, till exempel en mjukvara, att utforma de utvärderingsmått som krävs för att bearbeta experimentella data för att utvärdera systemets prestanda och lämplighet för uppgiften. I slutet av tjänsten får kunderna en uppsättning mätvärden som är skräddarsydda för deras eget system, data och nödvändigheter, som kan användas för att kvantitativt bedöma systemets prestanda. Måtten kommer att beskrivas i en rapport som tydligt förklarar hur och till vilka data de ska tillämpas, vilka aspekter av systemprestanda de är utformade för att fånga, samt eventuella begränsningar i deras tillämplighet eller betydelse.  Vid behov kan agrifoodTEF hjälpa kunden att utforma även den digitala miljön och testprotokollet för testerna (via tjänsterna S00176 och S00177), i installationen av den digitala miljön där testerna äger rum (via tjänsterna S00180 och S00181) och i utförandet av testerna (tjänst S00182) och tillhörande datainsamling (tjänst S00183). Vid behov kan agrifoodTEF också ge stöd vid tillämpningen av prestandamåtten och utvärderingen av systemprestanda (tjänst S00184), och därmed erbjuda hela uppsättningen aktiviteter som utgör en experimentell testpipeline.

Varaktigheten för denna tjänst är i genomsnitt 1-3 veckor.Den första fasen omfattar en eller flera intervjuer, personligen eller på distans, där kunden tillhandahåller information om funktionerna i det eller de system som ska testas, de prestandaelement som är av intresse och den typ av uppgifter som ska behandlas för prestandautvärdering. Därefter utformar vi utvärderingsmåtten och kontrollerar deras överensstämmelse med kraven genom att utföra preliminära bearbetningstester på datafragment (eventuellt tillhandahållna av kunden, vid behov under NDA). Under denna fas kan vi ge kunden återkoppling om datakvalitet och lämplighet för ändamålet.Om kunden behöver omfattande datavalidering kan de välja att utnyttja en separat agrifoodTEF-tjänst som är avsedd för sådana aktiviteter, dvs. S00115 (datavaliderings- och bearbetningstjänster). S00115 hjälper också kunden att åtgärda brister i datakvaliteten och att utforma strategier för att förbättra datainsamlingsmetoderna.I slutet av tjänsten får kunden en rapport med utformningen av prestandamåtten och resultaten av de preliminära bearbetningstesterna.

Denna tjänstebeskrivning är avsiktligt generisk. Varje instans av denna tjänst är faktiskt anpassad för att anpassa den till den specifika kundens behov och krav. Följande är ett exempel på en serviceinstans. Exempeltjänst: Kunden är intresserad av att mäta förmågan hos en programvarumodul för datorseende att skilja ogräs från grödor i RGB-bilder. Följaktligen blir en uppsättning objektiva utvärderingsmått utformade för att beskriva kvaliteten på förutsägelser, inklusive klassificeringsnoggrannhet, precision och återkallningspoäng för alla observerade ”grödor” och ”ogräs”. Måtten är utformade med hänsyn till de specifika egenskaperna hos de data som används för testning och som tillhandahålls av kunden. data har samlats in med hjälp av sin egen maskin i relevanta miljöer. Kunden är också intresserad av att mäta indikatorer som ”Hur ofta misstas Matricaria Chamomilla för böngrödor?” Således beräknas kvaliteten på prediktionspoängen inte bara på makronivå (”gröda” vs. ”ogräs”) utan även för enskilda växtarter som är av intresse för kunden (”böna” vs. ”Matricaria”). Kunden får fullständiga specifikationer av de utformade prestandamåtten och information om vilka data som ska användas för att optimera betydelsen av de experimentella testerna. Alternativt kan agrifoodTEF hjälpa kunden att generera sådana data (t.ex. genom en särskild experimentell datainsamlingskampanj – via tjänst S00113 – följt av en lämplig dataanteckning – via tjänst S00115 – eller genom att utöka befintliga data med ytterligare exempel – via tjänst S00115).