Ontwerp van evaluatiemaatstaven voor digitaal testen

Het bouwen van een digitaal systeem (bv. een AI-model) dat een probleem oplost en het ontwerpen van de wiskundige en gegevensverwerkende bewerkingen die nodig zijn om gegevens te analyseren die zijn verzameld tijdens digitale experimenten met het systeem om de prestaties ervan te evalueren, zijn twee zeer verschillende activiteiten en omvatten zeer verschillende competenties. Daarnaast zijn evaluatiemaatstaven van cruciaal belang voor de identificatie van problemen en manieren om de prestaties van het systeem te verbeteren; Daarom heeft hun keuze een grote invloed op de productontwikkeling. Deze service ondersteunt klanten die een digitale oplossing hebben ontwikkeld, zoals een stuk software, bij het ontwerpen van de evaluatiestatistieken die nodig zijn om experimentele gegevens te verwerken om de systeemprestaties en geschiktheid voor de taak te evalueren. Aan het einde van de dienst krijgen klanten een reeks maatstaven die zijn afgestemd op hun eigen systeem, gegevens en benodigdheden, die kunnen worden gebruikt om de prestaties van hun systeem kwantitatief te beoordelen. De statistieken zullen worden beschreven in een rapport waarin duidelijk wordt uitgelegd hoe en op welke gegevens ze moeten worden toegepast, welke aspecten van de systeemprestaties ze moeten vastleggen, evenals eventuele beperkingen in hun toepasbaarheid of betekenis.  Indien nodig kan agrifoodTEF de klant ondersteunen bij het ontwerpen van de digitale omgeving en het testprotocol voor de tests (via diensten S00176 en S00177), bij het opzetten van de digitale omgeving waar het testen plaatsvindt (via diensten S00180 en S00181), en bij het uitvoeren van de tests (dienst S00182) en de bijbehorende gegevensverzameling (dienst S00183). Indien nodig kan agrifoodTEF ook ondersteuning bieden bij de toepassing van de prestatiemaatstaven en de evaluatie van de systeemprestaties (service S00184), waardoor de volledige reeks activiteiten wordt aangeboden die een experimentele testpijplijn vormen.

De duur van deze dienst is gemiddeld 1-3 weken.De eerste fase omvat een of meer interviews, persoonlijk of op afstand, waarbij de klant informatie verstrekt over de kenmerken van het te testen systeem of de te testen systemen, de prestatie-elementen die van belang zijn en het type gegevens dat moet worden verwerkt voor prestatie-evaluatie. Vervolgens ontwerpen we de evaluatiemaatstaven en controleren we of ze voldoen aan de vereisten door voorafgaande verwerkingstests uit te voeren op gegevensfragmenten (eventueel verstrekt door de klant, indien nodig onder NDA). Tijdens deze fase kunnen we de klant feedback geven over de kwaliteit van de gegevens en de geschiktheid voor het doel.Indien de klant uitgebreide gegevensvalidatie nodig heeft, kan hij ervoor kiezen om gebruik te maken van een afzonderlijke agrifoodTEF-service die is gewijd aan dergelijke activiteiten, d.w.z. S00115 (diensten voor gegevensvalidatie en -verwerking). S00115 ondersteunt de klant ook bij het verhelpen van tekortkomingen in de gegevenskwaliteit en bij het bedenken van strategieën om de gegevensverzamelingspraktijken te verbeteren.Aan het einde van de service ontvangt de klant een rapport met het ontwerp van de prestatiestatistieken en de resultaten van de voorlopige verwerkingstests.

Deze servicebeschrijving is opzettelijk generiek. Elk exemplaar van deze service is in feite aangepast om deze aan te passen aan de behoeften en vereisten van de specifieke klant. Het volgende is een voorbeeld van een service-instantie. Voorbeelddienst: De klant is geïnteresseerd in het meten van het vermogen van een computer vision software module om onkruid te onderscheiden van gewassen in RGB beelden. Bijgevolg wordt een reeks objectieve evaluatiemaatstaven ontworpen om de kwaliteit van voorspellingen te beschrijven, met inbegrip van classificatienauwkeurigheid, precisie en terugroepscores voor alle waargenomen “gewas”- en “onkruid”-gevallen. Metrics zijn ontworpen met inachtneming van de specifieke kenmerken van de gegevens die worden gebruikt voor het testen, verstrekt door de klant; gegevens zijn verzameld met behulp van hun eigen machine in relevante omgevingen. De klant is ook geïnteresseerd in het meten van indicatoren zoals “Hoe vaak wordt Matricaria Chamomilla verward met bonengewassen?” De kwaliteit van de voorspellingsscores wordt dus niet alleen berekend op macroniveau (“gewas” versus “onkruid”), maar ook voor individuele plantensoorten die voor de klant van belang zijn (“boon” versus “matricaria”). De klant krijgt de volledige specificaties van de ontworpen prestatiemaatstaven en informatie over welke gegevens moeten worden gebruikt om de significantie van de experimentele tests te optimaliseren. Optioneel kan agrifoodTEF de klant ondersteunen bij het genereren van dergelijke gegevens (bv. door middel van een specifieke experimentele gegevensverzamelingscampagne — via dienst S00113 — gevolgd door een passende gegevensannotatie — via dienst S00115 — of door bestaande gegevens aan te vullen met aanvullende voorbeelden — via dienst S00115).