Ontwerp van evaluatiemaatstaven voor fysieke tests

Het bouwen van een systeem (bijvoorbeeld een machine) dat een probleem oplost en het ontwerpen van de wiskundige en gegevensverwerkende bewerkingen die nodig zijn om gegevens te analyseren die tijdens experimentele activiteiten zijn verzameld om de prestaties van de machine te evalueren, zijn twee zeer verschillende activiteiten en omvatten zeer verschillende competenties. Bovendien zijn evaluatiemaatstaven cruciaal voor de identificatie van problemen en manieren om de prestaties van het systeem te verbeteren, dus hun keuze heeft een sterke impact op de productontwikkeling.Deze service ondersteunt klanten die een oplossing hebben ontwikkeld bij het ontwerpen van de evaluatiemaatstaven die nodig zijn om experimentele gegevens te verwerken om de prestaties van het systeem en de geschiktheid voor de taak te evalueren. Aan het einde van de dienst krijgen klanten een reeks maatstaven die zijn afgestemd op hun eigen systemen en benodigdheden, die kunnen worden gebruikt om gegevens te verzamelen en te verwerken om de prestaties van hun systeem kwantitatief te beoordelen.  Indien nodig kan AgrifoodTEF de klant ondersteunen bij het ontwerpen van de omgeving en het testprotocol voor tests (via diensten S00106 en S00107), bij het opzetten van de experimentele activiteiten (via diensten S00110 en S00111), en bij de uitvoering van de tests (dienst S00112) en de bijbehorende gegevensverzameling (dienst S00113). Indien nodig kan AgrifoodTEF ook ondersteuning bieden bij prestatie-evaluatie (service S00114), waardoor de volledige reeks activiteiten waaruit een experimentele testpijplijn bestaat, wordt aangeboden.

De duur van deze dienst is gemiddeld 3-6 weken.De eerste fase omvat een of meer interviews, persoonlijk of op afstand, waarbij de klant informatie verstrekt over de kenmerken van het systeem of de systemen die moeten worden getest, de prestatie-elementen die van belang zijn en het type gegevens dat moet worden verwerkt voor prestatie-evaluatie. Vervolgens ontwerpen we de evaluatiemaatstaven en controleren we of ze voldoen aan de vereisten door voorafgaande verwerkingstests uit te voeren op gegevensfragmenten die door de klant zijn verstrekt (indien nodig onder NDA). Tijdens deze fase kunnen we de klant feedback geven over de kwaliteit van de gegevens en de geschiktheid voor het doel.Aan het einde van de service ontvangt de klant een rapport met het ontwerp van de prestatiestatistieken en de resultaten van de voorlopige verwerkingstests.

Deze servicebeschrijving is opzettelijk generiek. Elk exemplaar van deze service is in feite aangepast om deze aan te passen aan de behoeften en vereisten van de specifieke klant. Het volgende is een voorbeeld van een service-instantie. Voorbeelddienst: De klant is geïnteresseerd in het testen van de intra-row navigatiemodule voor hun eigen landbouwrobots. Om dit doel te bereiken, definiëren we met hen de prestatiedoelstellingen, bijvoorbeeld het maximaliseren van het slagingspercentage in termen van doorkruiste waypoints en het minimaliseren van het percentage beschadigde planten. Vervolgens worden geschikte kwantitatieve prestatiemaatstaven gedefinieerd om te evalueren hoe goed het systeem de gekozen doelstellingen bereikt. De service kan ook datasets identificeren waar deze statistieken al zijn geannoteerd. Bij gebrek aan gouden standaardinformatie over optimale metrische waarden om als grondwaarheid te gebruiken, kan optioneel een aanvullende specifieke gegevensverzamelingscampagne worden gedefinieerd, ongeacht of deze wordt uitgevoerd in fysieke faciliteiten (bijvoorbeeld via service S00113) of in simulatie (bijvoorbeeld via service S00183).