Evaluatie van de resultaten van digitale tests

De toepassing van gespecificeerde prestatiestatistieken op experimentele gegevens kan een complex proces zijn, waarvoor vaak aangepaste software moet worden ontwikkeld om gegevens te beheren en de nodige verwerkingsacties uit te voeren. Een klant kan besluiten de toepassing van de maatstaven over te laten aan agrifoodTEF om zich in plaats daarvan te concentreren op systeemontwikkeling en -tests en op de definitie van prestatiemaatstaven. Deze service stelt deze klant in staat om direct de resultaten van de prestatie-evaluatie te ontvangen.Het rapport met de resultaten wordt opgesteld door de ingenieurs die de metrics-driven processing voorbereiden en uitvoeren. Deze ingenieurs zijn ook experts in digitale systemen (bijvoorbeeld AI-modellen) en robotica voor agrifood-toepassingen, waardoor ze de resultaten in het rapport kunnen aanvullen met een diepgaande analyse, bijvoorbeeld om prestatieproblemen te identificeren. Deze analyse, die deel uitmaakt van het rapport, belicht problemen in de systeemprestaties en identificeert de elementen in de verwerkingstoolchain van het geteste systeem die hoogstwaarschijnlijk bij de problemen betrokken zijn. De klant kan het rapport daarom niet alleen gebruiken om te begrijpen of de prestaties van het systeem aan de verwachtingen voldoen, maar ook om te beslissen waar hij extra ontwikkelingsinspanningen moet richten om de systeemprestaties te verbeteren.

De duur van deze dienst is gemiddeld 3-4 weken, maar is afhankelijk van de hoeveelheid te verwerken gegevens en de complexiteit van de bewerkingen die nodig zijn om gegevensverwerking op te zetten en uit te voeren.De voorbereidingsfase van de dienst omvat een of meer interviews waarbij de klant met agrifoodTEF informatie deelt over de te analyseren gegevens en de toe te passen prestatiemaatstaven. Aanvullende informatie (bv. interne systeemkenmerken) kan nuttig zijn ter ondersteuning van de analyse bij de gegevens in het verslag (zie hieronder); dergelijke informatie kan in het kader van de NDA worden gedeeld indien zij vertrouwelijk is.De voorafgaande uitwisseling van informatie wordt gevolgd door de toezending van de te verwerken gegevens aan agrifoodTEF. Aan het einde van de dienst ontvangt de klant een rapport met de resultaten van de toepassing van de prestatiemaatstaven op de gegevens en een analyse van dergelijke resultaten met aanwijzingen over mogelijke manieren om de systeemprestaties te verbeteren.

Deze servicebeschrijving is opzettelijk generiek. Elk exemplaar van deze service is in feite aangepast om deze aan te passen aan de behoeften en vereisten van de specifieke klant. Het volgende is een voorbeeld van een service-instantie.Voorbeeld service: De prestaties van een intra-row robotnavigatiesysteem worden getest op verschillende datasets in virtuele simulatieomgevingen (bijvoorbeeld via service S00183). Een reeks eerder ontworpen statistieken (bv. via service S00178) wordt gebruikt om specifieke aspecten van de prestaties van de oplossing van de klant te volgen. De gekozen maatstaven houden met name rekening met de misplaatsing van de (gesimuleerde) robot vanaf de middelste rijlijn, het aantal correct bezochte waypoints en het aantal botsingen met planten. Metrics worden berekend voor verschillende runs en trajecten over de referentiegegevens, uitgezet / getabelleerd in een gedetailleerd rapport, dat ook kwalitatieve video's bevat die het navigatietraject tonen dat door het systeem in simulatie wordt gevolgd. In het verslag wordt ook gewezen op de belangrijkste afwijkingen van het systeem ten opzichte van de verwachte prestaties en worden verbanden gelegd tussen deze afwijkingen en specifieke situaties/gebeurtenissen, zoals gedocumenteerd in de (gesimuleerde) sensorgegevens die tijdens de uitvoering van de tests zijn verzameld, samen met de datasets die voor de prestatiemaatstaven zijn gebruikt. Een reeks eerder ontworpen statistieken (bv. via service S00178) wordt gebruikt om specifieke aspecten van de prestaties van de oplossing van de klant te volgen. De gekozen maatstaven houden met name rekening met de misplaatsing van de (gesimuleerde) robot vanaf de middelste rijlijn, het aantal correct bezochte waypoints en het aantal botsingen met planten. Metrics worden berekend voor verschillende runs en trajecten over de referentiegegevens, uitgezet / getabelleerd in een gedetailleerd rapport, dat ook kwalitatieve video's bevat die het navigatietraject tonen dat door het systeem in simulatie wordt gevolgd. In het verslag wordt ook gewezen op de belangrijkste afwijkingen van het systeem ten opzichte van de verwachte prestaties en worden verbanden gelegd tussen deze afwijkingen en specifieke situaties/gebeurtenissen, zoals gedocumenteerd in de (gesimuleerde) sensorgegevens die tijdens de uitvoering van de tests zijn verzameld, samen met de datasets die voor de prestatiemaatstaven zijn gebruikt.