Evaluatie en verificatie van AI-modellen

Deze dienst is gericht op klanten die AI-systemen ontwikkelen of gebruiken in hun bedrijfsactiviteiten en hulp nodig hebben bij het testen en evalueren van dergelijke systemen. De AI-modellen kunnen worden ontwikkeld door de klant, open source of door een derde partij. Service S00331 kan ook technisch advies en aanbevelingen geven aan klanten met het oog op de naleving van de AI-wetgeving van de EU. De dienst is van toepassing op alle AI-systemen en -taken die relevant zijn voor de landbouwsector. Van bijzonder belang zijn AI-systemen voor robotbesturing, dronebesturing en andere besturingssystemen waarbij formele methoden kunnen worden gebruikt in combinatie met traditionele tests. De formaliseringsfase wordt iteratief uitgevoerd in nauwe samenwerking met de klant. Deze laatste kunnen hun eigen reeks vereisten verstrekken, waarbij RISE aanvullende vereisten op basis van de AI-verordening van de EU voorstelt. Requirement testing en verificatie wordt uitgevoerd door RISE en verder verfijnd na feedback van klanten. Indien relevant kan ook bijstand en advies worden verleend over de wijze waarop AI-modellen kunnen worden bijgeschoold om aan de vereisten te voldoen. 

Logistiek: • De formulering van te testen eisen is een iteratief proces tussen RISE en de klant.• Requirement testen wordt voornamelijk uitgevoerd door RISE, met feedback van de klant die wordt gebruikt om de eisen te verfijnen en te herformuleren wanneer dat nodig is. • Voor modelverbetering kan RISE advies geven over hoe het AI-systeem kan worden verbeterd om aan de gestelde eisen te voldoen, gevolgd door een nieuwe ronde van vereistetests. Leveringstermijn: De service is het hele jaar door beschikbaar en zorgt voor toegangsondersteuning wanneer dat nodig is. Duur: De uitvoering van de service kan enkele weken in beslag nemen, afhankelijk van de complexiteit van de tests. Locatie: De dienst kan op afstand of ter plaatse worden uitgevoerd, afhankelijk van de voorkeur van de klant en de aard van de tests. Vereisten van de klant: • Voor het verlenen van de dienst moet toegang worden verleend tot de modelparameters. Toegang tot alleen binaire of gecodeerde modellen is alleen voldoende voor het uitvoeren van eenvoudige tests.  • Toegang tot relevante datasets wordt over het algemeen niet opgelegd, maar kan noodzakelijk zijn voor de evaluatie van specifieke vereisten. • Voordat met de tests wordt begonnen, moet een PM worden opgesteld en goedgekeurd waarin de opstelling van de test wordt beschreven. • Alle niet-openbaarmakingsovereenkomsten moeten van kracht zijn voordat de dienst wordt verleend. Te leveren prestaties: • Output: Er zal een verificatie- en evaluatieverslag over de resultaten worden verstrekt. De resultaten zullen ook worden gepresenteerd tijdens een laatste evaluatievergadering. 

De service kan worden aangepast aan de specifieke behoeften van de klant. De assessment journey begint met een gezamenlijke meeting waarbij de klant verschillende alternatieven bespreekt met een technisch team van agrifoodTEF, aangevuld met domeinexperts van RISE en leden van het customer support team. Er wordt een stappenplan voor de dienst opgesteld en de dienst kan beginnen.