Utvärdering och verifiering av AI-modeller

Denna tjänst riktar sig till kunder som utvecklar eller använder AI-system i sin affärsverksamhet och behöver hjälp med att testa och utvärdera sådana system. AI-modellerna kan utvecklas av kunden, med öppen källkod eller av en tredje part. Service S00331 kan också ge teknisk rådgivning och rekommendationer till kunder för efterlevnad av EU: s AI-Act-förordningar. Tjänsten är tillämplig på alla AI-system och AI-uppgifter som är relevanta för jordbrukssektorn. Av särskild betydelse är AI-system för robotstyrning, drönarstyrning och andra styrsystem där formella metoder kan användas i samband med traditionell testning. Kravformaliseringsfasen genomförs iterativt i nära samarbete med kunden. De senare kan tillhandahålla sina egna krav, och RISE föreslår ytterligare krav på grundval av EU:s AI-akt. Kravtestning och verifiering utförs av RISE och förfinas ytterligare efter feedback från kunder. Om det är relevant kan stöd och råd om hur AI-modeller kan omskolas för att anpassas till kraven också tillhandahållas. 

Logistik: • Formuleringen av krav som ska testas är en iterativ process fram och tillbaka mellan RISE och kunden.• Kravtestning utförs huvudsakligen av RISE, med återkoppling från kunden som används för att förfina och omformulera krav vid behov. • För modellförbättring kan RISE ge råd om hur AI-systemet kan förbättras för att uppfylla de givna kraven, följt av ytterligare en omgång kravtestning. Leveransperiod: Tjänsten är tillgänglig under hela året, vilket säkerställer åtkomststöd vid behov. Varaktighet: Utförandet av tjänsten kan sträcka sig över flera veckor, beroende på komplexiteten i testerna. Plats: Tjänsten kan utföras på distans eller på plats, beroende på kundens önskemål och typen av testning. Kundkrav: • För tillhandahållandet av tjänsten måste tillgång till modellparametrarna beviljas. Tillgång till endast binära eller krypterade modeller kommer endast att vara tillräckligt för att utföra enkel testning.  • Tillgång till relevanta dataset krävs i allmänhet inte, men kan vara nödvändig för att utvärdera särskilda krav. • En PM med detaljerade testuppställningsöverväganden måste förberedas och godkännas innan testerna påbörjas. • Eventuella sekretessavtal måste finnas på plats innan tjänsten tillhandahålls. Resultat: • Utgång: En kontroll- och utvärderingsrapport om resultaten kommer att tillhandahållas. Resultaten kommer också att presenteras vid ett slutligt översynsmöte. 

Tjänsten kan anpassas till specifika kundbehov. Utvärderingsresan inleds med ett gemensamt möte där kunden diskuterar olika alternativ med ett tekniskt team från agrifoodTEF, kompletterat med domänexperter från RISE och medlemmar från kundsupportteamet. En färdplan för tjänsten upprättas och tjänsten kan påbörjas.