Evaluering og verifikation af AI-modeller

Denne tjeneste er rettet mod kunder, der udvikler eller anvender AI-systemer i deres forretningsaktiviteter, og som har brug for hjælp til at teste og evaluere sådanne systemer. AI-modellerne kan udvikles af kunden, open source eller udvikles af en tredjepart. Service S00331 kan også give teknisk rådgivning og anbefalinger til kunder om overholdelse af EU's AI-forordninger. Tjenesten finder anvendelse på alle AI-systemer og -opgaver, der er relevante for landbrugssektoren. Af særlig relevans er AI-systemer til robotkontrol, dronekontrol og andre kontrolsystemer, hvor formelle metoder kan anvendes i forbindelse med traditionel testning. Krav formalisering fase udføres iterativt i tæt samarbejde med kunden. Sidstnævnte kan stille deres egne krav, idet RISE foreslår yderligere krav baseret på EU's forordning om kunstig intelligens. Kravtest og -verifikation udføres af RISE og finjusteres yderligere efter kundefeedback. Hvis det er relevant, kan der også ydes bistand og rådgivning om, hvordan AI-modeller omskoles for at tilpasse sig kravene. 

Logistik: • Formuleringen af de krav, der skal testes, er en iterativ proces frem og tilbage mellem RISE og kunden.• Kravtest udføres hovedsagelig af RISE, hvor feedback fra kunden anvendes til at forfine og omformulere kravene, når det er nødvendigt. • Med henblik på modelforbedring kan RISE rådgive om, hvordan AI-systemet kan forbedres for at opfylde de givne krav, efterfulgt af endnu en runde af kravprøvning. Leveringsperiode: Tjenesten er tilgængelig hele året, hvilket sikrer adgangssupport, når det er nødvendigt. Varighed: Service eksekvering kan strække sig over flere uger, afhængigt af kompleksiteten af testene. Beliggenhed: Tjenesten kan udføres eksternt eller på stedet afhængigt af kundens præferencer og testens art. Kundekrav: • Med henblik på levering af tjenesten skal der gives adgang til modelparametrene. Adgang til kun binære eller krypterede modeller vil kun være tilstrækkelig til udførelse af simpel test.  • Adgang til relevante datasæt er generelt ikke påkrævet, men kan være nødvendig for at evaluere specifikke krav. • Der skal forberedes og godkendes en PM med detaljer om testopstillingen, inden testene påbegyndes. • Eventuelle fortrolighedsaftaler skal være på plads inden leveringen af tjenesten. Leverancer: • Output: Der vil blive fremlagt en verifikations- og evalueringsrapport om resultaterne. Resultaterne vil også blive fremlagt på et afsluttende evalueringsmøde. 

Servicen kan tilpasses til specifikke kundebehov. Vurderingsrejsen starter med et fælles møde, hvor kunden diskuterer forskellige alternativer med et teknisk team fra agrifoodTEF suppleret med domæneeksperter fra RISE og medlemmer fra kundesupportteamet. Der udarbejdes en køreplan for tjenesten, og tjenesten kan påbegyndes.