Evaluering af en AI-models ydeevne

Tjenesten hjælper kunderne ved at evaluere deres AI-modellers ydeevne med forskellige benchmarkdatasæt. Før tjenesten kan kunderne mangle klarhed over, hvordan deres AI-modeller klarer sig i specifikke applikationer i den virkelige verden. Efter tjenesten får de detaljeret indsigt i deres AI-modellers effektivitet, nøjagtighed og potentielle forbedringsområder, så de kan optimere ydeevnen til målrettede brugstilfælde.

Tjenesten vil blive leveret på afstand ved hjælp af en række benchmarkdatasæt, der er skræddersyet til AI-modellens tilsigtede anvendelsestilfælde. Evalueringsprocessen omfatter flere iterationer for at sikre omfattende dækning af resultatmålinger. Varigheden af tjenesten afhænger af modellens kompleksitet og mængden af test, der kræves, generelt tager et par dage til uger. Kunderne modtager en detaljeret præstationsrapport, som omfatter nøjagtighedsmålinger, indsigt i styrker og svagheder og anbefalinger til forbedringer. Kunderne skal fremlægge deres AI-modeller og -vægte i et standardfilformat (f.eks. .pb, .pkl, .yaml, .onnx, .h5) og enhver relateret dokumentation, herunder oplysninger om den påtænkte anvendelse.

Tilpasningsmulighederne omfatter udvælgelse af specifikke datasæt, resultatmålinger og testscenarier, der er tilpasset AI-modellens applikationer. Kunderne kan anmode om fokus på visse datatyper eller præstationsbenchmarks, der er relevante for deres brugsscenarie. Begrænsningerne omfatter kompatibilitet med de leverede datasæt. Hvis der ikke foreligger et benchmarkdatasæt, kan dataene indsamles i en yderligere tjeneste.