Ocena działania modelu sztucznej inteligencji

Usługa pomaga klientom, oceniając wydajność ich modeli AI za pomocą różnych zestawów danych porównawczych. Przed rozpoczęciem usługi klienci mogą nie mieć jasności co do tego, jak ich modele AI działają w konkretnych zastosowaniach w świecie rzeczywistym. Po zakończeniu usługi uzyskują szczegółowy wgląd w skuteczność, dokładność i potencjalne obszary usprawnień swoich modeli sztucznej inteligencji, umożliwiając im optymalizację wydajności pod kątem ukierunkowanych przypadków użycia.

Usługa będzie świadczona zdalnie, z wykorzystaniem zestawu referencyjnych zbiorów danych dostosowanych do zamierzonych zastosowań modelu sztucznej inteligencji. Proces oceny obejmuje wiele iteracji w celu zapewnienia kompleksowego uwzględnienia wskaźników wydajności. Czas trwania usługi zależy od złożoności modelu i wymaganej ilości testów, zwykle trwa od kilku dni do tygodni. Klienci otrzymują szczegółowy raport wydajności, który zawiera wskaźniki dokładności, wgląd w mocne i słabe strony oraz zalecenia dotyczące poprawy. Klienci muszą dostarczyć swoje modele i wagi AI w standardowym formacie pliku (np. .pb, .pkl, .yaml, .onnx, .h5) oraz wszelką powiązaną dokumentację, w tym szczegółowe informacje dotyczące przypadku zamierzonego zastosowania.

Opcje dostosowywania obejmują wybór konkretnych zbiorów danych, wskaźników wydajności i scenariuszy testowania dostosowanych do zastosowań modelu sztucznej inteligencji. Klienci mogą zwrócić się o skupienie się na określonych rodzajach danych lub wskaźnikach wydajności istotnych dla ich przypadku użycia. Ograniczenia obejmują kompatybilność z dostarczonymi zbiorami danych. Jeżeli zbiór danych porównawczych nie jest dostępny, dane można gromadzić w ramach dodatkowej usługi.