Projektowanie wskaźników oceny na potrzeby testów cyfrowych

Budowanie systemu cyfrowego (np. modelu sztucznej inteligencji), który rozwiązuje problem, oraz projektowanie operacji matematycznych i przetwarzania danych niezbędnych do analizy danych zgromadzonych podczas eksperymentów cyfrowych z systemem w celu oceny jego wydajności to dwie bardzo różne czynności i obejmują one bardzo różne kompetencje. Ponadto wskaźniki oceny mają kluczowe znaczenie dla identyfikacji problemów i sposobów poprawy wydajności systemu; w związku z tym ich wybór ma duży wpływ na rozwój produktu. Usługa ta wspiera klientów, którzy opracowali rozwiązanie cyfrowe, takie jak oprogramowanie, w projektowaniu wskaźników oceny niezbędnych do przetwarzania danych eksperymentalnych w celu oceny wydajności systemu i przydatności do zadania. Na koniec usługi klienci otrzymują zestaw wskaźników dostosowanych do ich własnego systemu, danych i potrzeb, które można wykorzystać do ilościowej oceny wydajności ich systemu. Wskaźniki zostaną opisane w sprawozdaniu, w którym jasno wyjaśni się, w jaki sposób i do jakich danych należy je stosować, jakie aspekty wydajności systemu mają one uchwycić, a także wszelkie ograniczenia dotyczące ich stosowania lub znaczenia.  W razie potrzeby agrifoodTEF może wspierać klienta w projektowaniu środowiska cyfrowego i protokołu testowego dla testów (za pośrednictwem usług S00176 i S00177), w konfiguracji środowiska cyfrowego, w którym odbywają się testy (za pośrednictwem usług S00180 i S00181), oraz w wykonywaniu testów (usługa S00182) i związanym z nimi gromadzeniu danych (usługa S00183). W razie potrzeby agrifoodTEF może również zapewnić wsparcie w zakresie stosowania wskaźników wydajności i oceny wydajności systemu (usługa S00184), oferując w ten sposób pełny zestaw działań składających się na eksperymentalną serię testów.

Czas trwania tej usługi wynosi średnio 1-3 tygodnie.Pierwszy etap obejmuje jeden lub więcej wywiadów, osobiście lub zdalnie, podczas których klient przekazuje informacje na temat cech systemu(-ów), który(-e) ma(-ją) zostać przetestowany(-e), elementów wydajności będących przedmiotem zainteresowania oraz rodzaju danych, które mają być przetwarzane w celu oceny wydajności. Następnie projektujemy wskaźniki oceny i sprawdzamy ich zgodność z wymaganiami, wykonując wstępne testy przetwarzania fragmentów danych (ewentualnie dostarczone przez klienta, w razie potrzeby w ramach NDA). Na tym etapie możemy przekazać klientowi informacje zwrotne na temat jakości i przydatności danych do tego celu.Jeżeli klient potrzebuje obszernej walidacji danych, może wybrać oddzielną usługę agrifoodTEF dedykowaną takim działaniom, tj. S00115 wspiera również klienta w usuwaniu braków w jakości danych oraz w opracowywaniu strategii mających na celu poprawę praktyk gromadzenia danych.

Ten opis usługi jest celowo ogólny. Każdy przypadek tej usługi jest w rzeczywistości dostosowany do potrzeb i wymagań konkretnego klienta. Poniżej znajduje się przykład instancji usługi. Przykładowa usługa: Klient jest zainteresowany pomiarem możliwości komputerowego modułu oprogramowania wizyjnego do rozróżniania chwastów od upraw w obrazach RGB. W związku z tym zestaw obiektywnych wskaźników oceny zostaje opracowany w celu opisania jakości prognoz, w tym dokładności klasyfikacji, precyzji i wyników odzyskiwania dla wszystkich zaobserwowanych przypadków „uprawy” i „chwastów”. Metryki są projektowane z uwzględnieniem szczególnych cech danych wykorzystywanych do testowania, dostarczonych przez klienta; dane zostały zebrane przy użyciu własnej maszyny w odpowiednich środowiskach. Klient jest również zainteresowany pomiarem wskaźników takich jak „Jak często Matricaria Chamomilla jest mylona z uprawami fasoli?” W związku z tym jakość wyników prognozowania oblicza się również nie tylko na poziomie makro („uprawa” w porównaniu z „chwastami”), ale także w odniesieniu do poszczególnych gatunków roślin będących przedmiotem zainteresowania klienta („fasola” w porównaniu z „Matricaria”). Klient otrzymuje pełną specyfikację zaprojektowanych wskaźników wydajności oraz informacje o tym, jakie dane należy wykorzystać w celu optymalizacji znaczenia badań eksperymentalnych. Opcjonalnie agrifoodTEF może wspierać klienta w generowaniu takich danych (np. poprzez specjalną kampanię gromadzenia danych eksperymentalnych – za pośrednictwem usługi S00113 – po której następuje odpowiednia adnotacja danych – za pośrednictwem usługi S00115 – lub poprzez rozszerzenie istniejących danych o dodatkowe przykłady – za pośrednictwem usługi S00115).