Każda czynność testowa obejmuje trzy główne elementy, tj., środowisko (gdzie odbywają się testy), protokół (zdefiniowanie, jakie działania są wykonywane i w jaki sposób) oraz wskaźniki oceny (wykorzystane do oceny wyników badań). Usługa ta dotyczy drugiego elementu, tj. projektowania procedury testowania systemów cyfrowych, takich jak (na przykład) modele sztucznej inteligencji lub oprogramowanie do wizji komputerowej. Środowisko cyfrowe i wskaźniki oceny można zaprojektować – w razie potrzeby – za pośrednictwem usług S00176 i S00178.
W kontekście testowania rozwiązań klientów w środowiskach cyfrowych usługa ta ma na celu zaprojektowanie odpowiedniego protokołu do testowania cyfrowego w oparciu o przypadki użycia określone przez klienta. Składniki protokołu testowego mogą obejmować:
Wybór zbiorów danych, które mają być wykorzystywane do testowania
Wybór referencyjnych modeli sztucznej inteligencji, które mają być wykorzystywane do testowania (w razie potrzeby)
Wybór formatów danych i standardów metadanych
Definiowanie etapów wstępnego przetwarzania i przygotowania danych
Definiowanie wartości i zakresów parametrów testowych
Definiowanie poszczególnych faz protokołu
Określenie operacji, które mają być wykonywane na każdym etapie
Dokładne opisanie specyfiki protokołu w celu zapewnienia odtwarzalności
Zbiory danych, które mają być wykorzystywane do badań, mogą być dostarczane przez przedsiębiorstwo rolno-spożywczeTEF lub przez klienta; jeżeli nic odpowiedniego nie jest dostępne, inne usługi rolno-spożywczeTEF można wykorzystać do gromadzenia lub generowania danych dostosowanych do potrzeb.
Zespół techniczny wykonujący tę usługę składa się z inżynierów ekspertów, ale może również angażować agronomów, gdy jest to konieczne do zapewnienia adekwatności badań dla przypadku użycia, np. w celu określenia rozkładu powtórzeń badań w różnych zakresach zmienności.
W jaki sposób usługa może Ci pomóc?
Budowanie systemu cyfrowego (np. modułu oprogramowania), który rozwiązuje problem i przeprowadzanie dokładnych testów takiego systemu to odrębne i różne działania i obejmują różne kompetencje. Testowanie jest ważne nie tylko w celu sprawdzenia, czy system działa zadowalająco, ale także w celu określenia sposobów jego dalszej poprawy.
Usługa ta wspiera klienta w określaniu optymalnego protokołu eksperymentalnego w celu walidacji systemu za pomocą danych istotnych dla przypadku użycia przez klienta, w celu umożliwienia ilościowej oceny wydajności i wykazania jego wydajności potencjalnym użytkownikom. Na koniec usługi klienci otrzymują w pełni udokumentowany cyfrowy protokół testowania, który mogą natychmiast wykorzystać do skonfigurowania własnej działalności eksperymentalnej.
W razie potrzeby agrifoodTEF może wspierać klienta w projektowaniu środowiska obliczeniowego potrzebnego do testowania i mierników oceny (za pośrednictwem usług S00176 i S00178), w konfiguracji działań eksperymentalnych (za pośrednictwem usług S00180 i S00181) oraz w wykonywaniu testów (usługa S00182) i związanym z nimi gromadzeniu danych (usługa S00183). Ponadto agrifoodTEF może również wspierać klienta w ocenie wydajności (usługa S00184), oferując w ten sposób pełny zestaw działań składających się na cyfrowy potok testowy.
W jaki sposób usługa zostanie dostarczona
Czas trwania tej usługi wynosi średnio 1-3 tygodnie.Pierwsza faza obejmuje jeden lub więcej wywiadów, osobiście lub zdalnie, w których klient dostarcza informacji na temat cech systemu (systemów), które mają zostać przetestowane, oraz elementów wydajności, które protokół, który ma zostać zaprojektowany, musi zbadać. Dodatkowa dokumentacja (np. szczegóły dotyczące elementów wewnętrznych oprogramowania) może zostać dostarczona (w ramach NDA, jeżeli jest poufna) w celu dokładnego dopasowania protokołu do potrzeb systemu klienta.
Po tej wstępnej fazie następuje projektowanie protokołu. Nastąpi dodatkowa interakcja z klientem, aby zapewnić zgodność z jego potrzebami i dopracować projekt. Po zakończeniu usługi klient otrzymuje kompleksowy projekt, który może natychmiast wykorzystać do skonfigurowania i przeprowadzenia testów.
Dostosowanie usługi
Ten opis usługi jest celowo ogólny. Każdy przypadek tej usługi jest w rzeczywistości dostosowany do potrzeb i wymagań konkretnego klienta. Poniżej znajduje się przykład instancji usługi.
Przykładowa usługa: W kontekście badania zdolności modelu wizji komputerowej do odróżniania chwastów od upraw zdefiniowano listę metod kandydujących, które są już w dużej mierze stosowane na rynku, w celu uznania ich za punkt odniesienia i porównania z istniejącym rozwiązaniem klienta. Zidentyfikowano również zmiany przyrostowe tych modeli (np. wartości i zakresy parametrów modelu, izolacja poszczególnych podmodułów podczas szkolenia i dostrajania, różne funkcje optymalizacji itp.). Na podstawie wielkości i wydajności modelu w różnych zbiorach danych szacuje się minimalną liczbę przykładów wymaganych do szkolenia modeli na chwast i klasę upraw.
Określa się również wykaz porównywalnych zbiorów danych dostępnych w ramach konsorcjum lub publicznie, aby zmniejszyć koszty szkolenia modelu i w miarę możliwości ponownie wykorzystać istniejące zbiory danych. W zdefiniowanym protokole eksperymentalnym metody są testowane 10 razy z rzędu w celu zebrania średnich i standardowych wartości odchylenia dla wszystkich wskaźników oceny.