Ocena wyników testów cyfrowych

Zastosowanie określonych wskaźników wydajności do danych eksperymentalnych może być złożonym procesem, często wymagającym opracowania niestandardowego oprogramowania do zarządzania danymi i wykonywania niezbędnych czynności przetwarzania. Klient może zdecydować o pozostawieniu stosowania wskaźników dla sektora rolno-spożywczegoTEF, aby zamiast tego skupić się na rozwoju i testowaniu systemu oraz na definicji wskaźników wydajności. Ta usługa pozwala temu klientowi bezpośrednio otrzymywać wyniki oceny wydajności.Raport zawierający wyniki jest przygotowywany przez inżynierów, którzy przygotowują i wykonują przetwarzanie oparte na wskaźnikach. Inżynierowie ci są również ekspertami w dziedzinie systemów cyfrowych (np. modeli sztucznej inteligencji) i robotyki w zastosowaniach rolno-spożywczych, co umożliwia im uzupełnienie wyników zawartych w sprawozdaniu dogłębną analizą, np. w celu zidentyfikowania problemów z wydajnością. Analiza ta, stanowiąca część sprawozdania, zwraca uwagę na problemy związane z wydajnością systemu i identyfikuje elementy łańcucha narzędzi przetwarzania testowanego systemu, które najprawdopodobniej są zaangażowane w te problemy. Klient może zatem wykorzystać raport nie tylko do zrozumienia, czy wydajność systemu spełnia oczekiwania, ale także do podjęcia decyzji, gdzie skupić dodatkowe wysiłki rozwojowe w celu poprawy wydajności systemu.

Czas trwania tej usługi wynosi średnio 3–4 tygodnie, ale zależy od ilości danych, które mają być przetwarzane, oraz złożoności operacji niezbędnych do ustanowienia i przeprowadzenia przetwarzania danych. Faza przygotowawcza usługi obejmuje co najmniej jeden wywiad, podczas którego klient dzieli się z agrifoodTEF informacjami na temat danych, które mają być analizowane, oraz wskaźników wydajności, które mają być stosowane. Dodatkowe informacje (np. wewnętrzne cechy systemu) mogą być przydatne do wsparcia analizy towarzyszącej danym zawartym w sprawozdaniu (zob. poniżej); wszelkie takie informacje mogą być udostępniane w ramach NDA, jeżeli są poufne.Po wstępnej wymianie informacji następuje przekazanie do agrifoodTEF danych, które mają być przetwarzane. Na zakończenie usługi klient otrzymuje raport zawierający wyniki zastosowania wskaźników wydajności do danych oraz analizę takich wyników ze wskazówkami na temat możliwych sposobów poprawy wydajności systemu.

Ten opis usługi jest celowo ogólny. Każdy przypadek tej usługi jest w rzeczywistości dostosowany do potrzeb i wymagań konkretnego klienta. Poniżej znajduje się przykład usługi instance.Example: Wydajność wewnątrzrzędowego systemu nawigacji robotów jest testowana na różnych zbiorach danych w wirtualnych środowiskach symulacyjnych (np. za pośrednictwem usługi S00183). Zestaw wcześniej zaprojektowanych wskaźników (np. za pośrednictwem usługi S00178) wykorzystuje się do śledzenia konkretnych aspektów wydajności rozwiązania klienta. Wybrane wskaźniki uwzględniają w szczególności przemieszczenie (symulowanego) robota z linii środkowego rzędu, liczbę prawidłowo odwiedzonych punktów orientacyjnych oraz liczbę kolizji z roślinami. Mierniki są obliczane dla różnych przebiegów i trajektorii w danych referencyjnych, wykreślanych / tabelarycznych w szczegółowym raporcie, który zawiera również jakościowe filmy pokazujące trajektorię nawigacji, po której następuje system w symulacji. W raporcie podkreślono również najbardziej znaczące odchylenia systemu od oczekiwanej wydajności i przedstawiono powiązania między nimi a konkretnymi sytuacjami / zdarzeniami, co udokumentowano w (symulowanych) danych z czujników, które zostały zebrane podczas wykonywania testów, wraz ze zbiorami danych wykorzystanymi do pomiaru wydajności. Zestaw wcześniej zaprojektowanych wskaźników (np. za pośrednictwem usługi S00178) wykorzystuje się do śledzenia konkretnych aspektów wydajności rozwiązania klienta. Wybrane wskaźniki uwzględniają w szczególności przemieszczenie (symulowanego) robota z linii środkowego rzędu, liczbę prawidłowo odwiedzonych punktów orientacyjnych oraz liczbę kolizji z roślinami. Mierniki są obliczane dla różnych przebiegów i trajektorii w danych referencyjnych, wykreślanych / tabelarycznych w szczegółowym raporcie, który zawiera również jakościowe filmy pokazujące trajektorię nawigacji, po której następuje system w symulacji. W raporcie podkreślono również najbardziej znaczące odchylenia systemu od oczekiwanej wydajności i przedstawiono powiązania między nimi a konkretnymi sytuacjami / zdarzeniami, co udokumentowano w (symulowanych) danych z czujników, które zostały zebrane podczas wykonywania testów, wraz ze zbiorami danych wykorzystanymi do pomiaru wydajności.