Walidacja i przetwarzanie danych

Generowanie dużych ilości danych jest powszechnym produktem ubocznym działalności eksperymentalnej w systemach opartych na sztucznej inteligencji lub robotyce. Aby stać się wartościowym, na przykład w celu ukierunkowania rozwoju produktu, surowe dane często wymagają walidacji (w celu weryfikacji ich przydatności do zadania) i przetwarzania (w celu zwiększenia ich w sposób przygotowujący ich optymalną eksploatację). Takie działania mogą wymagać bardzo szerokiego zakresu specjalistycznej wiedzy fachowej, obejmującej różne elementy, takie jak wiedza fachowa na temat tego, czego można oczekiwać od danego rodzaju czujnika w określonym stanie eksperymentalnym (np. w celu wykrycia, czy jakość techniczna strumieni czujników jest niższa), agronomiczna wiedza fachowa (np. w celu określenia, które rośliny pojawiające się w strumieniu wideo odpowiadają w fazie wzrostu lub statusie choroby przypadkowi użycia, którego dotyczy klient), lub zdolność pisania niestandardowego oprogramowania transkodującego (np. w celu zapewnienia zgodności danych z danym pakietem oprogramowania). Usługa ta zapewnia klientowi dostęp do eksperckiej grupy inżynierów i agronomów, którzy łącznie posiadają cały zakres możliwości wykonywania wszystkich powyższych operacji danych i nie tylko. W razie potrzeby usługa zapewnia również zasoby do przetwarzania wymagane do wykonywania złożonych zadań związanych z przetwarzaniem danych.

Czas trwania tej usługi w dużym stopniu zależy od rodzaju przetwarzania, którego wymaga klient, a także od ilości danych, które mają być przetwarzane. Jako wytyczną, w typowych przypadkach usługa może wymagać 3-4 tygodni.Faza przygotowawcza usługi obejmuje jeden lub więcej wywiadów, w których klient dzieli się z agrifoodTEF informacjami na temat danych, które mają być przetwarzane i celów, które muszą osiągnąć dzięki takiemu przetwarzaniu. Dodatkowe informacje (takie jak specyfikacje techniczne (pod)systemów wykorzystywanych do generowania danych) mogą być wymagane w celu umożliwienia działalności rolno-spożywczejTEF; wszelkie informacje poufne będą udostępniane w ramach NDA.Po wstępnej wymianie informacji następuje przekazanie do agrifoodTEF danych, które mają być przetwarzane. Przekazanie może nastąpić na przykład poprzez dostarczenie agrifoodTEF kopii danych lub dostępu do repozytorium, w którym dane są przechowywane.Pod koniec usługi klient otrzymuje przetworzone dane i raport wyszczególniający wszystkie problemy wykryte w pierwotnych danych (jeśli występują) oraz wpływ, jaki miały one na rozszerzone dane dostarczane przez usługę.

Ten opis usługi jest celowo ogólny. Każdy przypadek tej usługi jest w rzeczywistości dostosowany do potrzeb i wymagań konkretnego klienta. Poniżej znajduje się przykład usługi instance.Example: W kontekście autonomicznego monitorowania stresu hydrologicznego winorośli klient zebrał już obrazy hiperspektralne i RGB wiązek Red Globe w swoich pomieszczeniach. Klient prosi o usługę S00115 (walidacja i przetwarzanie danych) w celu przygotowania danych do wykorzystania w szkoleniu AI. Analizując ten zbiór danych, zauważamy, że 10% dostarczonych ramek jest uszkodzonych; w związku z tym przystępujemy do filtrowania uszkodzonych ramek, aby nie wpływały negatywnie na model wnioskowania. Aby poprawić jakość danych hiperspektralnych, stosujemy odpowiednie metody redukcji szumów do danych. Dodatkowo załóżmy, że wszystkie dane klientów zostały zebrane w jednym cyklu o godzinie 9:00. W tym przypadku zdywersyfikujemy jasność obrazów RGB w przetwarzaniu końcowym, aby uzyskać bardziej heterogeniczny i bogaty zestaw, który przypomina różne warunki oświetleniowe.