Jede Testaktivität umfasst drei Hauptkomponenten, d. h., Umwelt (wo die Tests stattfinden), Protokoll (Definition, welche Aktivitäten ausgeführt werden und wie) und Bewertungsmetriken (wird verwendet, um die Ergebnisse der Tests zu bewerten). Dieser Dienst betrifft das zweite Element, d. h. die Gestaltung des Prüfverfahrens für digitale Systeme wie z. B. KI-Modelle oder Computer-Vision-Software. Die digitale Umgebung und die Bewertungsmetriken können – falls erforderlich – über die Dienste S00176 und S00178 gestaltet werden.
Im Rahmen der Erprobung von Kundenlösungen in digitalen Umgebungen zielt dieser Dienst darauf ab, ein geeignetes Protokoll für digitale Tests auf der Grundlage der vom Kunden angegebenen Anwendungsfälle zu entwickeln. Die Komponenten des Testprotokolls können umfassen:
Auswahl der Datensätze, die zum Testen verwendet werden sollen
Auswahl von Referenz-KI-Modellen, die für Tests verwendet werden sollen (falls erforderlich)
Auswahl von Datenformaten und Metadatenstandards
Definieren von Datenvorverarbeitungs- und Vorbereitungsschritten
Definieren von Werten und Bereichen von Testparametern
Definieren der verschiedenen Phasen des Protokolls
Beschreibung der in jeder Phase auszuführenden Vorgänge
Gründliche Beschreibung der Protokollspezifikationen zur Gewährleistung der Reproduzierbarkeit
Datensätze, die für Tests verwendet werden sollen, können von agrifoodTEF und/oder vom Kunden bereitgestellt werden; Wenn nichts geeignetes verfügbar ist, können andere agrifoodTEF-Dienste genutzt werden, um maßgeschneiderte Daten zu erheben und/oder zu generieren.
Das technische Team, das diesen Service durchführt, besteht aus erfahrenen Ingenieuren, kann aber auch Agronomen einbeziehen, wenn dies erforderlich ist, um die Relevanz der Tests für den Anwendungsfall sicherzustellen, z.B. um die Verteilung der Testwiederholungen über die Variationsbereiche zu bestimmen.
Wie kann der Service Ihnen helfen?
Der Aufbau eines digitalen Systems (z. B. eines Softwaremoduls), das ein Problem löst und die gründliche Prüfung eines solchen Systems durchführt, sind getrennte und unterschiedliche Tätigkeiten und beinhalten unterschiedliche Kompetenzen. Das Testen ist nicht nur wichtig, um zu überprüfen, ob das System zufriedenstellend funktioniert, sondern auch, um Wege zu finden, es weiter zu verbessern.
Dieser Dienst unterstützt den Kunden bei der Festlegung des optimalen Versuchsprotokolls zur Validierung des Systems mit Daten, die für den Anwendungsfall des Kunden relevant sind, um eine quantitative Leistungsbewertung zu ermöglichen und seine Leistung potenziellen Nutzern nachzuweisen. Am Ende des Dienstes erhalten die Kunden ein vollständig dokumentiertes digitales Prüfprotokoll, mit dem sie sofort ihre eigene Versuchstätigkeit einrichten können.
Bei Bedarf kann agrifoodTEF den Kunden auch bei der Gestaltung der für die Tests und die Bewertungsmetriken erforderlichen Rechenumgebung (über die Dienste S00176 und S00178), bei der Einrichtung der Versuchstätigkeiten (über die Dienste S00180 und S00181) sowie bei der Durchführung der Tests (Dienstleistung S00182) und der damit verbundenen Datenerhebung (Dienstleistung S00183) unterstützen. Schließlich kann agrifoodTEF den Kunden auch bei der Leistungsbewertung (Service S00184) unterstützen und so das gesamte Spektrum an Aktivitäten zur Erstellung einer digitalen Testpipeline anbieten.
Wie der Service geliefert wird
Die Dauer dieses Dienstes beträgt durchschnittlich 1-3 Wochen.Die erste Phase umfasst ein oder mehrere persönliche oder ferngesteuerte Interviews, bei denen der Kunde Informationen über die Merkmale des zu testenden Systems bzw. der zu testenden Systeme und die Leistungselemente, die das zu entwickelnde Protokoll untersuchen muss, zur Verfügung stellt. Zusätzliche Unterlagen (z. B. Angaben zu den internen Komponenten von Softwarekomponenten) können zur Verfügung gestellt werden (unter NDA, falls vertraulich), um das Protokoll genau auf die Bedürfnisse des Systems des Kunden abzustimmen.
Nach dieser Vorphase findet das Protokolldesign statt. Eine zusätzliche Interaktion mit dem Kunden erfolgt, um die Einhaltung seiner Bedürfnisse zu gewährleisten und das Design zu verfeinern. Am Ende der Dienstleistung erhält der Kunde ein umfassendes Design, mit dem er die Tests sofort einrichten und durchführen kann.
Service-Anpassung
Diese Servicebeschreibung ist absichtlich generisch. Jede Instanz dieser Dienstleistung ist in der Tat maßgeschneidert, um sie an die Bedürfnisse und Anforderungen des jeweiligen Kunden anzupassen. Im Folgenden finden Sie ein Beispiel für eine Dienstinstanz.
Beispiel Service: Im Zusammenhang mit der Prüfung der Fähigkeit eines Computer-Vision-Modells, Unkraut von Pflanzen zu unterscheiden, wird eine Liste von Kandidatenmethoden festgelegt, die bereits weitgehend auf dem Markt angewendet werden, um sie als Benchmark zu betrachten und mit der bestehenden Lösung des Kunden zu vergleichen. Inkrementelle Variationen dieser Modelle werden ebenfalls identifiziert (z.B. Werte und Bereiche von Modellparametern, Isolierung einzelner Teilmodule während des Trainings und der Feinabstimmung, verschiedene Optimierungsfunktionen usw.). Basierend auf der Modellgröße und -leistung auf verschiedenen Datensätzen werden Schätzungen der Mindestanzahl von Beispielen vorgenommen, die pro Unkraut und Ernteklasse für das Training der Modelle erforderlich sind.
Eine Liste vergleichbarer Datensätze, die innerhalb des Konsortiums und/oder öffentlich verfügbar sind, wird ebenfalls festgelegt, um die Kosten für Modellschulungen zu senken und vorhandene Datensätze nach Möglichkeit wiederzuverwenden. Im definierten Versuchsprotokoll werden Methoden zehnmal hintereinander getestet, um Durchschnitts- und Standardabweichungswerte für alle Bewertungsmetriken zu erfassen.
