Entwurf von Bewertungsmetriken für physikalische Tests

Der Aufbau eines Systems (z.B. einer Maschine), das ein Problem löst, und das Entwerfen der mathematischen und datenverarbeitenden Operationen, die zur Analyse von Daten erforderlich sind, die während experimenteller Aktivitäten gesammelt wurden, um die Leistung der Maschine zu bewerten, sind zwei sehr unterschiedliche Aktivitäten und beinhalten sehr unterschiedliche Kompetenzen. Darüber hinaus sind Bewertungsmetriken entscheidend für die Identifizierung von Problemen und Möglichkeiten zur Verbesserung der Leistung des Systems, so dass ihre Wahl einen starken Einfluss auf die Produktentwicklung hat.Dieser Service unterstützt Kunden, die eine Lösung entwickelt haben, bei der Entwicklung der Bewertungsmetriken, die für die Verarbeitung experimenteller Daten erforderlich sind, um die Systemleistung und die Eignung für die Aufgabe zu bewerten. Am Ende der Dienstleistung erhalten Kunden eine Reihe von Metriken, die auf ihre eigenen Systeme und Bedürfnisse zugeschnitten sind und mit denen Daten gesammelt und verarbeitet werden können, um die Leistung ihres Systems quantitativ zu bewerten.  Bei Bedarf kann AgrifoodTEF den Kunden bei der Gestaltung der Umgebung und des Prüfprotokolls für Tests (über die Dienste S00106 und S00107), bei der Einrichtung der Versuchsaktivitäten (über die Dienste S00110 und S00111) sowie bei der Durchführung der Tests (Dienstleistung S00112) und der damit verbundenen Datenerfassung (Dienstleistung S00113) unterstützen. Bei Bedarf kann AgrifoodTEF auch die Leistungsbewertung (Service S00114) unterstützen und so die gesamte Palette von Aktivitäten anbieten, die eine experimentelle Testpipeline bilden.

Die Dauer dieses Dienstes beträgt durchschnittlich 3-6 Wochen.Die erste Phase umfasst ein oder mehrere persönliche oder ferngesteuerte Interviews, bei denen der Kunde Informationen über die Merkmale des zu testenden Systems/der zu testenden Systeme, die relevanten Leistungselemente und die Art der für die Leistungsbewertung zu verarbeitenden Daten bereitstellt. Anschließend konzipieren wir die Bewertungsmetriken und überprüfen deren Übereinstimmung mit den Anforderungen, indem wir vorläufige Verarbeitungstests an vom Kunden bereitgestellten Datenfragmenten (ggf. unter NDA) durchführen. Während dieser Phase können wir dem Kunden Feedback über die Datenqualität und die Eignung für den Zweck geben.Am Ende des Dienstes erhält der Kunde einen Bericht mit dem Design der Leistungsmetriken und den Ergebnissen der vorläufigen Verarbeitungstests.

Diese Servicebeschreibung ist absichtlich generisch. Jede Instanz dieser Dienstleistung ist in der Tat maßgeschneidert, um sie an die Bedürfnisse und Anforderungen des jeweiligen Kunden anzupassen. Das Folgende ist ein Beispiel für eine Dienstinstanz. Beispiel Service: Der Kunde ist daran interessiert, das reiheninterne Navigationsmodul für seine eigenen landwirtschaftlichen Roboter zu testen. Um dieses Ziel zu erreichen, definieren wir mit ihnen die Leistungsziele, zum Beispiel die Maximierung der Erfolgsquote in Bezug auf überquerte Wegpunkte und die Minimierung des Prozentsatzes beschädigter Pflanzen. Anschließend werden geeignete quantitative Leistungskennzahlen definiert, um zu bewerten, wie gut das System die gewählten Ziele erreicht. Der Dienst kann auch Datensätze identifizieren, bei denen diese Metriken bereits kommentiert wurden. In Ermangelung von Goldstandardinformationen über optimale Metrikwerte, die als Ground Truth verwendet werden können, kann optional eine zusätzliche dedizierte Datenerfassungskampagne definiert werden, unabhängig davon, ob sie in physischen Einrichtungen (z. B. über den Dienst S00113) oder in der Simulation (z. B. über den Dienst S00183) durchgeführt wird.