Design von Auswertungsmetriken für digitale Tests

Der Aufbau eines digitalen Systems (z. B. eines KI-Modells), das ein Problem löst, und die Gestaltung der mathematischen und datenverarbeitenden Vorgänge, die zur Analyse der während digitaler Experimente mit dem System gesammelten Daten zur Bewertung seiner Leistung erforderlich sind, sind zwei sehr unterschiedliche Tätigkeiten und beinhalten sehr unterschiedliche Kompetenzen. Darüber hinaus sind Bewertungsmetriken von entscheidender Bedeutung für die Ermittlung von Problemen und Möglichkeiten zur Verbesserung der Leistung des Systems; Daher hat ihre Wahl einen starken Einfluss auf die Produktentwicklung. Dieser Service unterstützt Kunden, die eine digitale Lösung wie eine Software entwickelt haben, bei der Gestaltung der Auswertungsmetriken, die für die Verarbeitung experimenteller Daten erforderlich sind, um die Systemleistung und die Eignung für die Aufgabe zu bewerten. Am Ende des Dienstes erhalten Kunden eine Reihe von Metriken, die auf ihr eigenes System, ihre Daten und Bedürfnisse zugeschnitten sind und anhand derer die Leistung ihres Systems quantitativ bewertet werden kann. Die Metriken werden in einem Bericht beschrieben, in dem klar erläutert wird, wie und auf welche Daten sie angewendet werden sollen, welche Aspekte der Systemleistung sie erfassen sollen und welche Einschränkungen in ihrer Anwendbarkeit oder Bedeutung bestehen.  Bei Bedarf kann agrifoodTEF den Kunden auch bei der Gestaltung der digitalen Umgebung und des Prüfprotokolls für die Tests (über die Dienste S00176 und S00177), bei der Einrichtung der digitalen Umgebung, in der die Tests stattfinden (über die Dienste S00180 und S00181), und bei der Durchführung der Tests (Dienstleistung S00182) und der damit verbundenen Datenerfassung (Dienstleistung S00183) unterstützen. Bei Bedarf kann agrifoodTEF auch die Anwendung der Leistungsmetriken und die Bewertung der Systemleistung (Service S00184) unterstützen und so die gesamte Palette von Aktivitäten anbieten, die eine experimentelle Testpipeline bilden.

Die Dauer dieses Dienstes beträgt durchschnittlich 1-3 Wochen.Die erste Phase umfasst ein oder mehrere persönliche oder ferngesteuerte Interviews, bei denen der Kunde Informationen über die Merkmale des zu testenden Systems/der zu testenden Systeme, die relevanten Leistungselemente und die Art der für die Leistungsbewertung zu verarbeitenden Daten bereitstellt. Anschließend konzipieren wir die Bewertungsmetriken und überprüfen deren Übereinstimmung mit den Anforderungen, indem wir vorläufige Verarbeitungstests an Datenfragmenten durchführen (ggf. vom Kunden zur Verfügung gestellt, bei Bedarf unter NDA). Während dieser Phase können wir dem Kunden Feedback über die Datenqualität und die Eignung für den Zweck geben.Sollte der Kunde eine umfassende Datenvalidierung benötigen, kann er sich dafür entscheiden, einen separaten agrifoodTEF-Service für solche Aktivitäten zu nutzen, dh S00115 (Datenvalidierungs- und Verarbeitungsdienste). S00115 unterstützt den Kunden auch bei der Behebung von Datenqualitätsdefiziten und bei der Entwicklung von Strategien zur Verbesserung der Datenerfassungspraktiken.Am Ende des Dienstes erhält der Kunde einen Bericht mit dem Design der Leistungsmetriken und den Ergebnissen der vorläufigen Verarbeitungstests.

Diese Servicebeschreibung ist absichtlich generisch. Jede Instanz dieser Dienstleistung ist in der Tat maßgeschneidert, um sie an die Bedürfnisse und Anforderungen des jeweiligen Kunden anzupassen. Das Folgende ist ein Beispiel für eine Dienstinstanz. Beispiel Service: Der Kunde ist daran interessiert, die Fähigkeit eines Computer-Vision-Softwaremoduls zu messen, Unkraut von Pflanzen in RGB-Bildern zu unterscheiden. Folglich wird eine Reihe objektiver Bewertungsmetriken entwickelt, um die Qualität von Vorhersagen zu beschreiben, einschließlich Klassifizierungsgenauigkeit, Präzision und Rückrufwerten für alle beobachteten „Kultur“- und „Unkraut“-Instanzen. Metriken werden unter Berücksichtigung der spezifischen Merkmale der für die Prüfung verwendeten Daten, die vom Kunden zur Verfügung gestellt werden, entwickelt; Die Daten wurden mit ihrer eigenen Maschine in relevanten Umgebungen gesammelt. Der Kunde ist auch daran interessiert, Indikatoren wie „Wie oft wird Matricaria Chamomilla mit Bohnenkulturen verwechselt?“ zu messen. Somit wird die Qualität der Vorhersagewerte nicht nur auf Makroebene („Kultur“ vs. „Unkraut“) berechnet, sondern auch für einzelne Pflanzenarten, die für den Kunden von Interesse sind („Bohnen“ vs. „Matricaria“). Dem Kunden werden die vollständigen Spezifikationen der entworfenen Leistungskennzahlen und Informationen darüber zur Verfügung gestellt, welche Daten er verwenden muss, um die Bedeutung der experimentellen Tests zu optimieren. Optional kann agrifoodTEF den Kunden bei der Generierung solcher Daten unterstützen (z. B. durch eine spezielle Kampagne zur experimentellen Datenerhebung – über den Dienst S00113 – gefolgt von einer geeigneten Datenanmerkung – über den Dienst S00115 – oder durch die Ergänzung bestehender Daten mit zusätzlichen Beispielen – über den Dienst S00115).