Auswertung der Ergebnisse digitaler Tests

Die Anwendung spezifizierter Leistungsmetriken auf experimentelle Daten kann ein komplexer Prozess sein, der oft die Entwicklung einer benutzerdefinierten Software erfordert, um Daten zu verwalten und die erforderlichen Verarbeitungsaktionen durchzuführen. Ein Kunde kann beschließen, die Anwendung der Metriken agrifoodTEF zu überlassen, um sich stattdessen auf die Systementwicklung und -tests sowie auf die Definition von Leistungsmetriken zu konzentrieren. Dieser Service ermöglicht es diesem Kunden, die Ergebnisse der Leistungsbewertung direkt zu erhalten.Der Bericht mit den Ergebnissen wird von den Ingenieuren erstellt, die die metrikgesteuerte Verarbeitung vorbereiten und ausführen. Diese Ingenieure sind auch Experten für digitale Systeme (z. B. KI-Modelle) und Robotik für Agrar- und Lebensmittelanwendungen, die es ihnen ermöglichen, die Ergebnisse des Berichts durch eine eingehende Analyse zu ergänzen, z. B. um Leistungsprobleme zu identifizieren. Diese Analyse, die Teil des Berichts ist, hebt Probleme in der Systemleistung hervor und identifiziert die Elemente in der Verarbeitungs-Toolchain des zu testenden Systems, die höchstwahrscheinlich an den Problemen beteiligt sind. Der Kunde kann den Bericht daher nicht nur nutzen, um zu verstehen, ob die Leistung des Systems den Erwartungen entspricht, sondern auch, um zu entscheiden, wo zusätzliche Entwicklungsbemühungen zur Verbesserung der Systemleistung konzentriert werden sollen.

Die Dauer dieses Dienstes beträgt durchschnittlich 3-4 Wochen, hängt jedoch von der Menge der zu verarbeitenden Daten und der Komplexität der für die Einrichtung und Durchführung der Datenverarbeitung erforderlichen Vorgänge ab.Die Vorbereitungsphase des Dienstes umfasst ein oder mehrere Interviews, bei denen der Kunde mit agrifoodTEF Informationen über die zu analysierenden Daten und die anzuwendenden Leistungskennzahlen teilt. Zusätzliche Informationen (z. B. interne Systemfunktionen) können nützlich sein, um die Analyse zu unterstützen, die den Daten im Bericht beigefügt ist (siehe unten); alle diese Informationen können im Rahmen der NDA weitergegeben werden, wenn sie vertraulich sind.Auf den vorläufigen Informationsaustausch folgt die Übermittlung der zu verarbeitenden Daten an agrifoodTEF. Am Ende der Dienstleistung erhält der Kunde einen Bericht mit den Ergebnissen der Anwendung der Leistungskennzahlen auf die Daten und einer Analyse dieser Ergebnisse mit Hinweisen auf mögliche Möglichkeiten zur Verbesserung der Systemleistung.

Diese Servicebeschreibung ist absichtlich generisch. Jede Instanz dieser Dienstleistung ist in der Tat maßgeschneidert, um sie an die Bedürfnisse und Anforderungen des jeweiligen Kunden anzupassen. Das Folgende ist ein Beispiel für einen Dienst instance.Example-Dienst: Die Leistungsfähigkeit eines reiheninternen Roboternavigationssystems wird an verschiedenen Datensätzen in virtuellen Simulationsumgebungen (z.B. über Service S00183) getestet. Eine Reihe von zuvor entwickelten Metriken (z. B. über den Dienst S00178) werden verwendet, um bestimmte Aspekte der Leistung der Kundenlösung zu verfolgen. Die gewählten Metriken berücksichtigen insbesondere die Fehlplatzierung des (simulierten) Roboters aus der Mittelreihenlinie, die Anzahl der korrekt besuchten Wegpunkte und die Anzahl der Kollisionen mit Pflanzen. Metriken werden für verschiedene Läufe und Trajektorien über die Referenzdaten hinweg berechnet, in einem detaillierten Bericht aufgezeichnet / tabellarisch dargestellt, der auch qualitative Videos enthält, die die Navigationsbahn zeigen, gefolgt von dem System in der Simulation. Der Bericht hebt auch die größten Abweichungen des Systems von der erwarteten Leistung hervor und stellt Verbindungen zwischen ihnen und bestimmten Situationen/Ereignissen her, wie in den (simulierten) Sensordaten dokumentiert, die während der Durchführung der Tests gesammelt wurden, zusammen mit den für die Leistungsmetriken verwendeten Datensätzen. Eine Reihe von zuvor entwickelten Metriken (z. B. über den Dienst S00178) werden verwendet, um bestimmte Aspekte der Leistung der Kundenlösung zu verfolgen. Die gewählten Metriken berücksichtigen insbesondere die Fehlplatzierung des (simulierten) Roboters aus der Mittelreihenlinie, die Anzahl der korrekt besuchten Wegpunkte und die Anzahl der Kollisionen mit Pflanzen. Metriken werden für verschiedene Läufe und Trajektorien über die Referenzdaten hinweg berechnet, in einem detaillierten Bericht aufgezeichnet / tabellarisch dargestellt, der auch qualitative Videos enthält, die die Navigationsbahn zeigen, gefolgt von dem System in der Simulation. Der Bericht hebt auch die größten Abweichungen des Systems von der erwarteten Leistung hervor und stellt Verbindungen zwischen ihnen und bestimmten Situationen/Ereignissen her, wie in den (simulierten) Sensordaten dokumentiert, die während der Durchführung der Tests gesammelt wurden, zusammen mit den für die Leistungsmetriken verwendeten Datensätzen.