Lessons Learned

In diesem Kapitel werden die gewonnenen Erkenntnisse und Schlussfolgerungen aus den durchgeführten Desk Studies und Proof of Concepts dargestellt. Diese Erkenntnisse können als Leitfaden dienen, um ähnliche Herausforderungen in zukünftigen Projekten effektiver angehen zu können und bei der Wahl von Technologien und Methoden zu unterstützen.

Desk Studies

Im Folgenden werden die gewonnenen Erkenntnisse und Schlussfolgerungen der durchgeführten Desk Studies aufgezeigt.

Tools und Methoden für Anomalieerkennung & Datenentropie

• Datenverfügbarkeit: Die Schwierigkeit, eine große Menge an anomalen Daten zu sammeln, erfordert kreative Ansätze wie bspw. das Erzeugen von synthetischen Daten. Deshalb werden zur Anomalieerkennung meist Algorithmen verwendet, die lediglich auf "normalen" Daten trainiert werden.

• Algorithmenauswahl: Die Auswahl zwischen generativen und diskriminativen Methoden sollte basierend auf der gewünschten Interpretierbarkeit und der spezifischen Anwendung getroffen werden.

• Tool-Unterstützung: Die Nutzung von spezialisierten Bibliotheken wie Anomalib oder PyOD beschleunigt die Entwicklung und ermöglicht den Zugang zu fortgeschrittenen Algorithmen ohne tiefgehende Expertise in deren Implementierung.

• Anomalieerkennung: SA-PatchCore oder PatchCore sind Algorithmen, welche ausgezeichnete Ergebnisse liefern, für die Lokalisierung von Anomalien in Bilddaten. Auch für Variational Autoencoder gibt es unterschiedlichste Ansätze, um Anomalien zu erkennen. Diese sind nicht nur auf Bilddaten limitiert, sondern können auch Zeitreihen analysieren.

• Datenentropie: Speicher- und rechenintensives Training kann durch Techniken wie Datendestillation und den Data Shapley-Algorithmus verringert werden, indem Datensätze verkleinert werden können.

Validierung des Data Shapley-Algorithmus für Echtzeitanwendungen

• Datenbewertung: Die detaillierte Bewertung jedes Datenpunkts kann helfen, die Effizienz von Trainingsprozessen zu verbessern, indem unnötige oder weniger informative Datenpunkte identifiziert und entfernt werden.

• Performance-Bewertung: Data Shapley ist rechenintensiv, was seine praktische Anwendung auf ressourcenbeschränkten Edge-Geräten impraktikabel macht.

• Echtzeitfähigkeit: Für Anwendungen, die eine sofortige Datenverarbeitung (innerhalb weniger Sekunden) erfordern, sind alternative, weniger rechenintensive Methoden zu bevorzugen.

• Rechen- und speicherintensiv: Eine große Anzahl von Modelltraining-Iterationen muss durchgeführt werden, was diesen Algorithmus enorm rechen- und speicherintensiv macht.

• Bewertung neuer Daten: Werden neue Datenpunkte aufgenommen, müssten diese in das Modell integriert und die Data Shapley-Werte (durch weitere Modelltrainings) für die neuen Datenpunkte berechnet werden.

Vergleich verschiedener Embedded Geräte

• Kosten-Nutzen-Abwägung: Eine gründliche Bewertung der Kosten gegenüber der Leistung der Geräte ist entscheidend, um die Gesamteffizienz des Projekts zu maximieren.

• KI-Modell Optimierung: Techniken wie Quantisierung und Pruning sind effektiv, um Modelle für den Betrieb auf weniger leistungsstarken Geräten anzupassen.

• Notwendige Expertise: Die notwendige Expertise, zur Implementierung von ML-Anwendungen, sollte nicht unterschätzt werden, auf mancher Hardware lassen sich diese relativ leicht implementieren und ausführen, während es auf anderer Hardware deutlich schwieriger ist.

Ermittlung der Datenentropie mittels Grad-CAM und Shapley

• Visualisierungstechniken: Die Algorithmen Shapley wie auch Grad-CAM sind Algorithmen, zur Identifizierung wichtiger Bildbereiche für die Vorhersage eines neuronalen Netzes. Diese Visualisierungen der Einflüsse von Datenpunkten sind wertvoll für das Verständnis und die Verbesserung der Modellentscheidungen.

• Shapley Funktionsweise: Der Shapley KernelExplainer teilt Bilder in Segmente ein, welche anschließend einen Beitrag zur Gesamtvorhersage erhalten.

• GradCAM Funktionsweise: GradCAM ist eine Technik, die durch Berücksichtigung der Gradienten der Aktivierungsbereiche eines neuronalen Netzes Einblicke in die Entscheidungsfindung des Modells bietet.

• Datenpriorisierung: Die Identifizierung wichtiger Datenpunkte mittels Grad-CAM und Shapley scheint möglich und hilft Speicherbedarf und Rechenzeit zu optimieren, indem unwichtige Datenpunkte entfernt werden.

Proof of Concepts

Im Folgenden werden die gewonnenen Erkenntnisse und Schlussfolgerungen der durchgeführten Proof of Concepts aufgezeigt.

Verkleinerung eines Datensatzes für das NN Training mithilfe der Algorithmen Shapley und Grad-CAM

• Unterstützung bei der Klassifikation: Der Shapley-Algorithmus kann als Unterstützung bei der Klassifikation von Bildern verwendet werden.

• Wertigkeit der Daten: Durch die Anwendung von Shapley und Grad-CAM kann die Bewertung der Wichtigkeit einzelner Datenpunkte erfolgen.

• Rechenaufwand: Der hohe Rechenaufwand des Shapley-Algorithmus macht ihn weniger geeignet für Echtzeitanwendungen, besonders auf ressourcenbeschränkten Geräten wie Edge-Geräten.

• Echtzeitfähigkeit: Grad-CAM bietet schnelle Einblicke und ist aufgrund geringeren Rechenaufwands besser für Echtzeitanwendungen auf Edge-Geräten geeignet.

Vergleich zweier neuronaler Netz-Architekturen auf verschiedenen Embedded Geräten

• Hardwareanforderungen: Die Auswahl der richtigen Hardware muss die spezifischen Anforderungen der neuronalen Netzwerkmodelle berücksichtigen, einschließlich Rechenleistung und Speicherfähigkeit.

• Quantisierung und Optimierung: Die Quantisierung neuronaler Netze kann die Ausführungsgeschwindigkeit erheblich verbessern. Auch LLMs lassen sich durch Techniken wir LoRA und QLoRA quantisieren und optimieren. Allerdings kann die Quantisierung und Optimierung von ML-Modellen möglicherweise einen gewissen Genauigkeitsverlust bewirken.

• Performance: Kleine "einfache" neuronale Netze können ohne Probleme mit hohen Ausführungsgeschwindigkeiten auf kleinen energieeffizienten Mikrocontrollern ausgeführt werden. Für Large Language Modelle wird Hardware mit guter Rechenleistung, wie bspw. der Nvidia Jetson Orin, benötigt. Auch für LLMs ist eine Echtzeit Ausführung durchaus gegeben.