Ermittlung der Datenentropie mittels Grad-CAM und Shapley

Der Themenbereich der Datenentropie (Informationsgehalt von Datenpunkten) erweckte großes Interesse beim projektbegleitenden Ausschuss. Das Speichern von bspw. Prozess- oder Produktionsdaten ist ein wichtiger Bestandteil für das maschinelle Lernen. Nur dadurch können gute ML-Modelle trainiert werden. Allerdings ist es schnell der Fall, dass sehr viel Datenspeicher hierfür benötigt wird. Im Bereich der Datenentropie sollte deshalb untersucht werden, ob bzw. wie über einen Datenpunkt eine Aussage getroffen werden kann, ob dieser gespeichert werden soll oder ignoriert werden kann, ohne beim anschließenden Training des ML-Modells erhebliche Genauigkeitsverluste hinnehmen zu müssen. Hierfür sollen die Algorithmen Grad-CAM und Shapley auf deren Eignung für dieses Problem hin untersucht werden. Die Algorithmen Shapley wie auch Grad-CAM sind Algorithmen zur Identifizierung wichtiger Bildbereiche für die Vorhersage eines NNs. In dieser Desk Study wurde das geplante Vorgehen zur Untersuchung der beiden Algorithmen aufgestellt:

• Allgemeines:

  • Der folgende Ansatz soll anhand eines Bilddatensatzes überprüft werden

  • Für dieses Experiment wird der Food101 Datensatz vom Unternehmen vorgeschlagen

  • Als neuronales Netz wird das EfficientNetB0 verwendet, welches einen guten Trade-off zwischen Genauigkeit und Modellgröße darstellt.

• Shapley:

  • Es werden zwei Varianten des Shapley-Algorithmus betrachtet: DeepExplainer und KernelExplainer.

  • DeepExplainer weist jedem Input einen Beitrag zur Gesamtvorhersage zu, bspw. die Wichtigkeit jedes Pixels eines Bildes zur Gesamtvorhersage (ob diese positiv oder negativ beigetragen haben), was visuell dargestellt wird.

  • KernelExplainer teilt im ersten Schritt den Input in Segmente ein. Anschließend erhält jedes Segment einen Beitrag zur Gesamtvorhersage, was ebenfalls visuell dargestellt wird.

  • Aufgrund des geringeren Rechenaufwandes, was im Embedded Bereich eine große Rolle spielt, wurde der KernelExplainer ausgewählt.

  • Das Open-Source GitHub Repository SHAP wird zur einfacheren Reproduktion verwendet.

• Grad-CAM:

  • Der Grad-CAM-Algorithmus konzentriert sich auf die Visualisierung der Aktivierungsbereiche im Bild, die für die Klassenvorhersage relevant sind.

  • Es handelt sich um eine Technik, die durch Berücksichtigung von Gradienten bei der Visualisierung der Aktivierungsbereiche eines neuronalen Netzes hilfreiche Einblicke in die Entscheidungsfindung des Modells bietet.

  • Die Visualisierung ermöglicht es, zu verstehen, welche Teile eines Bildes zur Klassifikation beitragen und wie stark sie gewichtet sind.

  • Der Grad-CAM-Algorithmus beruht auf dem Paper "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization"

• Experimentidee:

  • Beide Algorithmen werden verwendet, um die Wichtigkeit einzelner Bereiche der Datenpunkte zu validieren und zu bewerten.

  • Kann mithilfe der aktivierten Bildbereiche durch den Shapley oder Grad-CAM Algorithmus eine Wichtigkeit einzelner Datenpunkte bestimmt werden?

  • Daten mit geringen aktivierten Bereichen sind evtl. wichtig, weil diese bisher nicht bekannt sind?

• Validierung der Algorithmen:

  • Berechnung verschiedener Metriken (Summe, Mittelwert, Varianz, …) pro Bild. Dadurch ergibt sich für jede Vorhersage 1 Wert pro Metrik.

  • Erstellung von Histogrammen, um die Verteilung der berechneten Metriken zu ermitteln (dies wird pro Klasse durchgeführt)

• Datensatzverkleinerung:

  • Verteilung (Histogramme) der Shapley/Gradcam-Werte werden in 4 gleich große Bereiche geteilt

  • Erneutes Training des Efficientnet Modells mit:

    • Allen Daten

    • Jeweils einer der oberen Bereiche wird entfernt

    • Zufällig werden 25 % der Daten entfernt

  • Ziel:

    • Das Entfernen von Daten aus verschiedenen Bereichen der Histogramme haben unterschiedliche Einflüsse auf die Genauigkeit des Modells

    • Modellgenauigkeit ist anhand der Algorithmen besser als zufällig entfernte Daten

• Ausführung auf Edge-Geräten:

  • Die Echtzeitfähigkeit der beiden Algorithmen wird auf verschiedenen Edge-Geräten untersucht

  • Die untersuchten Edge-Geräte umfassten:

    • Nvidia Jetson AGX Orin

    • Nvidia Jetson Orin Nano

    • Raspberry Pi

  • Untersuchung, ob die Algorithmen auf den Geräten ausführbar sind und mit welcher Geschwindigkeit.