Modellauswahl

Bei der Entscheidung für ein ML-Modell stehen verschiedene Ansätze zur Auswahl. Neben der Entwicklung eines eigenen Modells sind die Methoden Fine-Tuning oder Feature Extraction alternative Vorgehensweisen. Im Folgenden werden die Vor- und Nachteile dieser Ansätze Lernens näher erläutert. In Abbildung 27 wird für das kommende Kapitel verdeutlicht, auf welche Komponenten der Modellauswahl der Fokus gelegt wird.

Abbildung 27: Workflow - Training neuronaler Netze (Modellauswahl)

Eigenes Modell

Bei der Entwicklung eines eigenen Modells wird dieses von Grund auf für eine spezifische Aufgabe trainiert. In diesem Ansatz werden die Hyperparameter und Architektur des Modells auf diese Aufgabe abgestimmt. Im Folgenden sind einige Vor- und Nachteile beschrieben:

Vorteile:

• Anpassung an spezifische Anforderungen: Ein maßgeschneidertes Modell kann optimal auf die spezifischen Anforderungen der Aufgabe zugeschnitten werden, was möglicherweise zu besserer Leistung führt.

• Kontrolle: Die Entwickler haben volle Kontrolle über die Modellarchitektur, Hyperparameter und Trainingsprozess, was es ermöglicht, das Modell genau nach den eigenen Anforderungen zu gestalten.

Nachteile:

• Benötigt mehr Daten: Die Entwicklung eines eigenen Modells erfordert oft eine größere Menge an Trainingsdaten im Vergleich zu Fine-Tuning oder Feature Extraction.

• Zeit- und ressourcenintensiver: Das Training eines Modells von Grund auf kann zeitaufwändiger sein und mehr Rechenressourcen erfordern, da während des Trainings die Modellgewichte von ihren initialen Startwerten an die Merkmale und Muster in den Daten angepasst werden müssen.

Transfer Learning

Dies ist ein Ansatz, der die Verwendung eines vortrainierten Modells für eine neue Aufgabe ermöglicht. Dabei wird das bereits trainierte Modell als Ausgangspunkt verwendet, um die Leistungsfähigkeit auf einer neuen, verwandten Aufgabe zu nutzen. Dadurch können bereits erlernte Merkmale oder Muster des vortrainierten Modells genutzt werden und dadurch Rechenressourcen und Zeit gespart werden. Vortrainierte Modelle können auf zwei Weisen verwendet werden:

• Fine-Tuning:

  • Die letzten Schichten, die für die Klassifikation verantwortlich sind, werden mit neuen Schichten ausgetauscht bzw. an die eigene Aufgabe (Anzahl Klassen) angepasst.

  • Die Gewichte einiger Schichten des vortrainierten Modells werden während des Trainings auf die neue Aufgabe angepasst, während die restlichen "eingefroren" und nicht verändert werden.

  • Die Gewichte der neu hinzugefügten Schichten sind während des Trainings ebenfalls anpassbar.

• Feature Extraction:

  • In dieser Methode wird das vortrainierte Modell als fester Feature-Extraktor genutzt, um relevante Merkmale aus den Daten zu extrahieren.

  • Die letzten Schichten, die für die Klassifikation verantwortlich sind, werden mit neuen Schichten ausgetauscht bzw. an die eigene Aufgabe (Anzahl Klassen) angepasst.

  • Die Gewichte des vortrainierten Modells werden während des Trainings "eingefroren" und werden nicht verändert.

  • Lediglich Gewichte der neu hinzugefügten Schichten sind während des Trainings anpassbar.

Im nächsten Abschnitt werden die Vor- und Nachteile von vortrainierter Modelle erläutert:

Vorteile:

• Zeit- und Ressourceneinsparung: Feature Extraction und Fine-Tuning sind besonders nützlich, wenn nicht ausreichend Daten für das Training eines Modells von Grund auf zur Verfügung stehen. Sie sparen Zeit und Ressourcen.

• Beschleunigtes Modelltraining: Diese Techniken beschleunigen das Modelltraining, verbessern die Modellleistung und sind ressourceneffizient.

Nachteile:

• Suboptimale Leistung für spezialisierte Aufgaben: Für einige spezialisierte Aufgaben sind vortrainierte Modelle möglicherweise nicht optimal. Außerdem sind sie oft relativ groß, obwohl das nicht für jede Aufgabe notwendig ist.

Durch Feature Extraction und Fine-Tuning können vortrainierte Modelle effektiv genutzt werden, um die Leistung in neuen Aufgabenbereichen zu verbessern. Ein Beispiel dafür wäre die Anwendung eines vortrainierten Bildklassifizierungsmodells wie MobileNet auf eine spezifische Klassifizierungsaufgabe wie die Unterscheidung zwischen verschiedenen Hunderassen. Hierbei könnten sowohl Feature Extraction als auch Fine-Tuning verwendet werden, um die Modellleistung zu optimieren.

Mehr erfahren: DEV/Understanding the Differences: Fine-Tuning vs. Transfer Learning, TensorFlow/Transfer learning and fine-tuning