Handbuch - PMLE Google Cloud Professional Machine Learning Engineer

Erstellen Sie Klassifizierungs-, Regressions- oder Empfehlungsmodelle auf großen tabellarischen Datensätzen in BigQuery für Teams mit ausgeprägten SQL-Kenntnissen.

Nutzen Sie BigQuery ML mit SQL-Syntax (z.B. `CREATE MODEL ... OPTIONS(model_type='BOOSTED_TREE_CLASSIFIER')`). Aktivieren Sie die Erklärbarkeit mit `EXPLAIN_PREDICT`.

Warum: Vermeidet Datenverschiebung und nutzt vorhandene SQL-Kenntnisse für eine schnelle Entwicklung. Behält die Daten-Governance innerhalb von BigQuery bei und bietet integrierte Erklärbarkeit.

Referenz

Extrahieren Sie strukturierte Daten (z.B. Namen, Daten, Codes) aus unstrukturierten Dokumenten wie Formularen oder Rechnungen mit minimaler ML-Expertise.

Verwenden Sie Document AI mit einem vortrainierten oder benutzerdefinierten Prozessor. Trainieren Sie einen benutzerdefinierten Prozessor mit beschrifteten Beispieldokumenten für spezialisierte Layouts.

Warum: Ein spezialisierter, verwalteter Dienst für die Dokumentenanalyse, der die Entwicklung kundenspezifischer OCR- und Analyselogiken von Grund auf übertrifft.

Referenz

Analysieren Sie unstrukturierte Daten wie Audio oder Text auf Stimmung, Entitäten oder Themen, ohne ein benutzerdefiniertes Modell zu trainieren.

Verketten Sie vortrainierte APIs. Beispiel: Speech-to-Text API für die Transkription, gefolgt von der Natural Language API für die Entitäten- und Stimmungsanalyse.

Warum: Schnellste Markteinführung für gängige Anwendungsfälle. Nutzt von Google trainierte Modelle, ohne Datenbeschriftung oder Modelltraining zu erfordern.

Erstellen Sie ein hochwertiges benutzerdefiniertes Bild-, Video- oder Tabellenmodell mit beschrifteten Daten, aber begrenzter ML-Codierungsexpertise.

Verwenden Sie Vertex AI AutoML (z.B. AutoML Vision Object Detection). Stellen Sie beschriftete Daten bereit und lassen Sie den Dienst die Architektursuche und das Training übernehmen.

Warum: Gleicht benutzerdefinierte Modellbedürfnisse mit Benutzerfreundlichkeit aus. Übertrifft generische vortrainierte APIs für benutzerdefinierte Aufgaben (z.B. das Identifizieren spezifischer Produkte).

Referenz

Erstellen Sie eine konversationelle KI oder einen Wissensassistenten, der Fragen basierend auf einem großen, proprietären Dokumentenkorpus beantwortet.

Implementieren Sie ein Retrieval-Augmented Generation (RAG)-Muster. Verwenden Sie Vertex AI Vector Search, um relevante Dokumentausschnitte zu finden und diese als Kontext an ein Gemini-Modell zur fundierten Antwortgenerierung weiterzuleiten.

Warum: Basiert LLM-Antworten auf Fakten, reduziert Halluzinationen und liefert Zitate. Skalierbarer und aktueller als Fine-Tuning für Wissen.

Erstellen Sie einen unternehmensgerechten Chatbot oder eine Suchmaschine mit minimalem Code, verbunden mit internen Datenquellen wie Cloud Storage oder BigQuery.

Verwenden Sie Vertex AI Agent Builder. Konfigurieren Sie Datenspeicher-Konnektoren für Ihre Wissensbasis und nutzen Sie Tools (Funktionsaufrufe) für Echtzeit-Datensuche.

Warum: Low-Code-Lösung, die die Erstellung von RAG-Pipelines automatisiert, einschließlich Dokumenten-Parsing, Chunking, Embedding und Retrieval, für eine schnelle Bereitstellung.

Führen Sie eine Echtzeit-Fehlererkennung in hochvolumigen Videostreams von Fertigungskameras mit Latenzzeiten unter einer Sekunde durch.

Optimierte Modelle auf Edge-Geräten mithilfe von Vertex AI Edge Manager bereitstellen. Inferenzen lokal durchführen und nur Fehler-Metadaten zur Überwachung an die Cloud senden.

Warum: Bewältigt hohe Bandbreiten- und niedrige Latenzanforderungen, die mit einem reinen Cloud-Ansatz undurchführbar oder kostenintensiv wären.

ML-Features verwalten, um Konsistenz zwischen Batch-Training und Echtzeit-Serving zu gewährleisten und Training-Serving-Skew zu verhindern.

Verwenden Sie Vertex AI Feature Store. Definieren Sie Feature-Gruppen mit verschiedenen Synchronisierungsplänen (Batch, Streaming). Verwenden Sie Zeitreise-Abfragen für punktgenau korrekte Trainingsdaten.

Warum: Bietet ein zentralisiertes Feature-Repository, gewährleistet konsistente Feature-Definitionen und löst die punktgenaue Korrektheit von Trainingsdaten.

Referenz

Implementieren Sie Model-Governance mit Versionierung, Genehmigungs-Workflows und einer überprüfbaren Bereitstellungshistorie.

Verwenden Sie Vertex AI Model Registry, um Modelle zu versionieren und zu speichern. Verknüpfen Sie sie mit Experimenten und Datensätzen. Verwenden Sie IAM und Versionsaliase (z.B. „production“), um Bereitstellungsgenehmigungen zu verwalten.

Warum: Zentralisiert das Modellmanagement und ermöglicht Governance, Reproduzierbarkeit und sichere Rollback-Funktionen. Integriert sich in CI/CD-Pipelines.

Systematisches Verfolgen und Vergleichen von ML-Experimenten, einschließlich Hyperparametern, Metriken und Artefakten, um Reproduzierbarkeit zu gewährleisten.

Verwenden Sie Vertex AI Experiments. Protokollieren Sie Parameter und Metriken von Trainingsaufträgen automatisch. Verknüpfen Sie Artefakte und Datensätze für eine vollständige Herkunftsverfolgung.

Warum: Bietet ein strukturiertes, abfragbares System für das Experimentmanagement, das über Tabellenkalkulationen oder manuelle Protokolle hinausgeht und eine bessere Zusammenarbeit ermöglicht.

Modelle auf sensiblen Daten (z.B. PHI, PII) trainieren und bereitstellen, während strenge Anforderungen an Datenresidenz und Sicherheit erfüllt werden.

Konfigurieren Sie Vertex AI innerhalb eines VPC Service Controls Perimeters. Verwenden Sie Private Endpoints für die Netzwerkisolation und Customer-Managed Encryption Keys (CMEK) für ruhende Daten.

Warum: Erstellt einen sicheren Netzwerkperimeter, der Datenexfiltration verhindert und sicherstellt, dass die gesamte Verarbeitung und Datenübertragung innerhalb kontrollierter Grenzen stattfindet.

Trainingsdaten versionieren, um die Reproduzierbarkeit von Experimenten zu gewährleisten und Modelle genau auf den zur Schulung verwendeten Datensnapshot zurückführen zu können.

Verwenden Sie Vertex AI Managed Datasets mit Versionierung. Erstellen Sie neue Dataset-Versionen für signifikante Datenänderungen und verknüpfen Sie spezifische Versionen mit Trainingsläufen.

Warum: Bietet unveränderliche, versionierte Datensnapshots mit automatischer Herkunftsverfolgung in ML Metadata, entscheidend für Compliance und Debugging.

Beschriften Sie einen großen, unbeschrifteten Datensatz für das Modelltraining mit einem begrenzten Budget für menschliche Annotationen.

Implementieren Sie eine Active-Learning-Schleife. Trainieren Sie ein initiales Modell auf einem kleinen beschrifteten Subset und nutzen Sie dann dessen Unsicherheitswerte, um die informativsten Samples für die menschliche Beschriftung zu priorisieren.

Warum: Maximiert den Wert jedes manuell beschrifteten Samples, wodurch die Beschriftungskosten und -zeit im Vergleich zu zufälliger Stichprobenentnahme oder vollständiger Beschriftung reduziert werden.

Reduzieren Sie die Trainingszeit für ein großes Modell auf einem riesigen Datensatz durch Skalierung über mehrere GPUs oder Knoten hinweg.

Verwenden Sie eine synchrone Datenparallelisierungsstrategie, wie TensorFlows `MultiWorkerMirroredStrategy`. Verpacken Sie den Trainingscode und reichen Sie ihn bei Vertex AI Training mit einer Multi-Worker-Konfiguration ein.

Warum: Standard, effektive Methode zur Skalierung der meisten Trainingsaufträge. Vertex AI verwaltet die Cluster-Einrichtung und -Synchronisierung, was minimale Codeänderungen erfordert.

Trainieren Sie ein Grundlagenmodell (LLM), das zu groß ist, um in den Speicher eines einzelnen Beschleunigers zu passen (z.B. >50B Parameter).

Verwenden Sie 3D-Parallelismus: Tensor Parallelism (teilt Schichten innerhalb von Knoten auf), Pipeline Parallelism (verteilt Schichten über Knoten) und Data Parallelism (repliziert über den Pod). Trainieren Sie auf TPU-Pods.

Warum: Die einzige praktikable Methode zum Trainieren von Modellen, die den Speicher eines einzelnen Geräts übersteigen. Jede Parallelisierungsdimension adressiert einen anderen Skalierungsengpass (Speicher, Rechenleistung, Netzwerk).

Minimieren Sie die Kosten für lang laufende, fehlertolerante Trainingsaufträge (z.B. >12 Stunden).

Verwenden Sie Spot-VMs (präemptiv) für das Training, die bis zu 80 % Kosteneinsparungen bieten. Implementieren Sie häufiges Checkpointing in Cloud Storage und konfigurieren Sie den Auftrag für einen automatischen Neustart.

Warum: Reduziert die Trainingskosten drastisch. Checkpointing stellt sicher, dass bei Unterbrechung nur minimale Fortschritte verloren gehen, was es zu einer zuverlässigen Strategie für nicht eilige Aufträge macht.

Effizientes Finden optimaler Hyperparameter für ein Modell mit einem großen und komplexen Suchraum.

Verwenden Sie Vertex AI Hyperparameter Tuning (Vizier) mit Bayesscher Optimierung. Definieren Sie den Suchraum und die Zielmetrik. Aktivieren Sie Early Stopping, um wenig vielversprechende Versuche abzubrechen.

Warum: Die Bayessche Optimierung ist probeneffizienter als die Gitter- oder Zufallssuche und findet bessere Konfigurationen mit weniger Versuchen, was Zeit und Geld spart.

Ein Trainingsauftrag erfordert spezifische Bibliotheksversionen, benutzerdefinierte CUDA-Kernels oder private Pakete, die in vorgefertigten Containern nicht verfügbar sind.

Erstellen Sie einen benutzerdefinierten Docker-Container mit allen festgelegten Abhängigkeiten. Pushen Sie den Container in Artifact Registry und referenzieren Sie ihn im Vertex AI Trainingsauftrag.

Warum: Bietet volle Kontrolle über die Ausführungsumgebung, gewährleistet Reproduzierbarkeit und handhabt komplexe Abhängigkeiten, die vorgefertigte Container nicht bewältigen können.

Trainieren Sie ein Modell auf einem sehr großen BigQuery-Datensatz ohne die Verzögerung oder Kosten des Exports nach Cloud Storage.

Verwenden Sie die BigQuery Storage Read API direkt aus dem Trainingscontainer. Dies ermöglicht einen hohen Durchsatz und paralleles Streaming von Daten in TensorFlow- oder PyTorch-Datenlader.

Warum: Schnellste und effizienteste Methode, um große BQ-Datensätze für das Training zu lesen. Vermeidet Zwischenspeicherung und I/O-Engpässe.

Referenz

Stellen Sie ein Modell mit hohem oder variablem Datenverkehr (z.B. 10.000 RPS Spitzen) bereit, während Sie geringe Latenz beibehalten und Kosten optimieren.

Stellen Sie das Modell auf einem Vertex AI Endpoint mit einem GPU-Maschinentyp bereit. Konfigurieren Sie die Autoskalierung mit minimalen und maximalen Replikatanzahlen basierend auf Traffic oder Auslastung.

Warum: Skaliert Ressourcen automatisch an die Nachfrage an, gewährleistet Leistung während Spitzenzeiten und Kosteneinsparungen während Flauteperioden. GPUs bieten geringe Latenz für komplexe Modelle.

Stellen Sie Modellvorhersagen einer globalen Benutzerbasis mit minimaler Latenz in jeder Region bereit.

Stellen Sie das Modell auf regionalen Vertex AI Endpoints in jeder Zielregion bereit (z.B. USA, EU, APAC). Verwenden Sie einen globalen Load Balancer, um Benutzer zum nächstgelegenen Endpoint zu routen.

Warum: Minimiert die Netzwerklatenz, indem Anfragen von einer Infrastruktur in der Nähe des Benutzers bedient werden. Essentiell für latenzempfindliche globale Anwendungen.

Stellen Sie eine neue Modellversion sicher bereit, indem Sie den Traffic schrittweise verlagern und dabei die Leistung überwachen.

Stellen Sie die neue Version auf demselben Vertex AI Endpoint bereit wie das aktuelle Modell. Verwenden Sie Traffic Splitting, um einen kleinen Prozentsatz des Traffics (z.B. 5 %) an die neue Version zu senden und diesen schrittweise zu erhöhen.

Warum: Ermöglicht Canary-Deployments und A/B-Tests. Erlaubt eine sichere Validierung neuer Modelle unter realem Produktions-Traffic mit sofortiger Rollback-Möglichkeit.

Stellen Sie Echtzeit-Empfehlungen aus einem Katalog von Millionen von Artikeln mit einer Latenz unter 50 ms bereit.

Implementieren Sie eine zweistufige Architektur: 1) Eine schnelle Abrufphase mithilfe von Vertex AI Vector Search (ANN), um die Top-K-Kandidaten zu finden. 2) Eine präzise Ranking-Phase, die ein komplexeres Modell auf den kleinen Kandidatensatz anwendet.

Warum: Gleicht Präzision und Latenz aus. Der schnelle ANN-Abruf reduziert den riesigen Item-Raum, sodass der rechenintensive Ranker auf einer überschaubaren Teilmenge arbeiten kann.

Reduzieren Sie die Latenz der Modellinferenz, um strenge Echtzeitanforderungen (<20ms) zu erfüllen.

Wenden Sie Modelloptimierungstechniken an. Kompilieren Sie das Modell mit TensorRT für GPU oder OpenVINO für CPU. Verwenden Sie Quantisierung (z.B. INT8), um die Präzision zu reduzieren und den Durchsatz zu erhöhen.

Warum: Diese Techniken optimieren den Modellgraphen und nutzen hardwarespezifische Beschleunigung, wodurch oft eine 2-5-fache Latenzreduzierung ohne signifikanten Genauigkeitsverlust erreicht wird.

Stellen Sie Dutzende von Modellen mit geringem Traffic kostengünstig bereit, ohne für jedes dedizierte Ressourcen bereitzustellen.

Verwenden Sie einen Multi-Modell-Endpoint, um mehrere Modelle auf einem gemeinsam genutzten Satz von Serving-Ressourcen zu hosten. Vertex AI lädt Modelle dynamisch basierend auf eingehenden Anfragen.

Warum: Reduziert die Kosten für die Bereitstellung vieler Modelle mit seltenem Traffic drastisch, indem die Ressourcennutzung im Vergleich zu dedizierten Einzelmodell-Endpunkten verbessert wird.

Reduzieren Sie die Latenz der Generierung von großen Sprachmodellen (LLM) für interaktive Anwendungen.

Implementieren Sie spekulatives Decoding. Verwenden Sie ein kleineres, schnelleres "Entwurfs"-Modell, um Kandidaten-Tokens zu generieren, die dann in einem einzigen Durchlauf vom größeren, genaueren Modell überprüft werden.

Warum: Beschleunigt die Token-Generierung erheblich, indem sequenzielles Decoding durch parallele Verifizierung ersetzt wird, wodurch ein großer Engpass beim LLM-Serving reduziert wird.

Automatisieren Sie einen mehrstufigen ML-Workflow, einschließlich Datenvalidierung, Vorverarbeitung, Training, Evaluierung und bedingter Bereitstellung.

Definieren Sie den Workflow als DAG mithilfe von Vertex AI Pipelines mit dem Kubeflow Pipelines (KFP) SDK. Verwenden Sie vorgefertigte oder benutzerdefinierte Komponenten für jeden Schritt.

Warum: Bietet einen verwalteten, serverlosen Orchestrierungsdienst für ML mit integrierter Artefaktverfolgung, Herkunft, Caching und bedingter Ausführung.

Referenz

Verhindern Sie, dass fehlerhafte Daten in eine Trainingspipeline gelangen und die Modellqualität beeinträchtigen.

Fügen Sie frühzeitig in der Pipeline eine TensorFlow Data Validation (TFDV)-Komponente hinzu. Vergleichen Sie eingehende Datenstatistiken mit einem Basisschema und stoppen Sie die Pipeline, wenn Drift oder Anomalien erkannt werden.

Warum: Fungiert als automatisiertes Qualitäts-Gate, das Datenprobleme proaktiv erkennt, bevor sie Rechenressourcen verschwenden und zu einem fehlerhaften Modell führen.

Automatisches Auslösen des Modell-Retrainings, wenn neue Daten eintreffen oder Modelldrift erkannt wird.

Verwenden Sie eine ereignisgesteuerte Architektur. Eine Pub/Sub-Nachricht (z.B. von einem Cloud Storage-Update oder einer Drift-Warnung) löst eine Cloud Function oder einen Eventarc-Trigger aus, der einen Vertex AI Pipeline-Lauf startet.

Warum: Erstellt ein reaktionsschnelles, effizientes System, das Modelle nur bei Bedarf neu trainiert und so die Aktualität des Modells ohne verschwenderische geplante Läufe gewährleistet.

Automatisieren Sie die Modellpromotion zur Produktion nur dann, wenn das neue Modell das aktuelle Produktionsmodell bei wichtigen Geschäftsmetriken übertrifft.

Fügen Sie in einer Vertex AI Pipeline eine Evaluierungskomponente hinzu, die das neue Modell mit einer Produktions-Baseline vergleicht. Verwenden Sie eine `dsl.Condition`, um die Bereitstellungskomponente nur auszuführen, wenn das neue Modell den Leistungsschwellenwert erreicht oder übertrifft.

Warum: Automatisiert das letzte Qualitäts-Gate in einer MLOps-Pipeline, verhindert Leistungsrückgänge und stellt sicher, dass nur überlegene Modelle bereitgestellt werden.

Standardisieren Sie gemeinsame Aufgaben (z.B. Feature Engineering, Evaluierung) über mehrere ML-Pipelines und Teams hinweg.

Verpacken Sie gemeinsame Logik in versionierte, containerisierte benutzerdefinierte Komponenten. Speichern Sie diese in Artifact Registry und teilen Sie sie projektübergreifend.

Warum: Fördert die Wiederverwendbarkeit von Code, gewährleistet Konsistenz und vereinfacht die Wartung. Teams können komplexe Pipelines aus einer Bibliothek vertrauenswürdiger, standardisierter Komponenten zusammenstellen.

Beschleunigen Sie die Pipeline-Entwicklung und reduzieren Sie Kosten, indem Sie redundante Berechnungen bei wiederholten Läufen vermeiden.

Aktivieren Sie das Ausführungscaching in Vertex AI Pipelines. Der Dienst wird die Ausgaben einer Komponente automatisch wiederverwenden, wenn sich ihre Eingaben und Implementierung nicht geändert haben.

Warum: Beschleunigt die iterative Entwicklung erheblich, indem es Ihnen ermöglicht, eine Pipeline erneut auszuführen und nur die Komponenten auszuführen, die Sie geändert haben.

Implementieren Sie einen CI/CD-Workflow, um Änderungen am ML-Pipeline-Code automatisch zu testen und bereitzustellen.

Verwenden Sie Cloud Build, ausgelöst durch einen Git-Repository-Push. Der Build-Prozess führt Komponenteneinheitstests aus, kompiliert die Pipeline und stellt sie in einer Staging- oder Produktionsumgebung bereit.

Warum: Wendet Best Practices des Software-Engineerings auf MLOps an und ermöglicht schnelle, zuverlässige und automatisierte Updates für ML-Produktionssysteme.

Erkennen, wann die Leistung eines Produktionsmodells aufgrund von Änderungen in eingehenden Daten oder vorhergesagten Ergebnissen nachlässt.

Konfigurieren Sie Vertex AI Model Monitoring. Richten Sie einen Job ein, um Training-Serving-Skew (Änderungen der Eingabeverteilung gegenüber dem Training) und Prediction Drift (Änderungen der Ausgabeverteilung über die Zeit) zu erkennen.

Warum: Bietet ein automatisiertes Frühwarnsystem für Modellleistungsabfall, das proaktives Retraining oder Eingreifen ermöglicht, bevor Geschäftsmetriken signifikant beeinträchtigt werden.

Referenz

Die Modellleistung verschlechtert sich, aber die Verteilungen der Eingabefeatures scheinen stabil (keine Daten-Drift erkannt).

Implementieren Sie die Überwachung von Vorhersageergebnissen anhand verzögerter Ground-Truth-Labels. Ein Rückgang der Genauigkeit oder anderer Bewertungsmetriken deutet auf Concept Drift hin, bei dem sich die Beziehung zwischen Features und dem Ziel geändert hat.

Warum: Die Überwachung von Feature Drift allein ist unzureichend. Concept Drift erfordert die Bewertung von Modellvorhersagen anhand tatsächlicher Werte, um Änderungen in den zugrunde liegenden Mustern zu erkennen.

Liefern Sie Erklärungen für individuelle Modellvorhersagen, um Compliance-Anforderungen zu erfüllen oder das Vertrauen von Stakeholdern zu gewinnen.

Aktivieren Sie Vertex AI Explainable AI am bereitgestellten Endpoint. Verwenden Sie Methoden wie Sampled Shapley oder Integrated Gradients, um Feature-Attributionen für jede Vorhersage zu erhalten.

Warum: Bietet lokale, vorhersagebezogene Erklärungen, die identifizieren, welche Features zu einer Entscheidung beigetragen haben, was für die Prüfung und das Debugging von „Black-Box“-Modellen unerlässlich ist.

Stellen Sie sicher, dass ein Modell über verschiedene Benutzersegmente (z.B. Demografie) hinweg gerecht performt und entdecken Sie versteckte Verzerrungen.

Konfigurieren Sie die Modellüberwachung, um Leistungsmetriken (z.B. Genauigkeit, Fehlerraten) auf Datenschnitten zu berechnen und zu verfolgen, die durch sensible Attribute definiert sind.

Warum: Aggregierte Metriken können eine schlechte Leistung für Minderheiten-Untergruppen verbergen. Geschnittene Analyse ist entscheidend für die Identifizierung und Minderung von Fairness-Problemen.

Verhindern Sie, dass ein Modell unzuverlässige, übermäßig selbstbewusste Vorhersagen auf Eingaben macht, die sich grundlegend von seinen Trainingsdaten unterscheiden.

Implementieren Sie ein Out-of-Distribution (OOD)-Erkennungsmodell (z.B. einen Autoencoder) neben dem Hauptmodell. Ein hoher Rekonstruktionsfehler kennzeichnet eine Eingabe als OOD und löst eine Fallback-Logik aus.

Warum: Bietet einen Sicherheitsmechanismus gegen Domänenverschiebung und verbessert die Modellrobustheit, indem erkannt wird, wann das Modell außerhalb seines Kompetenzbereichs arbeitet.

Dokumentieren Sie den beabsichtigten Verwendungszweck, Einschränkungen, Trainingsdaten und die Fairness-Bewertung eines Modells für technische und nicht-technische Stakeholder.

Erstellen Sie eine Modellkarte (Model Card) mithilfe des Google-Frameworks. Fügen Sie Abschnitte zu Modelldetails, beabsichtigtem Verwendungszweck, ethischen Überlegungen, quantitativen Analysen (einschließlich geschnittener Metriken) und Einschränkungen hinzu.

Warum: Ein Standard für verantwortungsvolle KI-Dokumentation, der Transparenz, Rechenschaftspflicht und die ordnungsgemäße Modellnutzung in einer Organisation fördert.

Führen Sie ein durchsuchbares, auditierbares Protokoll aller Vorhersageanfragen und -antworten für Compliance und Debugging.

Aktivieren Sie das Zugriffslogging am Vertex AI Endpoint. Konfigurieren Sie die Protokolle für den Export nach BigQuery zur strukturierten, langfristigen Speicherung und Analyse.

Warum: BigQuery bietet eine skalierbare und abfragbare Plattform zur Erstellung von Audit-Trails, zur Analyse von Vorhersagetrends und zur Verknüpfung von Vorhersagen mit Ground-Truth-Daten.