Präzision ist ein Hauptgrund für das Versagen von KI bei der Objekterkennung. Denn KI erkennt ausschließlich das, was sie schon kennt. Abstraktion und Variation sind nicht ihre Stärken. Das ist ein Ergebnis der Masterarbeit „Interpreting YOLO: A Study on Explainability in Multi-Class Object Detection Models“ von Gideon Antwi, Werkstudent bei der innomatik AG. In seiner Arbeit untersucht Antwi, wie Objekterkennung bei künstlicher Intelligenz erfolgt und welches Vorgehen die Qualität der Resultate nachhaltig verbessert.

So arbeitet eine KI

Was passiert in einer KI? Und wie bekommt man Licht in diese Blackbox, als die viele Menschen KI wahrnehmen? Diesen Fragen wollte Antwi mit seiner Masterarbeit nachgehen und wählte das Themenfeld der Bilderkennung. Für seine Untersuchung setzte er ein Dataset mit rund 10.000 Abbildungen ein, auf denen jeweils 12 verschiedene Objekte in Variation gezeigt waren. Die Objekte stammten aus einem Set von insgesamt 81 Spielkarten mit verschiedenen Mustern, womit zugleich 81 Klassen für die Erkennung und Einordnung der Ergebnisse gesetzt waren.

KI verstehen

Im ersten Schritt ordnete Antwi die Karten in einem gleichmäßigen Raster von vier Karten quer und drei Karten längs auf einem dunklen Hintergrund. Später folgte ein heller Hintergrund. Antwi testete zudem eine holzgemaserte Tischplatte. Auch die Beleuchtung variierte der Forscher, ebenso die Ordnung der Karten, die im späteren Verlauf teilweise einander überlappend oder diagonal platziert wurden.

Variation als Schlüssel

„Im Kern gilt, die angebotenen Variationen in den Abbildungen des Datasets möglichst weit zu wählen, damit im besten Fall alle Eventualitäten bereits im Training berücksichtigt sind und die KI im Alltag zuverlässig arbeitet“, erklärt Antwi. Denn eine KI kann nur genau das erkennen, was ihr bereits bekannt ist. Das bezieht sich nicht allein auf das eigentliche Objekt, sondern auch auf alle begleitenden Faktoren. Anders als Menschen kann eine KI nämlich nicht aus einem Grundwissen abstrahieren, sondern muss jedes Wissen separat lernen.

Denken wie die KI

„Im Grunde muss man versuchen, sich in die Lage der KI zu versetzen und sich fragen, das denke ich bei der Erkennung und warum könnte ich scheitern“, sagt Antwi über seinen Ansatz, der die Erkennungsleistung schrittweise verbesserte. Zentral hierbei war, zu analysieren, welche Objekte aus welchen Gründen nicht wahrgenommen wurden. Ursachen waren beispielsweise Lichtreflexionen, geringe Kontraste, kaum sichtbare Grenzen zwischen einzelnen Karten oder ein stark gemusterter Hintergrund, der als weitere Karte erkannt wurde. Diese Fehlerquellen identifizierte Antwi und ließ sie systematisch nachtrainieren, so dass sie der Algorithmus abstellen konnte.

Verstehen mittels Heatmap

Um genau zu verstehen, was die KI bei jedem Durchgang erkannt hat und wo Lücken in der Erkennungsleistung sind, verwendete Antwi ein selbstentwickeltes Programm, das die Aktivitäten der KI in der Art einer Heatmap darstellte. Dabei zeigte sich, dass die KI sogar im selben Trainingsdurchlauf identische Bilder ganz unterschiedlich intensiv bearbeitet, beispielsweise in einem Durchgang nur den mittleren Bereich und in einem folgenden das Gesamtbild.

KI lernt immer schrittweise

Die Untersuchung zeigt, dass eine KI schrittweise lernt und jede Fehlerursache identifiziert und verstanden werden muss, um sie mit entsprechenden Inhalten systematisch nachzutrainieren. „Ein intensives Training ist der einzige Garant, in der Praxis eine sichere Erkennung gewährleisten zu können“, rät Antwi als Konsequenz aus der Beobachtung. Die Zeit, die detaillierte Fehleranalyse und gezieltes Training von spezifischen Details erfordern, macht sich in der produktiven Anwendung durch die hohe Güte der Ergebnisse schnell bezahlt. Problematisch ist allerdings, dass der Aufwand mit großen Datenmengen exponentiell steigt, womit ein feindifferenziertes Training, wie es Antwi für seine Masterarbeit umsetzte, nicht praktikabel ist.

Bilder: innomatik AG/Gideon Antwi