Systeme für maschinelles Lernen entmystifizieren | EurekAlert!

Neuronale Netze werden manchmal als „Black Boxes“ bezeichnet, weil trotz der Tatsache, dass sie Menschen bei bestimmten Aufgaben übertreffen, die Forscher, die sie entwickeln, oft nicht verstehen, wie oder warum sie so gut funktionieren. aber wenn a neurales Netzwerk Es wird außerhalb des Labors verwendet, möglicherweise um medizinische Bilder zu klassifizieren, die bei der Diagnose von Herzerkrankungen helfen könnten, und die Kenntnis der Funktionsweise des Modells hilft den Forschern, vorherzusehen, wie es sich in der Praxis verhalten wird.

MIT-Forscher haben eine Methode entwickelt, die etwas Licht in das Innenleben neuronaler Black-Box-Netzwerke wirft. Ähnlich wie das menschliche Gehirn sind neuronale Netze in Schichten miteinander verbundener Knoten oder „Neuronen“ angeordnet, die Daten verarbeiten. Das neue System kann automatisch Beschreibungen dieser einzelnen Neuronen erstellen, die in Englisch oder einer anderen natürlichen Sprache generiert werden.

Beispielsweise könnte ihre Methode in einem neuronalen Netzwerk, das darauf trainiert ist, Tiere in Bildern zu erkennen, ein bestimmtes Neuron so beschreiben, dass es die Ohren von Füchsen erkennt. Ihr skalierbarer Ansatz ist in der Lage, genauere und spezifischere Beschreibungen einzelner Neuronen zu erstellen als andere Methoden.

In einer neuen Forschungsarbeit zeigt das Team, dass diese Methode verwendet werden kann, um ein neuronales Netzwerk zu überprüfen, um festzustellen, was es gelernt hat, oder sogar das Netzwerk zu modifizieren, indem nicht hilfreiche oder ungültige Neuronen identifiziert und dann ausgeschaltet werden.

„Wir wollten einen Weg schaffen, bei dem Praktiker des maschinellen Lernens diesem System ihr Modell geben können und es ihnen alles, was es über dieses Modell weiß, aus der Perspektive der Neuronen des Modells in der Sprache mitteilt. Dies hilft Ihnen, die grundlegende Frage zu beantworten: “ Gibt es etwas, das mein Modell wusste, was ich nicht erwartet hatte?“ auf Papier.

Co-Autoren sind Sarah Schwetmann, Postdoktorandin am CSAIL; David Bow, ein frischgebackener CSAIL-Absolvent und angehender Assistenzprofessor für Informatik an der Northeastern University; Teona Bagashvili, ehemalige Gaststudentin bei CSAIL; Antonio Torralba, Professor für Elektrotechnik und Informatik bei Delta Electronics und Mitglied von CSAIL; und leitender Autor Jacob Andreas, außerordentlicher Professor im X-Konsortium am CSAIL. Die Forschungsergebnisse werden auf der International Conference on Representation of Learning präsentiert.

Automatisch generierte Beschreibungen

Die meisten aktuellen Techniken, die den Praktikern des maschinellen Lernens helfen zu verstehen, wie das Modell funktioniert, beschreiben entweder das gesamte neuronale Netzwerk oder fordern die Forscher auf, Konzepte zu identifizieren, auf die sich ihrer Meinung nach einzelne Neuronen konzentrieren können.

Das von Hernandez und seinen Mitarbeitern entwickelte System mit dem Spitznamen MILAN (Mutual Information Guided Neuron Linguistic Annotation) verbessert diese Ansätze, da es keine Liste von Konzepten im Voraus erfordert und automatisch Beschreibungen in natürlicher Sprache für alle Neuronen im Netzwerk generieren kann. Dies ist besonders wichtig, da ein einzelnes neuronales Netzwerk Hunderttausende einzelner Neuronen enthalten kann.

MILAN erstellt Beschreibungen von Neuronen in neuronalen Netzen, die für Computer-Vision-Aufgaben wie Objekterkennung und Bildsynthese trainiert sind. Um ein bestimmtes Neuron zu beschreiben, scannt das System zunächst das Verhalten dieses Neurons auf Tausenden von Bildern, um den Satz von Bildbereichen zu finden, in denen das Neuron am aktivsten ist. Als nächstes wählt es eine Beschreibung in natürlicher Sprache für jedes Neuron aus, um eine Menge zu maximieren, die als Rasteraustauschinformationen zwischen Bildregionen und Beschreibungen bezeichnet wird. Dies fördert Beschreibungen, die die unterschiedliche Rolle jedes Neurons innerhalb des größeren Netzwerks erfassen.

„In einem neuronalen Netzwerk, das darauf trainiert wurde, Bilder zu klassifizieren, wird es viele verschiedene Neuronen geben, die Hunde erkennen. Aber es gibt viele verschiedene Arten von Hunden und viele verschiedene Teile von Hunden. Obwohl das Wort ‚ Hund“ könnte eine genaue Beschreibung vieler sein. Wir wollen sehr genaue Beschreibungen dessen, was diese Neuronen tun. Das sind nicht nur Hunde. Das ist die linke Seite der Ohren des Deutschen Schäferhundes“, sagt Hernandez.

Das Team verglich MILAN mit anderen Modellen und stellte fest, dass es reichhaltigere und genauere Beschreibungen lieferte, aber die Forscher waren mehr daran interessiert zu sehen, wie es helfen könnte, bestimmte Fragen zu Computer-Vision-Modellen zu beantworten.

Analysieren, korrigieren und bearbeiten Sie neuronale Netze

Zunächst analysierten sie mit MILAN die wichtigsten Neuronen des neuronalen Netzes. Sie erstellten Beschreibungen für jedes Neuron und sortierten sie basierend auf den Wörtern in den Beschreibungen. Sie entfernten langsam Neuronen aus dem Netzwerk, um zu sehen, wie sich ihre Genauigkeit änderte, und stellten fest, dass Neuronen mit zwei völlig unterschiedlichen Wörtern in ihren Beschreibungen (z. B. Vasen und Fossilien) für das Netzwerk weniger wichtig waren.

Sie verwendeten MILAN auch, um die Modelle zu überprüfen, um festzustellen, ob sie etwas Unerwartetes gelernt hatten. Die Forscher nahmen Bildklassifizierungsmodelle, die mit Datensätzen trainiert wurden, in denen menschliche Gesichter verschwommen waren, schalteten MILAN ein und zählten die Anzahl der Neuronen, die dennoch empfindlich auf menschliche Gesichter reagierten.

„Das Blanchieren von Gesichtern auf diese Weise reduziert die Anzahl der Neuronen, die für Gesichter empfindlich sind, ist aber weit davon entfernt, sie zu eliminieren. Tatsächlich nehmen wir an, dass einige Gesichtsneuronen sehr empfindlich auf bestimmte demografische Gruppen reagieren, was überraschend ist. Diese Modelle haben es nicht gesehen.“ ein menschliches Gesicht “, sagt Hernandez zuvor, und dennoch finden darin alle Arten von Gesichtsbehandlungen statt.

In einem dritten Experiment verwendete das Team MILAN, um das neuronale Netzwerk zu modifizieren, indem es Neuronen fand und entfernte, die schlechte Korrelationen in den Daten erkannten, was zu einer 5%igen Erhöhung der Netzwerkgenauigkeit bei Eingaben führte, die die problematische Korrelation zeigten.

Während die Forscher davon beeindruckt sind, wie gut MILAN in diesen drei Anwendungen abschneidet, gibt das Modell manchmal Beschreibungen, die noch zu vage sind, oder macht eine falsche Vermutung, wenn es nicht weiß, welches Konzept es definieren soll.

Sie planen, diese Einschränkungen in zukünftigen Arbeiten anzugehen. Sie möchten auch die Fülle an Beschreibungen, die MILAN generieren kann, weiter verbessern. Sie hoffen, MILAN auf andere Arten von neuronalen Netzwerken anwenden und damit beschreiben zu können, was Gruppen von Neuronen tun, wenn Neuronen zusammenarbeiten, um eine Ausgabe zu erzeugen.

„Dies ist ein Bottom-up-Interpretationsansatz. Das Ziel ist es, synthetische Funktionsbeschreibungen mit offenem Ende in natürlicher Sprache zu erstellen. Wir wollen die Ausdruckskraft der menschlichen Sprache nutzen, um natürlichere und reichhaltigere Beschreibungen dessen zu generieren, was Neuronen tun. Sein.“ Diesen Ansatz auf verschiedene Arten von Modellen verallgemeinern zu können, begeistert mich am meisten.“

„Der ultimative Test für jeden interpretierbaren KI-Ansatz ist, ob er Forschern und Benutzern helfen kann, bessere Entscheidungen darüber zu treffen, wann und wie KI-Systeme eingesetzt werden“, sagt Andreas. „Wir sind davon noch weit entfernt. Aber ich bin optimistisch, dass MAILAND – und die Verwendung von Sprache als Erklärungsinstrument im weiteren Sinne – ein nützlicher Teil des Werkzeugkastens sein wird.“

Diese Arbeit wurde teilweise vom MIT-IBM Watson AI Lab und der Initiative SystemsThatLearn@CSAIL finanziert.

###

geschrieben von Adam Zoe, MIT News Desk

Papier: „Natural Language Descriptions of Deep Visual Features“

https://arxiv.org/abs/2201.111114