KI wandelt Hirnströme in Pink-Floyd-Klassiker

„Nur ein weiterer Ziegel in der Wand“ ist die Forschung von Ludovic Bellier und Kollegen sicherlich nicht, allerdings könnte sie den ein oder anderen spontan ausrufen lassen: „Lass mich allein!“

So beschrieben die Forscher der Universität von Kalifornien (UC) in Berkeley Mitte August in der Fachzeitschrift „PLOS Biology“, wie sie Menschen den Pink-Floyd-Klassiker „Another Brick in the Wall (Teil 1)“ vorgespielt haben und das Lied anschließend allein aus den gemessenen Hirnströmen – erkennbar – rekonstruiert haben.

Gedankenlesen für Fortgeschrittene

Während das Lied die Räumlichkeiten des Albany Medical Center füllte, zeichneten Neurowissenschaftler zwischen 2008 und 2015 eifrig die Hirnaktivität von insgesamt 29 Patienten auf. Sie hatten zuvor je knapp 100 Elektroden implantiert bekommen, um die Ursprungspunkte epileptischer Anfälle zu lokalisieren. Während sie tagelang in ihren Krankenhauszimmern warteten, meldeten sich die Patienten freiwillig für andere Hirnuntersuchungen, darunter eine, bei der versucht wurde, die Hirnregionen zu ermitteln, die auf Musik reagieren.

Mehr als ein Jahrzehnt und eine detaillierte Analyse der Daten später ist es Forschern erstmals gelungen, „ein erkennbares Lied aus Gehirnaufzeichnungen zu rekonstruieren“: Der Rhythmus sei intakt und der Satz „All in all it was just a brick in the wall“ zwar verwaschen, aber entzifferbar, heißt es in einer Pressemitteilung der UC Berkeley.

Original-Hörprobe

Nicht lineare Rekonstruktion aus allen Daten

Nicht lineare Rekonstruktion anhand von 61 Elektroden von Patient 29.

Alle Hörproben sind im Rahmen der Studie frei abrufbar.

Konkret nutzte das Team um Bellier eine Methode, die als „regressionsbasiertes Dekodierungsmodell“ bekannt ist, um aus den insgesamt 2.668 Datensätzen sogenannte Spektrogramme zu erstellen – so viele Elektroden hatten die Patienten insgesamt erhalten. Vereinfacht ausgedrückt: Sie haben Hirnströme gemessen, mit einer komplexen Methode ausgewertet und konnten so die Gedanken, oder genauer gesagt die Wahrnehmungen der Menschen, lesen.

Gleichzeitig ließen sie einen Computer nach Verbindungen zwischen den Hirnaktivitäten und dem Lied suchen. Nach der Zuordnung der entsprechenden Signale konnten die Forscher den Prozess umkehren und Pink Floyd wieder hörbar machen.

Während Menschen das Lied „Another Brick in the Wall“ von Pink Floyd (Original, rechts) hörten, zeichneten Neurowissenschaftler die elektrische Aktivität von Hirnregionen (gelbe und rote Punkte) auf. Mithilfe einer Software für Künstliche Intelligenz konnten sie den Song aus den Gehirnaufzeichnungen rekonstruieren (links). Foto: Ludovic Bellier, Robert Knight/UC Berkeley, Bearbeitung ts/Epoch Times

Pink Floyd hilft, Hirnregionen zu entschlüsseln

Frühere Arbeiten haben gezeigt, dass Computermodelle zur Dekodierung und Rekonstruktion von Sprache verwendet werden können. Ein derartiges Modell zur Entschlüsselung von Musik gab es jedoch nicht. Insbesondere fehlten verschiedene Regionen des klangverarbeitenden Netzwerks des Gehirns und damit Elemente wie Tonhöhe, Melodie, Harmonie und Rhythmus.

Die Hirnaktivität an 347 der Elektroden war spezifisch auf die Musik bezogen und befand sich hauptsächlich in drei Hirnregionen: dem Gyrus temporalis superior (STG), dem somatomotorischen Kortex (SMC) und dem Gyrus frontalis inferior beziehungsweise der unteren Stirnwindung (IFG).

Dabei entdeckten sie, dass einige Teile des auditorischen Kortex im STG, der sich direkt hinter und über dem Ohr befindet, auf den Beginn einer Stimme oder eines Synthesizers reagieren, während andere Bereiche auf anhaltenden Gesang ansprechen. Außerdem identifizierten die Forscher eine neue kortikale Unterregion im Schläfenlappen, die der Rhythmuswahrnehmung zugrunde liegt.

So zeigte sich beim Vergleich der Hirnströme mit den Bestandteilen des musikalischen Originals „eine einzigartige Region im STG, die den Rhythmus darstellt, in diesem Fall den Gitarrenrhythmus in der Rockmusik.“

Sprache links, Musik rechts

Um darüber hinaus festzustellen, welche Hirnregionen und welche Gesangselemente am wichtigsten waren, führte das Team die Liedrekonstruktion durch, nachdem sie einzelne Datensätze entfernt hatten. Diese Ergebnisse vergleichen sie wiederum mit dem Pink-Floyd-Klassiker:

Anatomisch gesehen stellten sie fest, dass die Rekonstruktionen am stärksten beeinträchtigt wurden, wenn Daten aus der rechten Hirnhälfte, insbesondere dem rechten STG, entfernt wurden. Andererseits führte das Entfernen der Elektroden, die mit dem Klangbeginn oder dem Rhythmus zusammenhängen, ebenfalls zu einer Verschlechterung der Rekonstruktionsgenauigkeit, was auf ihre Bedeutung für die Musikwahrnehmung hinweist.

„Sprache ist eher in der linken Gehirnhälfte angesiedelt. Musik ist eher verteilt, mit einer Tendenz zur rechten Seite“, sagte Robert Knight, Neurologe und Professor für Psychologie am Helen Wills Neuroscience Institute der UC Berkeley. Bellier ergänzte: „Es war nicht klar, dass dies auch bei musikalischen Reizen der Fall sein würde.“

Verbesserung von Mensch-Maschine-Schnittstellen

„Wir haben den Pink-Floyd-Klassiker Another Brick in the Wall aus direkten menschlichen kortikalen Aufnahmen rekonstruiert und damit Einblicke in die neuronalen Grundlagen der Musikwahrnehmung und in künftige Anwendungen der Gehirndekodierung gewonnen“, fasst Bellier die Ergebnisse zusammen. „Die Dekodierung der auditorischen Kortizes […] ist sehr vielversprechend“

Röntgenaufnahme eines Versuchsteilnehmers mit implantierten Elektroden. Foto: Peter Brunner/Albany Medical College (New York), Washington University

„Es ist ein wunderbares Ergebnis“, ergänzte Knight. „Eines der Dinge, die ich an Musik mag, ist, dass sie eine Prosodie und einen emotionalen Inhalt hat.“

Prosodie bezeichnet die musikalischen Elemente von Sprache wie Rhythmus, Betonung, Akzent und Intonation, die ihrerseits eine Bedeutung transportieren, die Worte allein nicht vermitteln können. Bildlich gesprochen könnten Worte als Gegenstände bezeichnet werden, Prosodie ergänzt Farbe und Textur.

Insbesondere Menschen, die aufgrund eines Schlaganfalls oder einer Lähmung Schwierigkeiten mit der Kommunikation haben, kann dieses Wissen helfen. Anhand dessen könnten Sprachcomputer, wie sie Stephen Hawking verwendet hatte, jene Musikalität der Sprache wiedergeben, die den heutigen roboterartigen Rekonstruktionen fehlt.

Gedankenlesen bleibt vorerst Zukunftsmusik

Da die verwendeten intrakraniellen Elektroenzephalografie-Aufzeichnungen (iEEG) nur von der Oberfläche des Gehirns aus gemacht werden können – so nah wie man an die Hörzentren herankommt –, wird in absehbarer Zeit niemand die Lieder in Ihrem Kopf belauschen.

„Die nichtinvasiven Techniken sind heute einfach nicht genau genug. Wir hoffen für die Patienten, dass wir in Zukunft mithilfe von Elektroden, die außen am Schädel angebracht werden, die Aktivität in tieferen Hirnregionen mit einer guten Signalqualität messen können. Aber davon sind wir noch weit entfernt“, so Bellier.

Ein Gerät, um aus der Ferne Gedanke zu lesen, ist also derzeit noch Zukunftsmusik.