Schrödingers Katze Schrödingers Katze

Der österreichische Wissenschaftsblog
42.000+ Fans

19. Oktober 2018

So funktioniert Lippenlesen

Von Schrödingers Katze
Psyche
Lippenlesen ist schwierig, trotzdem sind wir gar nicht so schlecht darin. Was uns beim “Hören” hilft, ist die visuelle Verarbeitung unseres Gehirns.

Bei einer lauten Party, in der U-Bahn oder auch beim Skype-Anruf: Wir können uns viel besser auf das konzentrieren, was unser Gesprächspartner sagt, wenn wir der Person dabei auf die Lippen schauen. Doch was passiert beim Lippenlesen im Gehirn? Und wie testet man es?

Eine Versuchsperson während des Experiments. Foto: Uni Salzburg.

Aus Bild wird Geräusch

Dazu forscht Kristin Anne Hauswald zusammen mit einem Team der Uni Salzburg. Studien wie ihre helfen, besser zu verstehen, wie Lippenlesen funktioniert.

Die Idee dahinter ist, da wir ja beim Lippenlesen nicht hören können, dass visuelle Signale im Gehirn zu akustischen Signalen umgewandelt werden. Das ist gar nicht so einfach. Manche Menschen tun sich schwerer als andere beim Lippenlesen. Dass man es aber lernen kann, beweisen gehörlose Menschen immer wieder.

Videos ohne Ton verstehen

Um Lippenlesen besser zu verstehen, forscht Anne Hauswald danach, wie unser Gehirn visuelle in akustische Signale umwandelt. Eine Studie von ihr dazu ist erst vor Kurzem erschienen.

Dazu wurden 24 Versuchspersonen Videos ohne Ton und danach nur der Ton vorgespielt. „Wir haben die Information unimodal dargeboten”, sagt Hauswald. „Das heißt, wir haben entweder nur akustische oder visuelle Signale dargeboten.“

Die Zeitreihen der Lippenbewegungen wurden mit jenen des Gehirns verglichen, um die Fähigkeiten des visuellen Kortex zu testen. Foto: Hauswald, et al.

Wie misst man das Hören von Bildern?

Die Probanden mussten sich eine Weile auf die Signale, die sie bekamen, konzentrieren, während das Forschungsteam Hirnsignale mittels Magnetoenzephalographie (MEG) in sogenannten Zeitreihen aufzeichnete. Diese Zeitreihen wurden ebenfalls für die akustischen und die visuellen Signale aufgezeichnet.

Später wurden die Zeitreihen des Gehirns und die der Signale miteinander verglichen.

„Was für uns am interessantesten war, ist, dass wir nicht die Zeitreihe der Lippenbewegungen, sondern die der dazugehörigen, aber nicht gehörten, akustischen Signale genommen haben”, erklärt Hauswald. „Dann haben wir quasi untersucht, inwieweit das Gehirn sich mit diesen nicht gehörten akustischen Signalen synchronisiert.”

Ergebnis intuitiv richtig

„Wir wollten Versuchsbedingungen ohne Aufgabenstellung haben, weil allein das Stellen einer Aufgabe das spontane Verarbeiten von Signalen verändert. Deswegen haben wir ein passives Design gewählt”, sagt Hauswald.

Zum Vergleich hat das Forschungsteam der Kontrollgruppe ebenfalls akustische und visuelle Signale vorgespielt, ihnen allerdings danach die Aufgabe gegeben, zum gehörten bzw. gesehenen Fragen zu beantworten.

Das Ergebnis war jenes, das man auch intuitiv annimmt. Gehörtes verstehen wir sehr gut, doch beim Lippenlesen versteht man in der Regel recht wenig. Wenn wir jemandem beim Reden auf den Mund sehen, verstehen, wir die Person auch besser. „Wenn die visuelle Information hilfreich ist, dann verbessern sie die auditorische Wahrnehmung”, so Hauswald.

Was dennoch spannend ist, ist, sich vorzustellen, wie das Gehirn eine rein visuelle Information im Gehirn in eine akustische umwandelt. Und auch, es bei der nächsten Party auszuprobieren.

Dipl.-Psych. Dr. Kristin Anne Hauswald vom Fachbereich Psychologie der Uni Salzburg.

Klicken Sie auf den unteren Button, um den Inhalt von Facebook Like-Button zu laden.

Inhalt laden


Teile den Beitrag auf

Facebook
Twitter
Monatliche Updates in deiner Inbox!

Diese Artikel solltest du ebenfalls lesen

  • Die Hand eines Babys greift nach der Hand eines Erwachsenen.

    Vom Baby bis zum Teenager: Mit allen Sinnen

    Januar 25, 2023
  • Der Hinterkopf und die Haare einer Person sind zu sehen.

    Wie man Depressionen im Körper nachweisen kann

    Januar 13, 2023
  • Eine Gruppe junger Menschen sitzt an einem Tisch.

    Bildungserfolge bei benachteiligten Schüler*innen fördern

    August 3, 2022
« Welches Licht passt zu dir?
Die Sprache der Magie »

Aktiv werden

Katzenpost

PapierfliegerDu hast Vorschläge zu Themen, die wir behandeln sollen? Dann schick sie uns!

Mit der Verwendung des Kontaktformulars nimmst du unsere Datenschutzerklärung zur Kenntnis.

    Zum Absenden des Formulars muss Google reCAPTCHA geladen werden.
    Google reCAPTCHA Datenschutzerklärung

    Google reCAPTCHA laden

    Schrödingers Katze
    • › Impressum
    • › Datenschutz
    • › Über uns
    • › Kontakt