Neurophysiologie des Simultandolmetschens | Neurophysiology of simultaneous interpreting – by Eliza Kalderon

+++ for English, scroll down +++

Etwa eineinhalb Jahre nach Beenden der Promotion freue ich mich über die Möglichkeit, im Blog meiner Kollegin, die das Projekt „Neurophysiologie des Simultandolmetschens: eine fMRI-Studie mit Konferenzdolmetschern“ von Anfang an voller Begeisterung und Engagement unterstützte, eines der spannendsten Ergebnisse vorstellen zu dürfen.

Die drei nachfolgenden Abbildungen stellen sogenannte Render-Bilder dar, d. h. dass die 3D-Bilder jeder einzelnen Versuchsperson zu einer Bildsynthese zusammengefasst wurden, da der wiederkehrende Wert sowie die Suche nach übereinstimmenden neuronalen Mustern in den untersuchten Leistungen im Mittelpunkt des wissenschaftlichen Interesses standen.

In den Bedingungen wurden Masken, sogenannte regions of interest (ROI), angewandt, in denen das Simultandolmetschen im Vergleich zu einer weiteren Aufgabe stand – in unserem Fall im Vergleich zum Shadowing. Durch diese Masken kann die Kalkulation der Gehirnaktivierung auf eine definierte anatomische Region eingegrenzt werden. Anhand der verwendeten Maskierung konnte also die Aktivität bestimmter Aktivierungscluster, die zum Broca- bzw. zum Wernicke-Areal gehören, bestimmt werden.

Abbildung 1 – DE>ES

In Abbildung 1 wurde die Mehraktivierung beim Simultandolmetschen aus dem Deutschen ins Spanische und das Simultandolmetschen aus dem Spanischen ins Deutsche ohne Maskierung kontrastiert, das heißt mit Abbildung der Aktivierung über das ganze Gehirn.

Beim Vergleich der Dolmetschrichtung wird die vom Simultandolmetschen aus dem Spanischen ins Deutsche hervorgerufene Gerhirnaktivierung von dem Simultandolmetschen aus dem Deutschen ins Spanische subtrahiert. Unter diesen zwei getesteten Bedingungen haben die Probanden eine Rede aus ihrer Muttersprache Deutsch in ihre aktive Fremdsprache (B-Sprache, Spanisch) gedolmetscht beziehungsweise in der anderen Bedingung eine Rede aus dem Spanischen ins Deutsche gedolmetscht. Die Abbildung zeigt, dass beim Simultandolmetschen in die spanische Sprache das Gehirn der deutschmuttersprachlichen Konferenzdolmetscher beidhemisphärisch im primären motorischen somatosensorischen Kortex aktiviert wurde.

Das bedeutet, dass deutschmuttersprachliche Dolmetscher für die Artikulation im Spanischen mehr Mundmotorik aktivieren als beim Simultandolmetschen in ihre Muttersprache. Das bedeutet wiederum, dass sie für die Performanz in der spanischen Sprache mehr Kontrolle über die Sprachmuskulatur brauchen. Zu beobachten war weiterhin eine Aktivierung im medialen superioren Frontallappen. In diesem Areal ist das strategische Denken (prospective memory, BURGESS et al. 2011) angesiedelt.

Abbildung 2 – ES>DE

In Abbildung 2 ist der umgekehrte Kontrast dargestellt, die Mehraktivierung beim Simultandolmetschen aus dem Spanischen ins Deutsche, das heißt, von der neuronalen Aktivität beim Simultandolmetschen aus dem Spanischen ins Deutsche wurde die neuronale Aktivität aus dem Deutschen ins Spanische subtrahiert. Sie zeigt eine Aktivierung des inferioren Temporallappens, in dem visuelle Informationen verarbeitet werden.

Es ist auch die Aktivierung eines Areals im medialen präfrontalen Kortex zu beobachten, der mit dem prospektiven Denken in Verbindung gebracht wird (vgl. BURGESS et al. 2011). Dort legt man sich Handlungsstrategien zurecht. Bei der Verdolmetschung ins Spanische sind sie sprachlich-motorischer Natur (beansprucht wird also das motorische Arbeitsgedächtnis; ein analoges Ergebnis findet sich bei TOMMOLA et al. 2000: 162).

Abbildung 3 stellt eine Zusammenfassung der beiden vorherigen Abbildungen dar. Hier wurde das Simultandolmetschen in beide Sprachrichtungen in einem Bild gegenübergestellt. Die rot markierten Areale stellen die Mehraktivierung beim Simultandolmetschen aus dem Deutschen ins Spanische dar, die blauen das Simultandolmetschen vom Spanischen ins Deutsche.

Abbildung 3 – Vergleich

Wie man sieht, wurden beim Simultandolmetschen ins Spanische besonders die motorischen Areale beansprucht. In der umgekehrten Sprachrichtung dominieren eine rechtsseitige Aktivierung im inferioren Temporallappen sowie ein aktiviertes Cluster im medialen Präfrontalkortex.

Diese Bilder lieferten uns ein überraschendes und unerwartetes Ergebnis: Dass selbst das trainierte Gehirn von Konferenzdolmetschern eine immense Menge an Kapazitäten für die Artikulation in der Fremdsprache benötigt.

Wer das komplette Studiendesign sowie alle Ergebnisse nachlesen möchte, kann gerne den folgenden frei zugänglichen Link anklicken.

Und last, but not least, möchte ich mich noch einmal bei Anja Rütten und all den Kolleginnen und Kollegen herzlich bedanken, dass sie die lange Fahrt nach Homburg (Saar) auf sich genommen haben, um die Studie und die beeindruckenden Ergebnisse zu ermöglichen.


+++ English version +++

About one and a half years after the project’s completion, I am particularly pleased to present one of the most fascinating results of my doctoral research about neurophysiological processes in simultaneous intepreting on the blog of my colleague, who provided enthusiastic and committed support to this research project from the outset.

The three images below are what is referred to as “render images”: They represent a 3D synthesis of each individual subject in a single image as this research primarily focussed on recurring values and identifying neuronal patterns in the performance analysed.

Masks were applied to the different tasks to outline what is known as regions of interest (ROI). This served to contrast simultaneous interpreting and a second task – shadowing in our case. With the help of these masks, it became possible to limit the calculation of brain activation to a defined anatomic region. This allowed to specify the attribution of an activation and its localisation. It was thus possible to determine the activity outlined after masking of certain activation clusters attributed to Broca’s area or Wernicke’s area.

Figure 1 – DE>ES

Figure 1 shows the contrast in activation between simultaneous interpreting from German into Spanish and simultaneous interpreting from Spanish into German without masking. In other words, it shows the activation of the entire brain.

For a comparison of interpreting directions, the brain activation caused by simultaneous interpreting from Spanish into German was subtracted from that caused by simultaneous interpreting from German into Spanish. In the two tested settings, the subjects were asked to interpret a speech from their mother tongue (German) into their active working language (“B language”, Spanish) and, for the reverse setting, from Spanish into German. The image shows bi-hemispheric activation of the primary motor somatosensory cortex of the brain of a German native conference interpreter when interpreting into Spanish.

This implies that a German native conference interpreter requires stronger activation of mouth movement when articulating in Spanish than when simultaneously interpreting into their mother tongue. This in turn implies that they need stronger control of the muscles in their vocal tracts for a performance in Spanish. Furthermore, activation in the medial superior frontal lobe was observed. This is the area were strategic thinking (prospective memory BURGESS et al. 2011) is located.

Figure 2 – ES>DE

Figure 2 shows the reverse contrast, namely the stronger activation linked to simultaneous interpreting from Spanish into German. This is the result of subtracting the neuronal activity related to German into Spanish from the neuronal activity caused by interpreting from Spanish into German. It illustrates an activation of the inferior temporal lobe which is where visual input is processed.

We can observe an activation of the medial prefrontal cortex, which is associated with prospective memory (BURGESS et al. 2011). This area is responsible for developing strategies for action. These strategies are of motor-linguistic nature when interpreting into Spanish (it is the motor working memory which is responsible; TOMMOLA et al. 2000:162 draw similar conclusions).

The final image summarises the two previous images. It contrasts the process of simultaneous interpretation in both language directions. Areas marked in red represent stronger activation during simultaneous interpretation from German into Spanish. Areas in blue mark simultaneous interpreting from Spanish into German.

Figure 3 – Comparison

It is evident that simultaneous interpreting into Spanish particularly engages the motor brain areas. The dominant activation areas in the reverse language direction are in the right inferior temporal lobe and a cluster in the medial prefrontal cortex.

These images provided a surprising and unexpected finding: Even a practiced conference interpreter uses large amounts of capacity for articulating in the foreign language.

If you are interested in reading the complete research design and all other findings, you are welcome to follow this link (free access).

Last but certainly not least I would like to thank Anja Rütten and all other colleagues for taking the long journey to Homburg (Saar) to participate in this experiment and making these impressive results possible.

References

BURGESS, B.W.; GONEN-YAACOVI, G.; VOLLE, E. (2011): „Functional neuroimaging studies of prospective memory: What have we learnt so far?”. Neuropsychologia 49. 2246-2257
TOMMOLA, J.; LAINE, M.; SUNNARI, M.; RINNE, J. (2000): „The translating brain: cerebral activation patterns during simultaneous interpreting”. Neuroscience Letters 294(2). 85-88

Mein Gehirn beim Simultandolmetschen| My brain interpreting simultaneously

Gehirn einer Simultandolmetscherin
conference interpreter’s brain

+++ for English, see below +++

Für gewöhnlich fragen wir uns ja eher, was gerade um Himmels Willen im Kopf des Redners vorgeht, den wir gerade dolmetschen. Unsere Kollegin Eliza Kalderon jedoch stellt in ihrer Doktorarbeit die umgekehrte Frage: Was geht eigentlich in den Dolmetscherköpfen beim Simultandolmetschen vor? Zu diesem Zweck steckt sie Probanden in die fMRT-Röhre (funktionale Magnetresonanztomographie), um zu sehen, was im Gehirn beim Dolmetschen, Zuhören und Shadowing passiert. Und so habe auch ich mich im November 2014 aufgemacht an die Uniklinik des Saarlandes in Homburg. Nachdem uns dort Herr Dr. Christoph Krick zunächst alles ausführlich erklärt und ein paar Zaubertricks mit dem Magnetfeld beigebracht hat (schwebende Metallplatten und dergleichen), ging es in die Röhre.

fMRT

Dort war es ganz bequem, der Kopf musste still liegen, aber die Beine hatten zu meiner großen Erleichterung viel Platz. Dann habe ich zwei Videos im Wechsel gedolmetscht, geshadowt und gehört, ein spanisches ins Deutsche und ein deutsches ins Spanische. Neben dem Hämmern der Maschine, das natürlich ein bisschen störte, bestand für mich die größte Herausforderung eigentlich darin, beim Dolmetschen die Hände stillzuhalten. Mir wurde zum ersten Mal richtig klar, wie wichtig das Gestikulieren beim Formulieren des Zieltextes ist. Nach gut anderthalb Stunden (mit Unterbrechungen) war ich dann einigermaßen k.o., bekam aber zur Belohnung nicht nur sofort Schokolade, sondern auch direkten Blick auf mein Schädelinneres am Computer von Herrn Dr. Krick.

Natürlich lassen sich bei einer solchen Untersuchung viele interessante Dinge beobachten. Beispielhaft möchte ich zum Thema Sprachrichtungen Herrn Dr. Krick gerne wörtlich zitieren, da er mir das Gehirngeschehen einfach zu schön erläutert hat: „Da Sie muttersprachlich deutsch aufgewachsen sind, ergeben sich – trotz Ihrer hohen Sprachkompetenz – leichte Unterschiede dieser ähnlichen Aufgaben bezüglich sensorischer und motorischer Leistungen im Gehirn. Allerdings möchte ich nicht ausschließen, dass der Unterschied durchaus auch an der jeweiligen rhetorischen Kompetenz von Herrn Gauck und Herrn Rajoy gelegen haben mag … Wenn Sie den Herrn Gauck ins Spanische übersetzt hatten, fiel es Ihnen vergleichsweise leichter, die Sprache zu verstehen, wohingegen Ihr Kleinhirn im Hinterhaupt vergleichsweise mehr leisten musste, um die Feinmotorik der spanischen Sprechweise umzusetzen.“

simultaneous interpreting German Spanish
Simultandolmetschen Deutsch (A) – Spanisch (B)

„Wenn Sie aber den Herrn Rajoy ins Deutsche übersetzt hatten, verbrauchte Ihr Kleinhirn vergleichsweise weniger Energie, um Ihre Aussprache zu steuern. Allerdings musste Ihre sekundäre Hörrinde im Schläfenlappen mehr sensorische Leistung aufbringen, um den Ausführungen zu folgen. Dies sind allerdings nur ganz subtile Unterschiede, die in der geringen Magnitude den Hinweis ergeben, dass Sie nahezu gleich gut in beide Richtungen dolmetschen können.“

simultaneous interpreting Spanish German
Simultandolmetschen Spanisch (B) – Deutsch (A)

Dies ist nur einer von vielen interessanten Aspekten. So war beispielsweise auch mein Hippocampus relativ groß – ähnlich wie bei Labyrinth-Ratten oder den berühmten Londoner Taxifahrern … Welche wissenschaftlichen Erkenntnisse sich aus der Gesamtauswertung der Studienreihe ergeben, dürfen wir dann hoffentlich demnächst von Eliza Kalderon selbst erfahren!

PS: Und wer auch mal sein Gehirn näher kennenlernen möchte: Eliza sucht noch weitere professionelle Konferenzdolmetscher/innen mit Berufserfahrung, A-Sprache Deutsch, B-Sprache Spanisch (kein Doppel-A!), ca. 30-55 Jahre alt und möglichst rechtshändig. Einfach melden unter kontakt@ek-translat.com

PPS: Auch ein interessanter Artikel zum Thema: http://mosaicscience.com/story/other-words-inside-lives-and-minds-real-time-translators

+++

Normally, we rather wonder what on earth is going on in the mind of the speaker we are interpreting. Our colleague Eliza Kalderon, however, puts it the other way around. In her phD, she looks into what exactly happens in the brains of simultaneous interpreters. To find out, she puts human test subjects into an fMRI machine (functional Magnetic Resonance Imaging) and monitors their brains while interpreting, listening and shadowing. I was one of those volunteers and made my way to the Saarland University Hospital in Homburg/Germany in November 2014. First of all, Dr. Christoph Krick gave us a detailed technical introduction including a demo of how to do magic with the helfp of the magnetic field (flying metal plates and the like). And then off I went into the tube.

fMRT

To my delight, it was quite comfortable. My head wasn’t supposed to move, ok, but luckily my legs had plenty of room. Then Eliza made me listen to, interpret and shadow two videos: one from German into Spanish and one from Spanish into German. The machine hammering away around my head was a bit of a nuisance, obviously, but apart from that the biggest challenge for me was keeping my hands still while interpreting. I hadn’t realised until now how important it is to gesture when speaking. After a good one and a half hour’s work (with little breaks), I was rather knocked out, but I was rewarded promptly: Not only was I given chocolate right after the exercise, I was even allowed a glance at my brain on Dr. Krick’s computer.

There are of course a great many interesting phenomena to observe in such a study. To describe one of them, I would like to quote literally Dr. Krick’s nice explanation: „As you have grown up speaking German as a mother tongue, despite your high level of linguistic competence, we can see slight differences between the two similar tasks in terms of sensoric and motoric performance in your brain. However, it cannot be ruled out that these differences might be also be attributable to the respective rhetorical skills of Mr. Gauck and Mr. Rajoy. When translating Mr. Gauck into Spanish, understanding involved comparably less effort while the cerebellum in the back of your head had to work comparably harder in order to articulate the Spanish language.“

simultaneous interpreting German Spanish
Simultaneous interpreting German (A) – Spanish (B)

„When, on the other hand, translating Mr. Rajoy into German, your cerebellum needed comparably less energy to control your pronunciation. Your secondary auditory cortex, located in the temporal lobe, had to make a greater sensoric effort in order to understand what was being said. Those differences are, however, very subtle, their low magnitude actually leads to the assumption that you practically work equally well in both directions.“

simultaneous interpreting Spanish German
Simultaneous interpreting Spanish (B) – German (A)

This is only one of many interesting aspects. Another one worth mentioning might be the fact that my hippocampus was slightly on the big side – just like in maze rats or London cab drivers … I am really looking forward to getting the whole picture and reading about the scientific findings Eliza draws once she has finished her study!

PS: If you, too, would like to get a glimpse inside your head: Eliza is still looking for volunteers! If you are a professional, experienced conference Interpreter with German A and Spanish B as working languages (no double A!), about 30-55 years old and preferably right-handed, feel free to get in touch: kontakt@ek-translat.com

PPS: Some further reading: http://mosaicscience.com/story/other-words-inside-lives-and-minds-real-time-translators

PPPS: A portuguese version of this article can be found on Marina Borges‘ blog: http://www.falecommarina.com.br/blog/?p=712