'Gedachtenlezen' door afbeeldingen te maken op basis van hersenactiviteit

Door te kijken naar hersengolven is het onderzoekers van de Radboud Universiteit, waaronder neurowetenschapper Thirza Dado, gelukt om behoorlijk goed te reconstrueren naar wat voor plaatje de proefpersoon op dat moment keek.

Dado promoveert op 30 oktober op dat onderwerp. 

Voor haar onderzoek gebruikte Dado plaatjes die door AI gemaakt waren.  "Daardoor wisten we precies de AI-code van zo’n plaatje. Die hebben we vervolgens gekoppeld aan hersenactiviteit." Proefpersonen kregen in een MRI-scanner een plaatje te zien van gezichten. Dado keek naar wat er precies in de hersenen gebeurde bij het zien van die plaatjes. Door te zien welke ‘neurale code’ de AI-code opriep en die aan elkaar te koppelen en de decoder te trainen, wist de neurowetenschapper wat er bij welke AI-code in het brein gebeurde. "Daardoor konden we vervolgens met enkel de breincode heel aardig reconstrueren naar wat voor plaatje iemand zat te kijken."

Dat werkte verbazingwekkend goed. "De afgelopen jaren, tijdens mijn promotietraject, is AI zo veel beter geworden. In de laatste vijf jaar zijn de gereconstrueerde plaatjes er enorm op vooruitgegaan." Door het brein uit te lezen, kan Dado nu op basis van hersengolven behoorlijk goed reconstrueren naar wat voor plaatje iemand kijkt. "Theoretisch gezien hebben we nu de AI-codes niet meer nodig om te reconstrueren naar wat voor plaatje iemand aan het kijken is. Als ik nu in de scanner stap en naar een plaatje van mijn moeder kijk – een plaatje dat de decoder niet kent en dus ook niet de AI-code – weet ik vrij zeker dat het plaatje dat gereconstrueerd wordt op basis van mijn hersengolven behoorlijk dicht in de buurt komt."

AI was wel beter in bepaalde eigenschappen decoderen dan andere: "Een lach kan AI heel moeilijk decoderen, maar de pose waarin iemand zat herkennen uit de hersenactiviteit was bijvoorbeeld heel makkelijk."  Menselijke gezichten namaken op basis van hersenactiviteit ging dus behoorlijk goed. De neurowetenschapper verwacht dat dit te maken heeft met de eenvoud van een plaatje. "Een gezicht heeft altijd twee ogen, een neus een mond. Plaatjes van natuur of van gebouwen hebben zo veel verschillende categorieën, dat dit een stuk lastiger is voor AI."

Dado hoopt dat hiermee een stap is gezet om wat er in het brein gebeurt, meer naar buiten te brengen, voor bijvoorbeeld mensen met locked-in-syndroom, of zelfs andersom, bij blinde of slechtziende mensen. "We kunnen dan naast verbale communicatie een nieuwe dimensie geven aan onze innerlijke wereld, denk aan het ontrafelen van verbeelding of dromen. Hoewel zulke toepassingen nog in de toekomst liggen, is het juist nu belangrijk om stil te staan bij hoe we deze technologie zorgvuldig en ethisch vormgeven. Wat moeten altijd kritisch blijven kijken naar de risico’s en mogelijk verkeerde toepassingen van deze techniek."