Computer i hjernen forvandler lam kvindes tanker til tale i realtid

Det er måske ikke det, du normalt forstår ved ’streaming’, men det kalder forskerne det selv.

For første gang er det nemlig lykkedes ved hjælp af en hjernechip at 'streame' en lammet patients tanker og omdanne dem til naturlig tale.

»Vi har skabt en ny BCI (computer-enhed indopereret i hjernen, red), der gør det muligt at tale flydende hos en person med fuldstændig stemmelammelse,« lyder det fra Gopala Anumanchipalli, sidsteforfatter til studiet, i et mailsvar til Videnskab.dk.

Hjernecomputer-enheden har som noget helt nyt gjort det muligt for en patient at tale nærmest i realtid - og endda med en AI-generet stemme, der var skabt ud fra optagelser af hendes egen naturlige stemme, som den lød, før hun blev lam.

Næsten uden forsinkelse

Tidligere forsøg har været afhængige af, at patienten stadig havde lidt tale tilbage, og desuden har der været en lang forsinkelse – cirka otte sekunder – mellem patientens forsøg på at tale og computerstemmen.

I det nye forsøg er forsinkelsen nede på under et sekund af patientens hensigt om at tale. Patienten, en lam kvinde, behøvede altså ikke vente på, at en sætning eller et ord blev færdigt, før computeren talte for hende. Det foregik nærmest synkront, ligesom det gør hos alle os andre.

»Den nye tilgang gav hende en følelse af handlefrihed, legemliggørelse og viljemæssig kontrol over den stemme, hun hørte, uden væsentlig forsinkelse,« skriver Gopala Anumanchipalli, der er adjunkt i elektroteknik og datalogi ved University of California, Berkeley, USA.

Noget af det værste

At forsinkelsen er væk, er netop den store nyhed her, lyder det fra danske Mads Jochumsen, der er lektor ved Institut for Medicin og Sundhedsteknologi på Aalborg Universitet og forsker i kontrollen af teknologi via hjernesignaler.

»Studiet bygger videre på mange forsøg de senere år på at genskabe tale, bevægelse og endda syn. Det nye her er, at man er lykkedes med at gøre samtalen mere flydende og dynamisk. Og at de har genskabt patientens egen stemme,« siger Mads Jochumsen, der ikke selv har været involveret i studiet.

Studiet er vigtigt, mener han, fordi det giver mulighed for at hjælpe mennesker med meget svært handicap.

»Det må være noget at det værste at være lukket inde i en krop, der ikke kan kommunikere. Med den her teknologi kan lamme patienter tale med deres børn, venner og familie igen,« forklarer han.

Hjerneprotese - ikke tankelæsning

Det er et hold af forskere fra UC Berkeley og UC San Francisco, der står bag gennembruddet. Der er tale om en såkaldt ’neuroprotese’, altså en hjerneprotese, lidt ligesom for eksempel en benprotese.

Protesen er i dette tilfælde blot indopereret i hjernen, hvor den opfanger data fra den del af hjernen, der omsætter tanke til udtalelse af ord. En proces, der består af:

1. først en tanke
2. herefter en beslutning om, hvad man vil sige
3. efterfulgt af en beslutning om, hvilke ord man vil bruge
4. og sidst bevægelse af stemmemuskler.

Konkret trænede forskerne en algoritme ved at lade patienten læse sætninger på en skærm og forsøge at sige dem.

Det kunne hun selvsagt ikke på grund af sin lammelse, men den neurale aktivitet, det genererede i hjernen, mens hun forsøgte at sige noget, blev kortlagt. Og AI udfyldte så de manglende detaljer.

»Så man kan sige, at det er patientens intention om at udtale bestemte ord, der er blevet målt på her. Det er ikke læsning af tanker eller følelser. For det kan man ikke,« forklarer Mads Jochumsen.

Det er heller ikke musklerne, der styrer kæbe, svælg og tungens bevægelser, når vi taler, som forskerne har målt, for de var netop lammede hos patienten.

Det er derimod hjernens signaler om at bevæge talemusklerne, før signalerne når det sted på ’ledningen’, hvor de stopper, fordi patientens skade har 'klippet' dem over.

Hertil kommer, at forskerne har brugt optagelser af patientens stemme før skaden til at skabe en computerstemme, der lyder som hendes egen. Noget, man også kender fra deep fake-videoer eller musik og film, hvor man har genskabt en afdød sangers eller skuespillers stemme.

Hjælper også andre

Ifølge Mads Jochumsen kan den nye teknologi på sigt hjælpe patienter, der har mistet evnen til at tale på grund af lammelse, men også i forbindelse med slagtilfælde og sygdomme som ALS og Parkinsons.

Han mener også, at den nye viden er endnu en brik i forsøg på at genskabe bevægelse hos lamme og syn hos blinde.

Forskerne bag undersøgelsen skriver selv, at de vil arbejde videre med at bygge udtryksevne ind i den AI-generede stemme for at afspejle ændringer i patientens tone og stemmens lydstyrke, når patienten for eksempel er ophidset.

Indtil da kan forskerne glæde sig over, at deres streamingshastighed på under et sekund ikke har vist sig at være på bekostning af præcision. Data viser, at deres teknologi har samme høje niveau af afkodningsnøjagtighed som tidligere ikke-streamede teknologier.

Bekymret for hackere

Der er dog også bekymringer ved teknologien. Mads Jochumsen peger på flere:

• Når hjernechippen skal sættes ind, er der infektionsrisiko ved at operere, ligesom man kan ramme et blodkar og forårsage en hjerneblødning.
• Der er risiko for indkapsling i form af arvævsdannelse omkring et implantat, sådan som man kender det fra brystimplantater og pacemakers.
• Og endelig er der en mere sci-fi-agtig bekymring for, at hackere ville kunne bryde ind i BCI’en og kommunikere på vegne af og mod patientens vilje.

»Så der er altid et trade off. Hvad er man villig til at risikere for at vinde - i det her tilfælde - sin tale tilbage. Måske er det bedre end alternativet, som slet ikke er at kunne kommunikere,« påpeger Mads Jochumsen.

Måske om 10 år

Derudover er vi stadig langt fra, at patienter med stemmelammelse kan få gavn af den nye streaming-teknologi, lyder hans vurdering.

»Nu har forskerne bevist, at det kan lade sig gøre. Så er det op til virksomheder at tage den derfra og sundhedsmyndigheder at godkende det som en sikker løsning. Det kan godt tage 10 år,« skønner han.

Forskerne bag studiet siger selv, at deres teknologi kan udvikles til et trådløst, selvstændigt implantat, der kan blive en almindelig behandling for mennesker, der er fanget i deres egen krop uden mulighed for at kommunikere.

»Videnskaben er nu klar,« lyder det fra Gopala Anumanchipalli til Videnskab.dk.

Han forudsiger, at det inden for de næste 5-10 år vil være muligt at rehabilitere mistet motorisk funktion, såfremt forskningen får vedvarende finansiering fra føderale agenturer, filantroper og endda private investeringer.

Studiet er offentliggjort i det videnskabelige tidsskrift Nature Neuroscience.