Ny tech-handske oversætter tegnsprog til tale i realtid
Teknologi tegnsprog

Systemet inkluderer sorte handsker med tynde, strækbare sensorer, der følger længden af ​​hver af de fem fingre, som er med til at oversætte tegnsprog til tale i realtid (Foto: Jun Chen Lab/UCLA)

Systemet inkluderer sorte handsker med tynde, strækbare sensorer, der følger længden af ​​hver af de fem fingre, som er med til at oversætte tegnsprog til tale i realtid (Foto: Jun Chen Lab/UCLA)

30 juni 2020

Ved første øjekast ligner det bare en helt almindelig uld-fingerhandske.

Men handsken kan meget mere end bare at holde hænderne varme, når det er koldt udenfor.

En række bioingeniører fra University of California (UCLA) har designet et handskelignende apparat, der kan oversætte amerikansk tegnsprog til engelsk tale i realtid gennem en smartphone-app, skriver UCLA i en pressemeddelelse.

Systemet inkluderer et par sorte handsker med tynde, strækbare sensorer, der følger længden af ​​hver af de fem fingre.

Sensorerne er lavet af elektrisk ledende garn, som afkoder håndbevægelser og fingerplaceringer, der indikerer individuelle bogstaver, tal, ord og sætninger.

Ifølge pressemeddelelsen forvandler teknologien derefter fingerbevægelserne til elektriske signaler, der sendes til et lille kredsløbskort, som bæres på håndleddet.

Kortet transmitterer signalerne trådløst til en smartphonen, som så oversætter signalerne til talte ord med en hastighed på omkring et ord per sekund.

I testen af den nye tegnsprogsteknologi arbejdede forskerne sammen med fire døve, som bruger amerikansk tegnsprog.

Da ansigtsudtryk også spiller en stor rolle i det amerikanske tegnsprog, gav forskerne også deres testpersoner sensorer i ansigtet mellem øjenbrynene og rundt munden.

De fire døve gentog hver håndbevægelse i det amerikanske tegnsprog 15 gange, mens en specialudviklet maskinlæringsalgoritme oversatte bevægelserne til de bogstaver, tal og ord, de repræsenterede.

Systemet genkendte 660 tegn, inklusive hvert bogstav i alfabetet og tallene 0 til 9, skriver UCLA i pressemeddelelsen.

Videoen illustrerer brugen af den smarte handsketeknologi, som kan oversætte tegnsprog til tale i realtid. (Video: University of California (UCLA)

Forskningen er publiceret i det videnskabelige tidsskrift Nature Electronics.

»Vores håb er, at dette åbner for en nem måde for mennesker, der bruger tegnsprog, til at kommunikere direkte med ikke-tegnsprogsbrugere uden at have brug for en tolk,« siger Jun Chen, som er adjunkt i bioingeniørarbejde ved UCLA og ledende forsker på projektet, i pressemeddelelsen.

Teknologiske handsker, der tilbyder oversættelse fra tegnsprog, er ikke nyt på markedet. Men tidligere apparater har været begrænset af store og tunge designs, som var ubehagelige at have på, siger UCLA-bioingeniører i pressemeddelelsen.

Men ikke nok med, at UCLA’s teknologiske handske er smart, så er den også billig, fleksibel og meget slidstærk, da den er lavet af langtidsholdbare og strækbare polymerer, som er stof bestående af molekyler.

UCLA har anmodet om et patent på teknologien, da en kommerciel model baseret på teknologien ville kræve ekstra ordforråd og en endnu hurtigere oversættelsestid, siger Jun Chen i pressemeddelelsen.

mhc

Ovenstående er udvalgt og resumeret af Videnskab.dk, men redaktionen har ikke udført selvstændig research. Gå til den oprindelige kilde for flere detaljer.