Ny teknologi fra USA bruger lyd og AI til at omdanne tegnsprog til tekst på computere og smartphones. Systemet virker i realtid og er testet på tusindvis af ord.
Et lille ringformet apparat, der bæres på tommelfingeren, kan oversætte amerikansk tegnsprog til tekst. Forskere fra tre amerikanske universiteter har udviklet en enhed, der kan aflæse håndens bevægelser og oversætte tegnsprog til skrevne bogstaver på skærmen.
Ringens funktion bygger på en kombination af lydteknologi og kunstig intelligens. Små højttalere og mikrofoner opfanger lydsignaler, der ikke kan høres med det menneskelige øre. Sammen med en gyrosensor bliver håndens bevægelser registreret og analyseret af en algoritme, som genkender bogstaverne i realtid.
Forskerne har givet enheden navnet SpellRing. Ifølge deres foreløbige resultater kan systemet opnå en nøjagtighed på mellem 82 og 92 procent. Det afhænger blandt andet af længden og kompleksiteten af ordforrådet.
AI og tegnsprog i praksis
I de første test har 20 personer deltaget. De skulle danne over 20.000 forskellige ord med tegnsprog. Deltagerne havde forskelligt erfaringsniveau med tegnsprog, hvilket giver forskerne mulighed for at måle systemets robusthed. SpellRing kunne identificere bogstaverne på baggrund af håndbevægelser alene.
SpellRing bruger en metode, der kaldes mikroskopisk sonar. Teknologien skaber billeder ud fra de lydsignaler, som ringen udsender og modtager. Enheden er 3D-printet og har en størrelse, der svarer til en amerikansk kvartdollar.
AI-teknologi i udvikling
Forskerholdet arbejder videre med at forbedre nøjagtigheden. De forsøger at lære algoritmen at skelne mellem alle 26 bogstaver i det engelske alfabet. Det er en teknisk udfordring, fordi nogle bogstaver ligner hinanden meget i bevægelse og form.
Hvis teknologien udvikles yderligere, kan systemet i fremtiden oversætte hele ord og sætninger i stedet for blot enkelte bogstaver. Det kan få betydning for kommunikation mellem døve og hørende, især i situationer hvor tolkning ikke er muligt.
SpellRing er ikke til salg endnu. Der er endnu ingen oplysninger om, hvornår enheden kan købes, eller hvad den kommer til at koste. Forskerne vurderer dog, at teknologien er et skridt mod mere tilgængelig digital kommunikation for døve og hørehæmmede.
Ifølge udviklerne er SpellRing den første bærbare teknologi, som kan oversætte fingersprog til tekst i realtid udelukkende baseret på håndens bevægelser.
