Hvem snakker nå? Sett farge på tolken med AI!

Døve og hørselshemmede møter store barrierer når de forsøker å følge med på direktesendte debattprogrammer, som NRKs Debatten.

Et av de største problemene er at det er vanskelig å vite hvem som snakker. Tegnspråktolkingen skjer med tidsforsinkelse, og tolkene må gjengi flere stemmer etter hverandre uten visuelle signaler som kobler utsagnene til riktig person. Samtidig er undertekstene ofte forenklet og mangelfulle.

Dette fører til høy kognitiv belastning, redusert forståelse og en seeropplevelse som ofte blir frustrerende og ufullstendig. Mange gir derfor opp å følge med på samfunnsdebatter og går glipp av viktig informasjon.

Prosjektet utvikler en nyskapende løsning hvor kunstig intelligens (AI) brukes til å fargekode tegnspråktolken i sanntid, basert på hvem som snakker. Hver deltaker i en debatt vil tildeles en unik farge, og denne vises som et visuelt element på tolken, eller som grafikk i bildet. Det utvikles også støtte for fargekoding av automatisk genererte undertekster.

Alt dette skjer ved hjelp av stemmegjenkjenning og AI som identifiserer hvem som snakker.

Løsningen vil bli testet i en pilot med utgangspunkt i Debatten, og evaluert i samarbeid med brukere og fagpersoner.

Løsningen som utvikles vil redusere mental belastning, gi bedre forståelse og gjøre det lettere for døve og hørselshemmede å følge med i samtaler med flere stemmer.

På lengre sikt kan dette gi positive helseeffekter gjennom redusert stress, økt mestring, og bedre sosial og demokratisk deltakelse.

Løsningen vil også ha stor overføringsverdi til undervisning, møter og konferanser.

Løsningen vil bli publisert på Tegn.TV og tilbys også til NRK og TV2.

I forlengelse av prosjektet vil Tegn.TV videreføre løsningen.