Artikkelit

Tutkimus yhdistää tietokonenäön ja syväoppimiseen perustuvia menetelmiä tarkkojen käsiviittomien tunnistamiseen.

Amerikkalaisen viittomakielen (ASL) käsiviittomien muuttaminen tekstiksi tai puhutuksi kieleksi reaaliajassa on merkittävä tavoite, joka voi parantaa kuulovammaisten ja kuurojen yhteiskunnallista saavutettavuutta. Riittävän tarkkaa ja luotettavaa järjestelmää ei ole kuitenkaan ollut ennen kuin nyt.

Floridan Atlantin yliopiston (FAU) insinööritieteiden ja tietojenkäsittelyn tiedekunnan tutkijat ovat toteuttaneet uraauurtavan tutkimuksen, jossa tekoälyä käytetään amerikkalaisen viittomakielen aakkosviittomien tunnistamiseen. Tutkijat loivat oman aineiston, joka sisältää 29 820 kuvaa ASL-käsiviittomista. MediaPipe-teknologiaa hyödyntäen kuviin merkittiin 21 käden avainpistettä, jotka tarjoavat tarkkaa tietoa käden rakenteesta ja asennosta.

Kyseiset avainpisteet paransivat YOLOv8-syväoppimismallin tarkkuutta. Mallia koulutettiin tunnistamaan käden hienovaraisia liike-eroja.

Tutkimuksen tulokset on julkaistu Franklin Open -tiedejulkaisussa. Ne osoittavat, että menetelmällä saavutettiin 98 prosentin tunnistustarkkuus.

– MediaPipen ja YOLOv8-menetelmien yhdistäminen sekä hyperparametrien hienosäätö tarjoavat innovatiivisen ja läpimurtoa edustavan lähestymistavan viittomakielen tunnistamiseen, tutkimuksen pääkirjoittaja ja tohtoriopiskelija Bader Alsharif kertoo yliopiston julkaisussa. Alsharifin mukaan menetelmää ei ole aiemmin tutkittu.

Tutkimuksen merkittävyys perustuu avainpisteiden seurantaan ja objektintunnistukseen. Yhdistelmä mahdollisti mallin kyvyn havaita hienovaraiset vaihtelut käden asennoissa ja liikkeissä, minkä ansiosta järjestelmä toimi tarkasti erilaisissa olosuhteissa. Mallin vahvuus näkyi erityisesti tilanteissa, joissa käden asento tai eleet vaihtelivat merkittävästi.

– Tutkimuksemme osoittaa, miten pitkälle kehitetyt objektintunnistusalgoritmit ja avainpisteiden seuranta voivat yhdistettynä tarjota luotettavan ratkaisun reaaliaikaiseen viittomakielen tunnistamiseen, professori Mohammad Ilyas kertoo yliopiston julkaisussa.

Tulevaisuudessa tutkijat aikovat laajentaa aineistoa kattamaan laajemman kirjon käsiviittomia, jotta mallin kyky erottaa toisistaan samankaltaiset eleet paranee entisestään. Lisäksi tutkimuksessa aiotaan optimoida järjestelmä toimimaan tehokkaasti myös rajallisilla resursseilla, kuten reunalaskentaa käyttävillä laitteilla.

Lähde: Fau.edu

Hei! Luitko jo tämän?

Futuristi.fin valinta vuoden autoksi on Volkswagen ID.7 Tourer: Ajomukavuus vie mennessään