){kind=link}
Tutkijat Apple ovat kehittäneet tekoälyjärjestelmän nimeltä ReALM (Reference Resolution as Language Modeling), jonka tavoitteena on parantaa radikaalisti tapaa, jolla ääniavustajat ymmärtävät ja reagoivat komentoihin.
Tutkimuspaperissa Apple kuvailee uuden viitekehyksen siitä, kuinka suuret kielimallit käsittelevät viitteen resoluution ongelmaa, mikä sisältää moniselitteisten viittausten tulkitsemisen ruudulla oleviin objekteihin sekä keskustelu- ja taustakontekstin ymmärtämisen. Tämän seurauksena ReALM voi johtaa intuitiivisempaan ja luonnollisempaan vuorovaikutukseen laitteiden kanssa.
Viitteiden tunnistus on tärkeä osa luonnollisen kielen ymmärtämistä, jolloin käyttäjät voivat käyttää pronomineja ja muita epäsuoria viittauksia keskustelussa ilman sekaannusta. Digitaalisille avustajille tämä kyky on historiallisesti ollut merkittävä haaste, jota rajoittaa tarve tulkita monenlaisia sanallisia signaaleja ja visuaalista tietoa. ReALM-järjestelmä alkaen Apple pyrkii ratkaisemaan tämän ongelman muuttamalla monimutkaisen viitteentunnistusprosessin puhtaaksi kielen mallinnustehtäväksi. Tällä tavalla hän voi ymmärtää viittaukset näytöllä näkyviin visuaalisiin elementteihin ja integroida tämän ymmärryksen keskustelunkulkuun.
ReALM rekonstruoi näytön visuaalisen rakenteen tekstiesitysten avulla. Tämä sisältää näyttöobjektien jäsentämisen ja niiden järjestämisen luomaan tekstimuodon, joka kuvastaa näytön sisältöä ja rakennetta. Tutkijat Apple havaitsi, että tämä strategia yhdistettynä kielimallien erityiseen viritykseen benchmark-resoluutio-ongelmia varten ylittää huomattavasti perinteiset menetelmät, mukaan lukien OpenAI:n GPT-4-ominaisuudet.
ReALM voi antaa käyttäjille mahdollisuuden olla vuorovaikutuksessa paljon tehokkaammin digitaalisten avustajien kanssa sen perusteella, mitä näytöllä parhaillaan näytetään, ilman tarkkoja ja yksityiskohtaisia ohjeita. Tämä voisi tehdä puheavustajista paljon hyödyllisempiä eri tilanteissa, kuten auttamaan kuljettajia navigoimaan infotainment-järjestelmissä ajon aikana tai auttamaan vammaisia käyttäjiä tarjoamalla helpompia ja tarkempia keinoja epäsuoraan vuorovaikutukseen.
Apple on jo julkaissut useita tutkimuksia tekoälyn alalta. Viime kuussa yritys julkisti uuden menetelmän suurten kielimallien oppimiseen, joka yhdistää saumattomasti sekä tekstin että visuaalisen tiedon. Sitä odotetaan Apple esittelee useita tekoälyominaisuuksia WWDC-konferenssissa kesäkuussa.
Lue myös: