Phi tekoälymalli kirjoittanut Microsoft - pieni, halpa ja ei kärsi "hallusinaatioista". Näin he sanovat uudesta kielimallista, jolla ennustetaan olevan suuri tulevaisuus.
GPT on aivan loistava, mutta samalla se on hirvittävän kallis, eikä se voi olla täydellinen kaikille. Näistä ja monista muista syistä Microsoft kokeilee paljon pienempiä tekoälymalleja. Phi-3-minin sanotaan jopa hävettävän OpenAI-insinöörien työn.
Mielenkiintoista myös: Tulevaisuuden transistorit: Uusi sirujen aikakausi odottaa meitä
ChatGPT ei ole ihmelääke
ChatGPT on keksintö, jota rahoitetaan, kuratoidaan ja parannellaan Microsoft. Itse asiassa se ei kuulu Microsoftja yritys OpenAI, joka Microsoft ei omista (hän on johtava, vaikkakaan ei suurin sijoittaja). GPT-kielimalli antoi Microsoft jättimäisen edun muihin suuriin teknologiayrityksiin nähden, jotka nyt ryntäävät kuromaan kiinni. GPT:ssä on kuitenkin valtava määrä ongelmia, joista monia ei voida vielä ratkaista.
Ensinnäkin tämä on erittäin resurssiintensiivinen kielimalli. Web-suuntautunut Microsoft OpenAI:n Copilot tai ChatGPT tuottaa erittäin korkeat käyttökustannukset Microsoft. Tämä ei ole vain GPT:n, vaan myös kaikkien tärkeimpien kielimallien ominaisuus. Lisäksi GPT, kuten sen kilpailijat, on altis "hallusinaatioille", eli se voi tuottaa vastauksia kyselyihin, jotka sisältävät vääriä tai harhaanjohtavia tietoja. Mitä enemmän dataa tällainen malli imee, sitä enemmän sillä on taipumus tuottaa samanlaista sisältöä. Siksi hallusinaatiot ja väärät väitteet eivät ole digitaalisesta sormesta imetty myytti. Käyttäjät huomauttavat usein, että suuret kielimallit tekevät usein virheitä, antavat epätarkkoja tietoja ja toimivat olemattomien tosiseikkojen perusteella.
Molemmat ongelmat ovat erittäin vakavia, minkä vuoksi OpenAI, Microsoft, Meta, Google ja muut kehittävät paitsi Large Language Model -teknologiaa myös Small Language Model -tekniikkaa, joka käytännössä voi tuottaa paljon parempia tuloksia.
Digitaalisen kirjanpitäjän assistentin ei tarvitse tietää paljon kvanttifysiikasta. Se voi olla paljon pienempi ja vähemmän monimutkainen (ja siksi halvempi), ja harjoittelemalla vain tarkoitukseen tarvittavia tietoja, sen pitäisi teoriassa hallusinoida vähemmän. Tosin tämä on helpommin sanottu kuin tehty. GenAI-tekniikka on edelleen villi IT-hanke. Ja vaikka työ etenee ennennäkemättömällä vauhdilla, on silti vaikea saada käytännössä läpimurtoja peruskysymyksissä. Mutta yhtiö Microsoft ilmoitti hiljattain tällaisesta läpimurrosta. Puhumme pienestä kielimallista Microsoft Phi.
Mielenkiintoista myös: Kuinka Taiwan, Kiina ja Yhdysvallat taistelevat teknologisesta valta-asemasta: suuri siru sota
Mistä tiedetään Microsoft Phi
Ensinnäkin on huomattava, että kokeilu suoritettiin ilman OpenAI-yrityksen osallistumista. Eli se on insinöörien kehitystä Microsoft.
Mallit Microsoft Phi on sarja pieniä kielimalleja (SLM), jotka saavuttavat poikkeuksellisia tuloksia erilaisissa testeissä. Ensimmäisessä mallissa, Phi-1:ssä, oli 1,3 miljardia parametria ja se saavutti parhaat Python-koodaustulokset olemassa olevista SLM:istä.
Sen jälkeen kehittäjät keskittyivät kielen ymmärtämiseen ja ajatteluun ja loivat Phi-1.5-mallin, jossa oli myös 1,3 miljardia parametria ja jonka suorituskyky oli verrattavissa malleihin, joissa parametrit olivat viisinkertaiset.
Phi-2 on 2,7 miljardin parametrin malli, joka osoittaa erinomaiset päättely- ja kielenymmärrysominaisuudet ja toimii parhaiden perusmallien tasolla 13 miljardilla parametrilla. Phi-2 erottuu muista malleista innovaatioillaan mallin skaalaus- ja tiedonkurointikoulutuksessa.
Se on saatavilla Azure AI Studio -malliluettelossa, joka helpottaa kielimallien tutkimusta ja kehitystä. Phi-2 lanseerattiin joulukuussa 2023. Kehittäjät vakuuttavat, että se toimii yhtä hyvin kuin Metan Mistral tai lama 2. Ja Phi-3 toimii jopa paremmin kuin edellinen versio.
Juuri julkistettu Phi-3-malli on kuitenkin laadultaan täysin uusi. Ainakin näin voit päätellä annettujen tietojen perusteella Microsoft. Yhtiön mukaan kaikkien tunnettujen vertailuarvojen indikaattoreiden mukaan Phi-3 toimii paremmin kuin mikään muu samankokoinen malli, mukaan lukien kielianalyysi, ohjelmointityö tai matemaattinen työ.
Phi-3-mini, tämän mallin pienin versio, on juuri tullut kaikkien kiinnostuneiden saataville. Eli se on ollut saatavilla 23. huhtikuuta lähtien. Phi-3-mini on 3,8 miljardia parametria ja mittausten mukaan Microsoft, kaksi kertaa tehokkaampi kuin mikään muu samankokoinen malli. Se löytyy pilvipalvelun tekoälymallien luettelosta Microsoft Azure, Hugging Face -koneoppimismallialusta ja Ollama, kehys mallien ajamiseen paikallisessa koneessa.
Kuten hän väittää Microsoft, Phi-3-mini ei vaadi tehokkaita siruja Nvidia. Malli voi toimia tavallisilla tietokonesiruilla. Tai mahtuu jopa puhelimeen, joka ei ole yhteydessä Internetiin.
Vähemmän tehoa tarkoittaa myös sitä, että mallit eivät ole yhtä tarkkoja. Phi-3 ei sovellu lääkäreille tai verokirjanpitäjille, mutta auttaa yksinkertaisemmissa tehtävissä. Esimerkiksi mainonnan kohdistamiseen tai arvostelujen yhteenvetoon Internetissä.
Koska pienemmät mallit vaativat vähemmän käsittelyä, ne ovat halvempia yksityisille yrityksille. Eli sisään Microsoft tulee lisää asiakkaita, jotka haluaisivat ottaa tekoälyn mukaan työhönsä, mutta pitivät sitä liian kalliina. Vielä ei kuitenkaan ole selvää, kuinka paljon ne maksavat.
Vielä ei ole tiedossa, milloin pienet ja keskikokoiset mallit ilmestyvät. Mutta jälkimmäinen on tehokkaampi ja kalliimpi. Vaikka on jo tiedossa, että Phi-3-smallilla on 7 miljardia parametria ja Phi-3-mediumilla jopa 14 miljardia parametria.
Lue myös:
- Grafeenimikrosirut tekevät puhelimista nopeampia ja helpompia
- Tietoja kvanttitietokoneista yksinkertaisin sanoin
Kuinka käyttää Phi-3-miniä?
GPT-4 Turbo vaatii tehokkaita AI-siruja, jotka ovat edelleen erittäin kalliita. Phi-3 pieni puhemalli voi toimia offline-tilassa, ilman pilvipalvelua, jopa matkapuhelimen sirun avulla.
Phi-3 ei ole loppukäyttäjille tarkoitettu tuote, vaan teknologia, jota kehittäjät voivat käyttää ja ottaa käyttöön sovelluksissaan - sekä pilvipohjaisissa eli etäsijainneissa että paikallisesti ja offline-tilassa toimivissa. Sen odotetaan toimivan saumattomasti laitteiden ja niiden komponenttien, kuten matkapuhelimien, autojen ja niiden infotainment-järjestelmien tai jopa IoT-anturien kanssa. Joissakin skenaarioissa tämä tekniikka voi olla korvaamaton.
Microsoft antaa jopa konkreettisen esimerkin, jotta meidän ei tarvitse rasittaa mielikuvitustamme. Kuvittele maanviljelijää, joka tarkastaa satonsa ja näkee taudin merkkejä lehdissä, varsissa ja oksissa. Koska hän on kaukana tietoliikennemasteista, hänen tarvitsee vain ottaa puhelin esiin, ottaa kuva vauriosta, laittaa se Phi-3-tekniikkaa käyttävään sovellukseen - ja malli analysoi valokuvan nopeasti ja offline-tilassa ja antaa neuvoja kuinka taistella tätä tautia vastaan.
Kuten hän selittää Microsoft, avain GPT:n menestykseen oli hyödyntää valtavia tietomääriä harjoittelua varten. Tällaisilla suurilla tietokokonaisuuksilla tiedon korkea laatu ei tule kysymykseen. Samaan aikaan Phi-mallin koulutuksessa käytettiin täysin päinvastaista OpenAI-lähestymistapaa. Sen sijaan, että malliin tukahduttaisi tietoa, painopiste oli asteittaisessa ja perusteellisessa oppimisessa.
Sen sijaan, että käyttäisit raakaa Internet-dataa, tutkijat Microsoft loi TinyStories-tietojoukon, joka loi miljoonia miniatyyri "vauva"-tarinoita. Näitä tarinoita käytettiin kouluttamaan hyvin pieniä kielimalleja. Tutkijat menivät sitten pidemmälle luomalla CodeTextbook-tietojoukon, jossa käytettiin huolellisesti valittua, julkisesti saatavilla olevaa dataa, joka suodatettiin koulutuksellisen arvon ja sisällön laadun perusteella. Nämä tiedot suodatettiin sitten useita kertoja ja syötettiin takaisin suureen kielimalliin (LLM) lisäsynteesiä varten.
Kaikki tämä mahdollisti sellaisen datajoukon luomisen, joka oli riittävä kouluttamaan tehokkaampi SLM. Lisäksi Phi-3-mallin kehittämisessä käytettiin monitasoista lähestymistapaa riskien hallintaan ja vähentämiseen sisältäen arvioinnin, testauksen ja manuaaliset säädöt. Seurauksena, kuten hän väittää Microsoft, Phi-3-malliperhettä käyttävät kehittäjät voivat hyödyntää Azure AI:n työkaluja turvallisempien ja luotettavampien sovellusten rakentamiseen.
Lue myös: Teleportaatio tieteellisestä näkökulmasta ja sen tulevaisuus
Microsoft Korvaako Phi ChatGPT-tyyppiset mallit?
Ei lainkaan. Pienillä kielimalleilla (SLM), vaikka ne olisi koulutettu korkealaatuiseen dataan, on rajoituksensa, eikä niitä ole suunniteltu syvään oppimiseen. Suuret kielimallit (LLM) ylittävät SLM:t monimutkaisissa päättelyissä niiden koon ja laskentatehon vuoksi. LLM:t ovat ja tulevat jatkossakin olemaan erityisen hyödyllisiä aloilla, kuten lääkekehitys, jossa on etsittävä laajoja tieteellisten julkaisujen kokoelmia ja analysoitava monimutkaisia malleja. Toisaalta SLM:ää voidaan käyttää yksinkertaisempiin tehtäviin, kuten pitkän tekstidokumentin pääkohtien yhteenvetoon, sisällön luomiseen tai asiakaspalvelun chatbottien tehostamiseen.
MicrosoftHän sanoi, että se käyttää jo sisäisesti hybridimallijoukkoja, joissa LLM ottaa johdon ohjaten tietyt vähemmän laskentatehoa vaativat kyselyt SLM:lle, kun taas se käsittelee itse muita, monimutkaisempia kyselyitä. Phi on sijoitettu laitteilla laskemiseen ilman pilven käyttöä. Pienten kielimallien ja pilvessä olevilla suurilla malleilla saavutettavan älykkyyden tason välillä on kuitenkin kuilu. Tämä aukko LLM:n jatkuvan kehityksen ansiosta tuskin katoa pian.
Ulkopuolisten riippumattomien osapuolten on vielä vahvistettava Phi-3. Microsoft joskus puhuu 25 kertaa suuremmasta tehokkuudesta tai energiatehokkuudesta ääritapauksissa verrattuna kilpailijoihin, mikä kuulostaa aivan upealta. Vaikka toisaalta ei voi unohtaa, että nämä vuodet ovat kuluneet Microsoft vieroitti meidät hieman siitä, että se on selkeä johtaja IT-innovaatioissa, ja ehkä siksi emme oikein usko siihen. Tekoälypohjaiset ohjelmat, jotka vastaavat välittömästi ja toimivat offline-tilassa luomisen sijaan? Tämä olisi nykyisen vallankumouksen arvokas huipentuma. Valitettavasti on yksi keskeinen ongelma.
Lue myös: Kaikki Neuralink Telepathy -sirusta: mikä se on ja miten se toimii
Phi-3 alkaen Microsoft ymmärtää vain englantia
Phi-3 ei syönyt sille heitettyjä petatavuja massalla. Mallin huolellinen ja tunnollinen koulutus sisältää yhden pienen ongelman. Phi-3 on koulutettu englanninkielisellä tiedolla, eikä hänellä ole vielä aavistustakaan mistään muusta kielestä. Ei vain ukraina, vaan myös saksa, espanja, ranska tai kiina. Tämä tietysti vähentää huomattavasti sen houkuttelevuutta useimpiin käyttäjiin ympäri maailmaa.
Mutta sisään Microsoft vakuutti, että työ sen kehittämiseksi ja parantamiseksi on käynnissä. Vaikka sinun ei pitäisi pettää itseäsi sillä tosiasialla, että Ukrainan markkinat ovat etusijalla millekään suurelle yritykselle. Siksi meidän on odotettava hyvin kauan ukrainan kielen tukea. Mutta tämä tosiasia ei ole koskaan pysäyttänyt harrastajia ja niitä, jotka haluavat pysyä kehityksen mukana.
Lue myös: