Tänään yritämme selvittää, mitä hermoverkot ovat, miten ne toimivat ja mikä niiden rooli on tekoälyn luomisessa.
Neuroverkot. Kuulemme tämän lauseen melkein kaikkialla. Se tulee siihen pisteeseen, että löydät hermoverkkoja jopa jääkaapeista (tämä ei ole vitsi). Neuroverkkoja käyttävät laajasti koneoppimisalgoritmit, joita nykyään löytyy paitsi tietokoneista ja älypuhelimista, myös monista muista elektronisista laitteista, esimerkiksi kodinkoneista. Ja oletko koskaan miettinyt, mitä nämä neuroverkot ovat?
Älä huoli, tämä ei tule olemaan akateeminen luento. On olemassa monia julkaisuja, myös ukrainan kielellä, jotka selittävät tämän asian erittäin ammattimaisesti ja luotettavasti täsmätieteiden alalla. Tällaiset julkaisut ovat yli kymmenen vuotta vanhoja. Miten on mahdollista, että nämä vanhat julkaisut ovat edelleen ajankohtaisia? Tosiasia on, että hermoverkkojen perusteet eivät ole muuttuneet, ja itse käsite - keinotekoisen neuronin matemaattinen malli - luotiin toisen maailmansodan aikana.
Sama Internetin kanssa, nykypäivän Internet on verrattomasti kehittyneempi kuin silloin, kun ensimmäinen sähköposti lähetettiin. Internetin perusta, perusprotokollat, oli olemassa sen luomisen alusta lähtien. Jokainen monimutkainen konsepti on rakennettu vanhojen rakenteiden pohjalle. Samoin on aivoissamme, nuorin aivokuori ei pysty toimimaan ilman vanhinta evoluutioelementtiä: aivorunkoa, joka on ollut päässämme aikoja paljon vanhempia kuin lajimme olemassaolo tällä planeetalla.
Hämmensinkö sinua hieman? Ymmärretään siis tarkemmin.
Mielenkiintoista myös: ChatGPT: Yksinkertaiset käyttöohjeet
Mitä ovat neuroverkot?
Verkko on kokoelma tiettyjä elementtejä. Tämä on matematiikan, fysiikan tai tekniikan yksinkertaisin lähestymistapa. Jos tietokoneverkko on joukko toisiinsa kytkettyjä tietokoneita, hermoverkko on luonnollisesti joukko neuroneja.
Nämä elementit eivät kuitenkaan ole kovinkaan verrattavissa monimutkaisuudeltaan aivomme ja hermostomme hermosoluihin, mutta tietyllä abstraktiotasolla jotkut keinotekoisen hermosolun ja biologisen hermosolun piirteet ovat yleisiä. Mutta on välttämätöntä muistaa, että keinotekoinen neuroni on paljon yksinkertaisempi käsite kuin sen biologinen vastine, josta emme vielä tiedä kaikkea.
Lue myös: 7 tyylikkäintä ChatGPT:n käyttöä
Ensin oli keinotekoinen neuroni
Ensimmäisen keinotekoisen neuronin matemaattisen mallin kehittivät vuonna 1943 (kyllä, se ei ole virhe, toisen maailmansodan aikana) kaksi amerikkalaista tiedemiestä, Warren McCulloch ja Walter Pitts. He onnistuivat tekemään tämän poikkitieteellisen lähestymistavan pohjalta yhdistäen perustiedot aivofysiologiasta (muistakaa tämän mallin luomisaika), matematiikan ja silloisen nuoren IT-lähestymistavan (he käyttivät mm. Alan Turingin laskettavuusteoriaa ). McCulloch-Pittsin keinotekoinen neuronimalli on hyvin yksinkertainen malli, siinä on monia syötteitä, joissa syöttötieto kulkee painojen (parametrien) kautta, joiden arvot määräävät neuronin käyttäytymisen. Tuloksena oleva tulos lähetetään yhteen lähtöön (katso McCulloch-Pitts-hermosolun kaavio).
Tällainen puumainen rakenne liittyy biologiseen neuroniin, koska kun ajattelemme piirustuksia, jotka kuvaavat biologisia hermosoluja, mieleen tulee dendriiteille tyypillinen puumainen rakenne. Ei kuitenkaan pidä antaa periksi illuusiolle, että keinotekoinen hermosolu on ainakin jossain määrin lähellä todellista hermosolua. Nämä kaksi tutkijaa, ensimmäisen keinotekoisen neuronin kirjoittajat, onnistuivat osoittamaan, että mikä tahansa laskettava funktio voidaan laskea käyttämällä toisiinsa kytkettyjen hermosolujen verkkoa. Muistakaamme kuitenkin, että nämä ensimmäiset käsitteet syntyivät vain ideoina, jotka olivat olemassa vain "paperilla" ja joilla ei ollut todellista tulkintaa toimintalaitteiden muodossa.
Lue myös: Tietoja kvanttitietokoneista yksinkertaisin sanoin
Mallista innovatiivisiin toteutuksiin
McCulloch ja Pitts kehittivät teoreettisen mallin, mutta ensimmäisen todellisen hermoverkon luominen joutui odottamaan yli kymmenen vuotta. Sen luojaa pidetään toisena tekoälytutkimuksen pioneerina, Frank Rosenblattina, joka loi vuonna 1957 Mark I Perceptron -verkoston, ja sinä itse osoitit, että tämän rakenteen ansiosta kone sai kyvyn, joka oli aiemmin luontainen vain eläimille ja ihmisille: se voi oppia. Nyt tiedämme kuitenkin, että itse asiassa oli muitakin tiedemiehiä, jotka keksivät, että kone voisi oppia, myös ennen Rosenblattia.
Monet tietojenkäsittelytieteen tutkijat ja pioneerit keksivät 1950-luvulla ajatuksen siitä, kuinka saada kone tekemään asioita, joihin se ei yksin pystyisi. Esimerkiksi Arthur Samuel kehitti ohjelman, joka pelasi tammi ihmisen kanssa, Allen Newell ja Herbert Simon loivat ohjelman, joka pystyi itsenäisesti todistamaan matemaattisia lauseita. Jo ennen Rosenblatin ensimmäisen hermoverkon luomista kaksi muuta tekoälyn alan tutkimuksen pioneeria, Marvin Minsky ja Dean Edmonds, vuonna 1952, eli jo ennen Rosenblatin perceptronin ilmestymistä, rakensivat koneen nimeltä SNARC (Stochastic Neural). Analog Inforcement Calculator) - stokastinen neurologisen neuraalilaskimen vahvistus, jota monet pitävät ensimmäisenä stokastisen hermoverkkotietokoneena. On huomattava, että SNARCilla ei ollut mitään tekemistä nykyaikaisten tietokoneiden kanssa.
Tehokas kone, joka käytti yli 3000 24 elektronista putkea ja B-40 pommikoneen ylimääräistä autopilottimekanismia, pystyi simuloimaan XNUMX hermosolun toimintaa, mikä osoittautui riittäväksi simuloimaan matemaattisesti rotan etsintää labyrintista. . Tietenkään ei ollut rotta, se oli vain päättelyprosessi ja optimaalisen ratkaisun löytäminen. Tämä auto oli osa Marvin Minskyn tohtorintutkintoa.
Toinen mielenkiintoinen projekti neuroverkkojen alalla oli ADALINE-verkko, jonka Bernard Withrow kehitti vuonna 1960. Siten voidaan esittää kysymys: koska yli puoli vuosisataa sitten tutkijat tunsivat hermoverkkojen teoreettiset perusteet ja jopa loivat ensimmäiset toimivat toteutukset tällaisista laskentakehyksistä, miksi kesti niin kauan, 21-luvulle asti, luoda todellisia hermoverkkoihin perustuvia ratkaisuja? Vastaus on yksi: riittämätön laskentateho, mutta se ei ollut ainoa este.
Vaikka 1950- ja 1960-luvuilla monet tekoälyn pioneerit kiehtoivat hermoverkkojen mahdollisuudet, ja jotkut heistä ennustivat, että ihmisaivojen konevastine oli vain kymmenen vuoden päässä. Tätä on jopa hauska lukea nykyään, koska emme ole vieläkään päässeet lähellekään ihmisaivojen koneekvivalenttia, ja olemme vielä kaukana tämän tehtävän ratkaisemisesta. Nopeasti kävi selväksi, että ensimmäisten hermoverkkojen logiikka oli sekä kiehtovaa että rajallista. Tekoälyn ensimmäiset toteutukset, joissa käytettiin keinotekoisia neuroneja ja koneoppimisalgoritmeja, pystyivät ratkaisemaan tietyn kapea-alueen tehtäviä.
Mutta kun puhuttiin laajemmista tiloista ja todella vakavan asian ratkaisemisesta, kuten kuvioiden ja kuvien tunnistus, simultaanikäännös, puheen ja käsinkirjoituksen tunnistus jne., eli asioita, joita tietokoneet ja tekoäly pystyvät jo nykyään tekemään, kävi ilmi, että hermoverkkojen ensimmäiset toteutukset eivät yksinkertaisesti pystyneet tekemään niin. Miksi näin on? Vastauksen antoivat Marvin Minskyn (kyllä, sama SNARC:ltä) ja Seymour Papertin tutkimukset, jotka vuonna 1969 osoittivat perceptronlogiikan rajoitukset ja osoittivat, että yksinkertaisten hermoverkkojen kykyjen lisääminen pelkästään skaalauksen takia ei toimi. Oli vielä yksi, mutta erittäin tärkeä este – tuolloin käytettävissä oleva laskentateho oli liian pieni neuroverkkojen käyttöön tarkoitetulla tavalla.
Mielenkiintoista myös:
- Siis puhuako vai olla puhumatta? Musk kiistää puhuneen Putinin kanssa. Mutta on olemassa "mutta"
- Moderni tykistö on Ukrainan superase. Ja miksi Elon Musk on täällä?
Neuroverkkojen renessanssi
1970- ja 1980-luvuilla hermoverkot käytännössä unohdettiin. Vasta viime vuosisadan lopulla käytettävissä oleva laskentateho kasvoi niin suureksi, että ihmiset alkoivat palata siihen ja kehittää kykyjään tällä alalla. Silloin ilmestyi uusia toimintoja ja algoritmeja, jotka pystyivät voittamaan ensimmäisten yksinkertaisimpien hermoverkkojen rajoitukset. Silloin syntyi ajatus monikerroksisten hermoverkkojen syvästä koneoppimisesta. Mitä näille kerroksille oikein tapahtuu? Nykyään lähes kaikki ympäristössämme toimivat hyödylliset neuroverkot ovat monikerroksisia. Meillä on syöttökerros, jonka tehtävänä on vastaanottaa syötetietoja ja parametreja (painoja). Näiden parametrien määrä vaihtelee verkon ratkaiseman laskennallisen ongelman monimutkaisuuden mukaan.
Lisäksi meillä on niin sanottuja "piilotettuja kerroksia" – tässä tapahtuu kaikki syvään koneoppimiseen liittyvä "taika". Piilotetut kerrokset ovat vastuussa tämän hermoverkon kyvystä oppia ja suorittaa tarvittavat laskelmat. Lopuksi viimeinen elementti on tuloskerros, eli se neuroverkon kerros, joka antaa halutun tuloksen, tässä tapauksessa: tunnistettu käsiala, kasvot, ääni, tekstin kuvauksen perusteella muodostettu kuva, tomografisen analyysin tulos. diagnostinen kuva ja paljon muuta.
Lue myös: Testasin ja haastattelin Bingin chatbotia
Miten neuroverkot oppivat?
Kuten jo tiedämme, hermoverkkojen yksittäiset neuronit käsittelevät tietoa parametrien (painojen) avulla, joille on määritetty yksilölliset arvot ja yhteydet. Nämä painot muuttuvat oppimisprosessin aikana, jolloin voit säätää tämän verkon rakennetta siten, että se tuottaa halutun tuloksen. Miten verkosto tarkalleen ottaen oppii? Se on selvää, sitä on koulutettava jatkuvasti. Älä ihmettele tätä sanontaa. Me myös opimme, eikä tämä prosessi ole kaoottinen, vaan säännöllinen, sanotaanko. Kutsumme sitä koulutukseksi. Joka tapauksessa hermoverkkoja voidaan myös kouluttaa, ja tämä tehdään yleensä käyttämällä asianmukaisesti valittua syötesarjaa, joka jollakin tavalla valmistelee verkon tuleviin tehtäviin. Ja kaikki tämä toistetaan askel askeleelta, joskus oppimisprosessi muistuttaa jossain määrin itse koulutusprosessia.
Jos tämän hermoverkon tehtävänä on esimerkiksi tunnistaa kasvot, se on esiopetettu suureen määrään kasvoja sisältäviä kuvia. Oppimisprosessissa piilotettujen kerrosten painot ja parametrit muuttuvat. Asiantuntijat käyttävät tässä ilmaisua "kustannusfunktion minimointi". Kustannusfunktio on määrä, joka kertoo, kuinka paljon tietty hermoverkko tekee virheitä. Mitä enemmän voimme minimoida kustannusfunktion koulutuksen tuloksena, sitä paremmin tämä hermoverkko toimii todellisessa maailmassa. Tärkein ominaisuus, joka erottaa minkä tahansa hermoverkon klassisella algoritmilla ohjelmoidusta tehtävästä, on se, että klassisten algoritmien tapauksessa ohjelmoijan on suunniteltava askel askeleelta, mitä toimia ohjelma suorittaa. Neuraaliverkkojen tapauksessa verkko itse pystyy oppimaan suorittamaan tehtäviä oikein itsenäisesti. Ja kukaan ei tiedä tarkalleen, kuinka monimutkainen neuroverkko suorittaa laskelmansa.
Nykyään hermoverkkoja käytetään laajalti ja ehkä yllättäen hyvin usein ymmärtämättä, kuinka tietyn verkon laskentaprosessi todella toimii. Tälle ei ole tarvetta. Ohjelmoijat käyttävät valmiita koneoppittuja hermoverkkoja, jotka on valmisteltu tietyn tyyppisille syöttötiedoille, käsittelevät ne vain heidän tuntemallaan tavalla ja tuottavat halutun tuloksen. Ohjelmoijan ei tarvitse tietää, miten päättelyprosessi toimii hermoverkon sisällä. Toisin sanoen ihminen pysyy loitolla suuresta määrästä laskelmia, tiedonhankintamenetelmää ja sen käsittelyä hermoverkkojen avulla. Mistä ihmiskunnan tietyt pelot tekoälyn malleista. Pelkäämme yksinkertaisesti, että jonain päivänä hermoverkko asettaa itselleen tietyn tehtävän ja löytää itsenäisesti, ilman henkilön apua, tapoja ratkaista se. Tämä huolestuttaa ihmiskuntaa, aiheuttaa pelkoa ja epäluottamusta koneoppimisalgoritmien käyttöön.
Tämä utilitaristinen lähestymistapa on yleinen nykyään. Meillä on sama: tiedämme kuinka kouluttaa joku tiettyyn toimintaan ja tiedämme, että koulutusprosessi on tehokas, jos se tehdään oikein. Ihminen hankkii haluamansa taidot. Mutta ymmärrämmekö tarkalleen, kuinka deduktioprosessi tapahtuu hänen aivoissaan, mikä aiheutti tämän vaikutuksen? Meillä ei ole aavistustakaan.
Tiedemiesten tehtävänä on tutkia näitä ongelmia mahdollisimman paljon, jotta ne palvelevat ja auttaisivat meitä tarvittaessa, ja mikä tärkeintä, eivät uhkaa. Ihmisinä me pelkäämme sitä, mitä emme tiedä.
Mielenkiintoista myös: