Perjantaina tutkijat alkaen NVIDIA julkisti Magic3D - tekoälymallin, joka voi luoda 3D-malleja tekstin kuvauksista. Kun olet syöttänyt vihjeen, kuten "Sininen myrkkysammakko istumassa lumpeen päällä", Magic3D luo 40D-verkkomallin, jossa on värikuvio noin XNUMX minuutissa. Muutoksilla saatua mallia voidaan käyttää videopeleissä tai taidekohtauksissa CGI-muodossa.
Hänen tieteellisessä artikkelissaan NVIDIA näkee Magic3D:n vastauksena DreamFusionille, tekstistä 3D:ksi -mallille, jonka Googlen tutkijat ilmoittivat syyskuussa. Aivan kuten DreamFusion käyttää tekstistä kuvaksi -mallia luodakseen 2D-kuvan, joka sitten optimoidaan volyymiksi NeRF (Neural Radance Field) -dataksi, Magic3D käyttää kaksivaiheista prosessia, joka ottaa karkean mallin, joka on luotu alhaisella resoluutiolla ja optimoi sen korkeampi resoluutio. Artikkelin tekijöiden mukaan tuloksena oleva Magic3D-menetelmä voi tuottaa kolmiulotteisia objekteja kaksi kertaa nopeammin kuin DreamFusion.
Magic3D voi myös muokata 3D-verkkoja lennossa. Matalaresoluutiolla 3D-mallilla ja perustyökaluvihjeellä voit muuttaa tekstiä muuttaaksesi tuloksena olevaa mallia. Magic3D osoittaa myös saman juonen säilymisen useiden sukupolvien ajan (käsite, jota usein kutsutaan koherenssiksi) ja 2D-kuvatyylin (kuten kubistisen maalauksen) soveltamista 3D-malliin.
NVIDIA ei julkaissut Magic3D-koodia tutkimustyössään.
Kyky luoda 3D:tä tekstistä näyttää luonnolliselta kehitykseltä nykyaikaisissa diffuusiomalleissa, jotka käyttävät hermoverkkoja uuden sisällön syntetisoimiseen intensiivisen datajoukon harjoittamisen jälkeen. Vasta vuonna 2022 näimme tehokkaiden tekstistä kuvaksi -mallien, kuten DALL-E:n ja Stable Diffusionin, sekä Googlen ja Metan alkeelliset tekstistä videoksi -generaattorit.
Mitä tulee Magic3D:hen, sen takana olevat tutkijat toivovat, että sen avulla kuka tahansa voi luoda 3D-malleja ilman erityiskoulutusta. Jalostettuaan tuloksena oleva tekniikka voi nopeuttaa videopelien (ja virtuaalitodellisuuden) kehitystä, ja sitä voidaan lopulta käyttää elokuvien ja television erikoistehosteissa. Artikkelinsa lopussa he kirjoittavat: "Toivomme, että Magic3D:n avulla voimme demokratisoida 3D-synteesin ja vapauttaa jokaisen luovan potentiaalin 3D-sisällön luomisessa."
Voit auttaa Ukrainaa taistelemaan venäläisiä hyökkääjiä vastaan. Paras tapa tehdä tämä on lahjoittaa varoja Ukrainan asevoimille Pelasta elämä tai virallisen sivun kautta NBU.
Lue myös:
- Ruotsissa he oppivat tulostamaan mikroelektroniikkaa 3D-tulostimilla
- Pölyä voidaan käyttää 3D-tulostukseen Marsissa