OpenAI Point E: Bir GPU-da birnäçe minutda çylşyrymly tolkun formalaryndan 3D nokat buludyny dörediň

“Point-E” atly täze makalada çylşyrymly signallardan 3D nokat bulutlaryny emele getirýän ulgam, OpenAI gözleg topary, çylşyrymly tekst bilen dolandyrylýan dürli we çylşyrymly 3D şekilleri döretmek üçin diffuziýa modellerini ulanýan 3D nokat bulut tekst şertli sintez ulgamy bolan Point E-ni hödürleýär. görkezmeler.bir minutda bir GPU-da.
Häzirki zaman şekil öndürmek modelleriniň ajaýyp öndürijiligi 3D tekst obýektleriniň döremeginde gözleglere itergi berdi.Şeýle-de bolsa, birnäçe minutda ýa-da sekuntda çykyş öndürip bilýän 2D modellerinden tapawutlylykda, bir nusga döretmek üçin obýekt döredýän modeller adatça birnäçe sagat GPU işini talap edýär.
“Point-E” atly täze makalada çylşyrymly signallardan 3D nokat bulutlaryny emele getirýän ulgam, OpenAI gözleg topary 3D nokat bulutlary üçin tekst şertli sintez ulgamy bolan Point · E-ni hödürleýär.Bu täze çemeleşme, bir GPU-da bary-ýogy bir-iki minutda çylşyrymly tekst signallaryndan dürli we çylşyrymly 3D şekilleri döretmek üçin köpeliş modelini ulanýar.
Topar, wirtual hakykatdan we oýundan başlap senagat dizaýnyna çenli hakyky dünýä amaly programmalary üçin 3D mazmuny döretmegi demokratiýalaşdyrmak üçin möhüm bolan teksti 3D görnüşine öwürmek meselesine gönükdirilendir.Teksti 3D görnüşine öwürmek üçin bar bolan usullar iki kategoriýa bölünýär, olaryň hersiniň kemçilikleri bar: 1) öndürijilikli modeller nusgalary netijeli öndürmek üçin ulanylyp bilner, ýöne dürli we çylşyrymly tekst signallary üçin täsirli bolup bilmez;2) çylşyrymly we dürli tekst ýazgylaryny dolandyrmak üçin öňünden taýýarlanan tekst-şekil modeli, ýöne bu çemeleşme hasaplaýyş taýdan intensiw we model manyly ýa-da sazlaşykly 3D obýektlere laýyk gelmeýän ýerli minimada aňsatlyk bilen ýapyşyp biler.
Şonuň üçin topar ýokardaky iki çemeleşmäniň güýçli taraplaryny birleşdirmegi maksat edinýän alternatiw çemeleşmäni gözledi, tekst-şekil jübütleriniň köp toplumynda (dürli we çylşyrymly signallary dolandyrmaga mümkinçilik berýän) tekst-şekil diffuziýa modelini ulanyp we 3D şekil diffuziýa modeli, tekst-şekil jübütleriniň has kiçi toplumynda tälim aldy.surat-3D jübüt maglumat toplumy.Tekst-şekil modeli ilki bilen ýekeje sintetiki şekillendiriş döretmek üçin giriş şekilini alýar we şekil-3D modeli saýlanan surata esaslanyp 3D nokat buludyny döredýär.
Buýrugyň dörediji ýygyndysy, tekstden şertli şekilleri döretmek üçin ýaňy-ýakynda teklip edilen döredijilik esaslaryna esaslanýar (Sohl-Dikşteýn we başg., 2015; Aýdym & Ermon, 2020b; Ho et al., 2020).3 milliard GLIDE parametrli GLIDE modelini ulanýarlar (Nikol we başg., 2021), görkezilen 3D modellerinde tekstden şekile öwrüliş modeli we RGB nokat bulutlaryny döredýän diffuziýa modelleri toplumy. özgeriş modeli.şekiller3D modeller.
Öňki işlerde nokat bulutlaryny gaýtadan işlemek üçin 3D arhitekturasy ulanylan bolsa, gözlegçiler netijeliligi ýokarlandyrmak üçin ýönekeý transduser esasly modeli (Vaswani we başg., 2017) ulandylar.Diffuziýa model arhitekturasynda nokat bulut şekilleri ilki bilen öňünden taýýarlanan ViT-L / 14 CLIP modeline iýmitlenýär, soňra çykyş mesleri marker hökmünde öwrüjä iýmitlenýär.
Topar özleriniň empirik gözleglerinde, teklip edilýän Point · E usulyny COCO obýektini kesgitlemek, segmentasiýa we gol maglumatlar bazalaryndan signallary almak boýunça beýleki döredijilikli 3D modelleri bilen deňeşdirdi.Netijeler, “Point · E” -iň çylşyrymly tekst signallaryndan dürli we çylşyrymly 3D şekilleri döredip biljekdigini we ululyk derejesini bir ýa-da iki sargyt bilen tizleşdirip biljekdigini tassyklaýar.Topar, işleriniň 3D tekst sintezi boýunça has köp gözleglere ylham berjekdigine umyt baglaýar.
Taslamanyň GitHub-da deslapky nokat buludynyň ýaýramagy modeli we baha beriş kody bar.Resminama nokady-E: Çylşyrymly maglumatlardan 3D nokat bulutlaryny döretmek ulgamy arXiv-de.
Haýsydyr bir täzelikleri ýa-da ylmy açyşlary sypdyrmak islemeýändigiňizi bilýäris.Her hepde AI täzelenmelerini almak üçin meşhur Synced Global AI Hepdelik habarlarymyza ýazylyň.