ifihan
Agbara lati yi aworan kan pada si awoṣe 3D alaye ti pẹ ni wiwa ni aaye ti oju kọmputa ati ipilẹṣẹ AI. Iduroṣinṣin AI's TripoSR ṣe samisi fifo pataki siwaju ninu ibeere yii, nfunni ni ọna rogbodiyan si atunkọ 3D lati awọn aworan. O fi agbara fun awọn oniwadi, awọn olupilẹṣẹ, ati awọn iṣelọpọ pẹlu iyara ti ko lẹgbẹ ati deede ni yiyi awọn iwo 2D pada si awọn aṣoju 3D immersive. Pẹlupẹlu, awoṣe imotuntun ṣii ẹgbẹẹgbẹrun awọn ohun elo kọja awọn aaye oriṣiriṣi, lati awọn aworan kọnputa ati foju otito si robotikisi ati aworan iṣoogun. Ninu nkan yii, a yoo lọ sinu faaji, ṣiṣẹ, awọn ẹya, ati awọn ohun elo ti awoṣe Stability AI's TripoSR.
Atọka akoonu
Kini TripoSR?
TripoSR jẹ awoṣe atunkọ 3D ti o lo Amunawa faaji fun kikọ sii-iyara iran 3D, ti n ṣe agbejade 3D apapo lati aworan kan ni labẹ awọn aaya 0.5. O ti kọ sori faaji nẹtiwọọki LRM ati pe o ṣepọ awọn ilọsiwaju idaran ninu ṣiṣe data, Apẹrẹ awoṣe, ati awọn ilana ikẹkọ. Awoṣe naa jẹ idasilẹ labẹ iwe-aṣẹ MIT, ni ero lati fi agbara fun awọn oniwadi, awọn idagbasoke, ati awọn ẹda pẹlu awọn ilọsiwaju tuntun ni 3D ipilẹṣẹ AI.
LRM Architecture ti iduroṣinṣin AI's TripoSR
Iru si LRM, TripoSR leverages awọn transformer faaji ati ti wa ni pataki apẹrẹ fun nikan-aworan 3D atunkọ. O gba aworan RGB kan bi titẹ sii ati ṣe agbejade aṣoju 3D ti ohun naa ninu aworan naa. Kokoro ti TripoSR pẹlu awọn paati mẹta: koodu koodu, aworan-si-triplane decoder, ati aaye itanna ti o da lori mẹta-mẹta (NeRF). Jẹ ká ni oye kọọkan ninu awọn wọnyi irinše kedere.
Aworan kooduopo
Ayipada aworan ti wa ni ipilẹṣẹ pẹlu awoṣe oluyipada iran ti a ti kọ tẹlẹ, DINov1. Awoṣe yii ṣe akanṣe aworan RGB kan sinu ṣeto ti awọn olutọpa ifarabalẹ fifi koodu agbaye ati awọn ẹya agbegbe ti aworan naa. Awọn olutọpa wọnyi ni alaye pataki lati tun ṣe ohun 3D naa.
Aworan-si-Triplane Decoder
Aworan-si-triplane decoder ṣe iyipada awọn apanirun wiwaba si aṣoju triplane-NeRF. Eyi jẹ iwapọ ati aṣoju 3D ikosile ti o dara fun awọn apẹrẹ eka ati awọn awoara. O ni akopọ ti awọn fẹlẹfẹlẹ transformer, ọkọọkan pẹlu ipele akiyesi ara-ẹni ati ipele akiyesi agbelebu. Eyi ngbanilaaye oluyipada lati lọ si awọn oriṣiriṣi awọn ẹya ti aṣoju mẹta ati kọ awọn ibatan laarin wọn.
Aaye Radiance Neural ti o da lori ọkọ ofurufu mẹta (NeRF)
Awoṣe NeRF ti o da mẹtalane ni akopọ ti awọn perceptrons multilayer ti o ni iduro fun asọtẹlẹ awọ ati iwuwo ti aaye 3D ni aaye. Ẹya paati yii ṣe ipa to ṣe pataki ni deede aṣoju apẹrẹ ati ohun elo 3D.
Bawo ni Awọn eroja wọnyi Ṣiṣẹ Papọ?
Ẹya aworan naa n gba awọn ẹya agbaye ati agbegbe ti aworan titẹ sii. Iwọnyi yoo yipada si aṣoju triplane-NeRF nipasẹ oluyipada aworan-si-ọkọ ofurufu. Awoṣe NeRF siwaju sii ilana aṣoju yii lati ṣe asọtẹlẹ awọ ati iwuwo ti awọn aaye 3D ni aaye. Nipa sisọpọ awọn paati wọnyi, TripoSR ṣaṣeyọri kikọ sii-siwaju 3D iran pẹlu didara atunkọ giga ati ṣiṣe iṣiro.
Awọn ilọsiwaju Imọ-ẹrọ TripoSR
Ni ilepa ti imudara 3D generative AI, TripoSR ṣafihan ọpọlọpọ awọn ilọsiwaju imọ-ẹrọ ti o ni ero lati fi agbara ṣiṣẹ ati iṣẹ ṣiṣe. Awọn ilọsiwaju wọnyi pẹlu awọn ilana imudara data fun ikẹkọ imudara, awọn ilana imudara fun didara atunkọ iṣapeye, ati awọn atunṣe iṣeto awoṣe fun iwọntunwọnsi iyara ati deede. Jẹ ki a ṣawari awọn wọnyi siwaju sii.
Awọn ilana Imudaniloju Data fun Ikẹkọ Ilọsiwaju
TripoSR ṣafikun awọn imọ-ẹrọ ṣiṣatunṣe data to nipọn lati ṣe atilẹyin didara data ikẹkọ. Nipa yiyan yiyan ipin kan ti dataset Objaverse labẹ iwe-aṣẹ CC-BY, awoṣe ṣe idaniloju pe data ikẹkọ jẹ didara ga. Ilana isọdọtun mọọmọ yii ni ero lati jẹki agbara awoṣe lati ṣe gbogbogbo ati gbejade awọn atunto 3D deede. Ni afikun, awoṣe naa ṣe agbega oniruuru oniruuru ti awọn ilana imupadabọ data lati fara wé awọn pinpin aworan gidi-aye ni pẹkipẹki. Eyi tun mu agbara rẹ pọ si lati mu ọpọlọpọ awọn oju iṣẹlẹ ati gbejade awọn atunkọ didara ga.
Awọn ilana Rendering fun Didara Atunkọ Iṣapeye
Lati je ki didara atunkọ, TripoSR lo awọn ilana ṣiṣe ti o ṣe iwọntunwọnsi ṣiṣe iṣiro ati granularity atunkọ. Lakoko ikẹkọ, awoṣe n ṣe awọn abulẹ laileto iwọn 128 × 128 lati awọn aworan ipinnu ipinnu 512 × 512 atilẹba. Nigbakanna, o ni imunadoko ṣakoso iṣiro ati awọn ẹru iranti GPU. Pẹlupẹlu, TripoSR ṣe imuse ilana iṣapẹẹrẹ pataki kan lati tẹnumọ awọn agbegbe iwaju, ni idaniloju awọn atunkọ otitọ ti awọn alaye dada ohun. Awọn ilana imupadabọ wọnyi ṣe alabapin si agbara awoṣe lati ṣe agbejade awọn atunkọ 3D ti o ga julọ lakoko mimu ṣiṣe ṣiṣe iṣiro.
Awọn atunṣe Iṣeto Awoṣe fun Iwontunwonsi Iyara ati Yiye
Ninu igbiyanju lati iwọntunwọnsi iyara ati deede, TripoSR ṣe awọn atunṣe iṣeto awoṣe ilana. Awoṣe naa gbagbe imuduro paramita kamẹra ti o han gbangba, ngbanilaaye lati “roye” awọn aye kamẹra lakoko ikẹkọ ati itọkasi. Ọna yii ṣe imudara imudọgba ti awoṣe ati irẹwẹsi si awọn aworan igbewọle gidi-aye, imukuro iwulo fun alaye kamẹra to peye.
Ni afikun, TripoSR tun ṣafihan awọn ilọsiwaju imọ-ẹrọ ni nọmba awọn fẹlẹfẹlẹ ninu oluyipada ati awọn iwọn ti awọn ọna mẹta. Awọn pato ti awoṣe NeRF ati awọn atunto ikẹkọ akọkọ ti tun ti ni ilọsiwaju. Awọn atunṣe wọnyi ṣe alabapin si agbara awoṣe lati ṣaṣeyọri iran awoṣe 3D iyara pẹlu iṣakoso kongẹ lori awọn awoṣe iṣelọpọ.
Iṣe TripoSR lori Awọn iwe data gbangba
Bayi jẹ ki a ṣe iṣiro iṣẹ TripoSR lori awọn ipilẹ data ti gbogbo eniyan nipa lilo ọpọlọpọ awọn metiriki igbelewọn, ati ifiwera awọn abajade rẹ pẹlu awọn ọna-ti-ti-aworan.
Awọn Metiriki Igbelewọn fun Atunkọ 3D
Lati ṣe ayẹwo iṣẹ ti TripoSR, a lo eto awọn metiriki igbelewọn fun atunkọ 3D. A ṣe atunto awọn ipilẹ data gbangba meji, GSO ati OmniObject3D, fun awọn igbelewọn, ni idaniloju akojọpọ oniruuru ati asoju ti awọn nkan ti o wọpọ.
Awọn metiriki igbelewọn pẹlu Chamfer Distance (CD) ati F-score (FS), eyiti o jẹ iṣiro nipasẹ yiyo isosurface ni lilo Marching Cubes lati yi awọn aṣoju 3D ti ko tọ si awọn meshes. Ni afikun, a lo ọna wiwa ipa-ipa lati ṣe ibamu awọn asọtẹlẹ pẹlu awọn apẹrẹ otitọ ilẹ, ti o dara julọ fun CD ti o kere julọ. Awọn metiriki wọnyi jẹki igbelewọn okeerẹ ti didara atunkọ TripoSR ati deede.
Ifiwera TripoSR pẹlu Awọn ọna Ilu-ti-Aworan
A ṣe afiwe TripoSR ni iwọn pẹlu awọn ipilẹ-ipilẹ-ti-ti-aworan ti o wa tẹlẹ lori atunkọ 3D ti o lo awọn ilana ifunni-siwaju, pẹlu Ọkan-2-3-45, TriplaneGaussian (TGS), ZeroShape, ati OpenLRM. Ifiwewe naa ṣe afihan pe TripoSR ṣe pataki ju gbogbo awọn ipilẹsẹ lọ ni awọn ofin ti CD ati awọn metiriki FS, ṣiṣe aṣeyọri iṣẹ-iṣe-ti-ti-aworan tuntun lori iṣẹ-ṣiṣe yii.
Pẹlupẹlu, a ṣe afihan idite 2D ti awọn ilana oriṣiriṣi pẹlu awọn akoko ifọkasi lẹgbẹẹ x-axis ati aropin F-Score lẹba y-axis. Eyi ṣe afihan pe TripoSR wa laarin awọn nẹtiwọọki ti o yara ju lakoko ti o tun jẹ awoṣe atunkọ-ifunni siwaju 3D ti o dara julọ.
Awọn abajade pipo ati Didara
Awọn abajade pipo ṣe afihan iṣẹ iyasọtọ ti TripoSR, pẹlu awọn ilọsiwaju F-Score kọja awọn iloro oriṣiriṣi, pẹlu [imeeli ni idaabobo], [imeeli ni idaabobo], Ati [imeeli ni idaabobo]. Awọn metiriki wọnyi ṣe afihan agbara TripoSR lati ṣaṣeyọri pipe ati deede ni atunkọ 3D. Ni afikun, awọn abajade agbara, bi a ti ṣe afihan ni Nọmba 3, pese lafiwe wiwo ti awọn meshes iṣelọpọ TripoSR pẹlu awọn ọna-ti-ti-aworan miiran lori GSO ati awọn ipilẹ data OmniObject3D.
Ifiwewe wiwo ṣe afihan didara TripoSR pataki ti o ga julọ ati awọn alaye to dara julọ ni awọn apẹrẹ 3D ti a tun ṣe ati awọn awoara ni akawe si awọn ọna iṣaaju. Iwọn pipo ati awọn abajade agbara ṣe afihan ilọsiwaju ti TripoSR ni atunkọ 3D.
Ojo iwaju ti Atunṣe 3D pẹlu TripoSR
TripoSR, pẹlu awọn agbara iran 3D kikọ sii-iyara, ni agbara pataki fun ọpọlọpọ awọn ohun elo kọja awọn aaye oriṣiriṣi. Ni afikun, iwadii ti nlọ lọwọ ati awọn igbiyanju idagbasoke n ṣe ọna fun awọn ilọsiwaju siwaju ni agbegbe ti ipilẹṣẹ 3D AI.
Awọn ohun elo ti o pọju ti TripoSR ni Awọn aaye oriṣiriṣi
Ifihan ti TripoSR ti ṣii ẹgbẹẹgbẹrun awọn ohun elo ti o ni agbara ni awọn aaye oriṣiriṣi. Ni agbegbe ti AI, agbara TripoSR lati ṣe agbejade awọn awoṣe 3D ti o ni agbara giga lati awọn aworan ẹyọkan le ni ipa ni pataki si idagbasoke ti awọn awoṣe ipilẹṣẹ AI 3D ti ilọsiwaju. Siwaju si, ni iran kọmputa, TripoSR ká superior išẹ ni 3D atunkọ le mu awọn išedede ati konge ti ohun idanimọ ati awọn ipele oye.
Ni aaye ti awọn aworan kọnputa, agbara TripoSR lati ṣe agbejade awọn ohun 3D alaye lati awọn aworan ẹyọkan le ṣe iyipada ẹda ti awọn agbegbe foju ati akoonu oni-nọmba. Pẹlupẹlu, ni aaye ti o gbooro ti AI ati iran kọnputa, ṣiṣe ati iṣẹ ṣiṣe TripoSR le ṣe ilọsiwaju ilọsiwaju ninu awọn ohun elo bii awọn ẹrọ-robotik, otitọ ti a pọ si, otito foju, ati aworan iṣoogun.
Iwadi ti nlọ lọwọ ati Idagbasoke fun Awọn Ilọsiwaju Siwaju sii
Itusilẹ ti TripoSR labẹ iwe-aṣẹ MIT ti fa iwadii ti nlọ lọwọ ati awọn akitiyan idagbasoke ti o ni ero lati ni ilọsiwaju siwaju 3D generative AI. Awọn oniwadi ati awọn olupilẹṣẹ n ṣawari ni itara awọn ọna lati jẹki awọn agbara TripoSR, pẹlu imudara iṣẹ ṣiṣe rẹ, fifẹ ohun elo rẹ si awọn agbegbe oriṣiriṣi, ati isọdọtun didara atunkọ rẹ.
Ni afikun, awọn akitiyan ti nlọ lọwọ wa ni idojukọ lori jijẹ TripoSR fun awọn oju iṣẹlẹ gidi-aye, ni idaniloju agbara ati isọdọtun si ọpọlọpọ awọn aworan igbewọle. Pẹlupẹlu, iseda orisun-ìmọ ti TripoSR ti ṣe agbekalẹ awọn ipilẹṣẹ iwadii ifowosowopo, ṣiṣe idagbasoke idagbasoke ti awọn ilana imotuntun ati awọn ilana fun atunkọ 3D.
Awọn iwadi ti nlọ lọwọ ati awọn igbiyanju idagbasoke ti wa ni imurasilẹ lati tan TripoSR si awọn giga titun, ti o ni idaniloju ipo rẹ gẹgẹbi awoṣe asiwaju ni aaye ti 3D generative AI.
ipari
Aṣeyọri iyalẹnu TripoSR ni iṣelọpọ awọn awoṣe 3D ti o ni agbara giga lati aworan kan ni labẹ awọn aaya 0.5 jẹ ẹri si awọn ilọsiwaju iyara ni AI ipilẹṣẹ. Nipa pipọpọ awọn ile-itumọ ẹrọ oluyipada-ti-ti-aworan, awọn imọ-ẹrọ ṣiṣatunṣe data ti o ṣoki, ati awọn isunmọ ṣiṣe iṣapeye, TripoSR ti ṣeto ala tuntun fun atunkọ 3D siwaju kikọ sii.
Bi awọn oniwadi ati awọn olupilẹṣẹ ṣe tẹsiwaju lati ṣawari agbara ti awoṣe orisun-ìmọ, ọjọ iwaju ti ipilẹṣẹ 3D AI han imọlẹ ju lailai. Awọn ohun elo rẹ ni awọn agbegbe oniruuru, lati awọn aworan kọnputa ati awọn agbegbe foju si awọn ẹrọ roboti ati aworan iṣoogun, ti n ṣe idagbasoke idagbasoke ti o ni ileri ni ọjọ iwaju. Nitorinaa, TripoSR ti ṣetan lati wakọ imotuntun ati ṣiṣi awọn aala tuntun ni awọn aaye nibiti iwoye 3D ati atunkọ ṣe ipa pataki kan.
Ni ife kika yi? O le ṣawari ọpọlọpọ diẹ sii iru awọn irinṣẹ AI ati awọn ohun elo wọn Nibi.
- SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
- PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
- PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
- PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
- PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
- Orisun: https://www.analyticsvidhya.com/blog/2024/03/stability-ais-triposr-from-image-to-3d-model-in-seconds/
