المُقدّمة
إن القدرة على تحويل صورة واحدة إلى نموذج ثلاثي الأبعاد مفصل كانت منذ فترة طويلة سعيًا في هذا المجال رؤية الكمبيوتر و الذكاء الاصطناعي التوليدي. يمثل نظام TripoSR الخاص بثبات الذكاء الاصطناعي قفزة كبيرة للأمام في هذا المسعى، حيث يقدم نهجًا ثوريًا لإعادة البناء ثلاثي الأبعاد من الصور. إنه يمكّن الباحثين والمطورين والمبدعين بسرعة ودقة لا مثيل لهما في تحويل المرئيات ثنائية الأبعاد إلى تمثيلات ثلاثية الأبعاد غامرة. علاوة على ذلك، يفتح النموذج المبتكر عددًا لا يحصى من التطبيقات في مجالات متنوعة، بدءًا من رسومات الكمبيوتر و الواقع الافتراضي إلى الروبوتات و التصوير الطبي. في هذه المقالة، سوف نتعمق في البنية والعمل والميزات والتطبيقات لنموذج TripoSR الخاص بـ Stability AI.
جدول المحتويات
ما هو تريبوسر؟
TripoSR هو نموذج إعادة بناء ثلاثي الأبعاد يستفيد منه محول بنية للجيل ثلاثي الأبعاد سريع التغذية، مما يؤدي إلى إنتاج شبكة ثلاثية الأبعاد من صورة واحدة في أقل من 3 ثانية. إنه مبني على بنية شبكة LRM ويدمج تحسينات كبيرة في معالجة المعلوماتوتصميم النماذج وتقنيات التدريب. تم إصدار النموذج بموجب ترخيص معهد ماساتشوستس للتكنولوجيا (MIT)، بهدف تمكين الباحثين والمطورين والمبدعين بأحدث التطورات في مجال التكنولوجيا الذكاء الاصطناعي التوليدي ثلاثي الأبعاد.
بنية LRM للاستقرار AI's TripoSR
على غرار LRM، يستفيد TripoSR من بنية المحولات وهو مصمم خصيصًا لإعادة البناء ثلاثي الأبعاد لصورة واحدة. يأخذ صورة RGB واحدة كمدخل ويخرج تمثيلًا ثلاثي الأبعاد للكائن الموجود في الصورة. يتضمن جوهر TripoSR ثلاثة مكونات: أداة تشفير الصور، ووحدة فك ترميز الصورة إلى الطائرة الثلاثية، ومجال الإشعاع العصبي القائم على الطائرة الثلاثية (نيرف). دعونا نفهم كل من هذه المكونات بوضوح.
تشفير الصور
تتم تهيئة برنامج تشفير الصور باستخدام نموذج محول رؤية تم تدريبه مسبقًا، DINOv1. يعرض هذا النموذج صورة RGB في مجموعة من المتجهات الكامنة التي تشفر الميزات العالمية والمحلية للصورة. تحتوي هذه المتجهات على المعلومات الضرورية لإعادة بناء الكائن ثلاثي الأبعاد.
وحدة فك ترميز الصورة إلى الطائرة الثلاثية
يقوم جهاز فك ترميز الصورة إلى الطائرة الثلاثية بتحويل المتجهات الكامنة إلى تمثيل الطائرة الثلاثية NeRF. هذا تمثيل ثلاثي الأبعاد مدمج ومعبر مناسب للأشكال والأنسجة المعقدة. وتتكون من مجموعة من طبقات المحولات، تحتوي كل منها على طبقة انتباه ذاتي وطبقة انتباه متقاطع. يسمح ذلك لجهاز فك التشفير بالاهتمام بأجزاء مختلفة من تمثيل الطائرة الثلاثية ومعرفة العلاقات بينها.
مجال الإشعاع العصبي القائم على الطائرة الثلاثية (NeRF)
يشتمل نموذج NeRF القائم على الطائرة الثلاثية على مجموعة من الإدراك الحسي متعدد الطبقات المسؤول عن التنبؤ بلون وكثافة نقطة ثلاثية الأبعاد في الفضاء. يلعب هذا المكون دورًا حاسمًا في تمثيل شكل الكائن الثلاثي الأبعاد وملمسه بدقة.
كيف تعمل هذه المكونات معًا؟
يلتقط برنامج تشفير الصور الميزات العالمية والمحلية لصورة الإدخال. يتم بعد ذلك تحويلها إلى تمثيل ثلاثي المستوى-NeRF بواسطة وحدة فك ترميز الصورة إلى الثلاثية. يقوم نموذج NeRF أيضًا بمعالجة هذا التمثيل للتنبؤ بلون وكثافة النقاط ثلاثية الأبعاد في الفضاء. من خلال دمج هذه المكونات، يحقق TripoSR توليدًا سريعًا للتغذية ثلاثية الأبعاد بجودة إعادة بناء عالية وكفاءة حسابية.
التطورات التقنية في TripoSR
في سعيها لتعزيز الذكاء الاصطناعي التوليدي ثلاثي الأبعاد، تقدم TripoSR العديد من التطورات التقنية التي تهدف إلى تعزيز الكفاءة والأداء. تتضمن هذه التطورات تقنيات معالجة البيانات لتعزيز التدريب، وتقنيات العرض لتحسين جودة إعادة الإعمار، وتعديلات تكوين النموذج لتحقيق التوازن بين السرعة والدقة. دعونا نستكشف هذه الأمور بشكل أكبر.
تقنيات معالجة البيانات لتعزيز التدريب
يتضمن TripoSR تقنيات دقيقة لتنظيم البيانات لتعزيز جودة بيانات التدريب. من خلال التنظيم الانتقائي لمجموعة فرعية من مجموعة بيانات Objaverse بموجب ترخيص CC-BY، يضمن النموذج أن بيانات التدريب ذات جودة عالية. تهدف عملية التنظيم المتعمدة هذه إلى تعزيز قدرة النموذج على تعميم وإنتاج عمليات إعادة بناء ثلاثية الأبعاد دقيقة. بالإضافة إلى ذلك، يستفيد النموذج من مجموعة متنوعة من تقنيات عرض البيانات لمحاكاة توزيعات الصور في العالم الحقيقي عن كثب. وهذا يزيد من قدرتها على التعامل مع مجموعة واسعة من السيناريوهات وإنتاج عمليات إعادة بناء عالية الجودة.
تقديم تقنيات لتحسين جودة إعادة الإعمار
لتحسين جودة إعادة الإعمار، يستخدم TripoSR تقنيات العرض التي توازن بين الكفاءة الحسابية وتفاصيل إعادة الإعمار. أثناء التدريب، يعرض النموذج تصحيحات عشوائية بحجم 128 × 128 من صور أصلية بدقة 512 × 512. وفي الوقت نفسه، فإنه يدير بشكل فعال أحمال الذاكرة الحسابية ووحدة معالجة الرسومات. علاوة على ذلك، ينفذ TripoSR استراتيجية مهمة لأخذ العينات للتأكيد على المناطق الأمامية، مما يضمن إعادة بناء دقيقة لتفاصيل سطح الجسم. تساهم تقنيات العرض هذه في قدرة النموذج على إنتاج عمليات إعادة بناء ثلاثية الأبعاد عالية الجودة مع الحفاظ على الكفاءة الحسابية.
تعديلات تكوين النموذج لموازنة السرعة والدقة
في محاولة لتحقيق التوازن بين السرعة والدقة، يقوم TripoSR بإجراء تعديلات استراتيجية على تكوين النموذج. يتجاهل النموذج التكييف الصريح لمعلمات الكاميرا، مما يسمح له "بتخمين" معلمات الكاميرا أثناء التدريب والاستدلال. يعزز هذا النهج قدرة النموذج على التكيف ومرونته مع الصور المدخلة في العالم الحقيقي، مما يلغي الحاجة إلى معلومات دقيقة عن الكاميرا.
بالإضافة إلى ذلك، يقدم TripoSR أيضًا تحسينات تقنية في عدد الطبقات في المحول وأبعاد الطائرات الثلاثية. كما تم تحسين تفاصيل نموذج NeRF وتكوينات التدريب الرئيسية. تساهم هذه التعديلات في قدرة النموذج على تحقيق إنشاء نموذج ثلاثي الأبعاد سريعًا مع التحكم الدقيق في نماذج الإخراج.
أداء TripoSR في مجموعات البيانات العامة
الآن دعونا نقيم أداء TripoSR في مجموعات البيانات العامة من خلال استخدام مجموعة من مقاييس التقييم، ومقارنة نتائجها بأحدث الأساليب.
مقاييس التقييم لإعادة الإعمار 3D
لتقييم أداء TripoSR، نستخدم مجموعة من مقاييس التقييم لإعادة الإعمار ثلاثي الأبعاد. نقوم برعاية مجموعتين من البيانات العامة، GSO وOmniObject3D، لإجراء التقييمات، مما يضمن مجموعة متنوعة وتمثيلية من الكائنات المشتركة.
تتضمن مقاييس التقييم مسافة الشطب (CD) ودرجة F (FS)، والتي يتم حسابها عن طريق استخراج السطح المتساوي باستخدام مكعبات Marching لتحويل التمثيلات ثلاثية الأبعاد الضمنية إلى شبكات. بالإضافة إلى ذلك، نحن نستخدم أسلوب بحث القوة الغاشمة لمواءمة التنبؤات مع أشكال الحقيقة الأرضية، مما يؤدي إلى تحسين القرص المضغوط الأدنى. تتيح هذه المقاييس إجراء تقييم شامل لجودة ودقة إعادة الإعمار في TripoSR.
مقارنة TripoSR مع أحدث الأساليب
نحن نقارن كميًا بين TripoSR وخطوط الأساس الحديثة الحالية لإعادة الإعمار ثلاثي الأبعاد التي تستخدم تقنيات التغذية الأمامية، بما في ذلك One-3-2-3 وTriplaneGaussian (TGS) وZeroShape وOpenLRM. تكشف المقارنة أن TripoSR يتفوق بشكل كبير على جميع خطوط الأساس من حيث مقاييس الأقراص المضغوطة وFS، مما يحقق أداءً جديدًا متطورًا في هذه المهمة.
علاوة على ذلك، نقدم مخططًا ثنائي الأبعاد لتقنيات مختلفة مع أوقات الاستدلال على طول المحور السيني ومتوسط درجة F على طول المحور الصادي. يوضح هذا أن TripoSR يعد من بين أسرع الشبكات بينما يعد أيضًا نموذج إعادة البناء ثلاثي الأبعاد الأفضل أداءً.
النتائج الكمية والنوعية
تعرض النتائج الكمية الأداء الاستثنائي لـ TripoSR، مع تحسينات F-Score عبر عتبات مختلفة، بما في ذلك [البريد الإلكتروني محمي], [البريد الإلكتروني محمي]و [البريد الإلكتروني محمي]. توضح هذه المقاييس قدرة TripoSR على تحقيق الدقة العالية في إعادة البناء ثلاثي الأبعاد. بالإضافة إلى ذلك، فإن النتائج النوعية، كما هو موضح في الشكل 3، توفر مقارنة مرئية لشبكات إخراج TripoSR مع الأساليب الحديثة الأخرى في مجموعات بيانات GSO وOmniObject3D.
تسلط المقارنة المرئية الضوء على جودة TripoSR الأعلى بشكل ملحوظ والتفاصيل الأفضل في الأشكال والأنسجة ثلاثية الأبعاد المعاد بناؤها مقارنة بالطرق السابقة. تُظهر هذه النتائج الكمية والنوعية تفوق TripoSR في إعادة البناء ثلاثي الأبعاد.
مستقبل إعادة الإعمار ثلاثي الأبعاد مع TripoSR
يحمل TripoSR، بفضل إمكاناته السريعة في مجال التوليد ثلاثي الأبعاد، إمكانات كبيرة لمختلف التطبيقات في مختلف المجالات. بالإضافة إلى ذلك، تمهد جهود البحث والتطوير المستمرة الطريق لمزيد من التقدم في مجال الذكاء الاصطناعي التوليدي ثلاثي الأبعاد.
التطبيقات المحتملة لـ TripoSR في مختلف المجالات
لقد فتح إدخال TripoSR عددًا لا يحصى من التطبيقات المحتملة في مجالات متنوعة. في مجال الذكاء الاصطناعي، يمكن لقدرة TripoSR على إنشاء نماذج ثلاثية الأبعاد عالية الجودة بسرعة من صور فردية أن تؤثر بشكل كبير على تطوير نماذج الذكاء الاصطناعي التوليدية ثلاثية الأبعاد المتقدمة. علاوة على ذلك، في رؤية الكمبيوتر، يمكن للأداء المتفوق لـ TripoSR في إعادة البناء ثلاثي الأبعاد أن يعزز الدقة والدقة في التعرف على الأشياء وفهم المشهد.
في مجال رسومات الكمبيوتر، يمكن لقدرة TripoSR على إنتاج كائنات ثلاثية الأبعاد مفصلة من صور فردية أن تحدث ثورة في إنشاء البيئات الافتراضية والمحتوى الرقمي. علاوة على ذلك، في السياق الأوسع للذكاء الاصطناعي ورؤية الكمبيوتر، يمكن لكفاءة وأداء TripoSR أن يدفعا التقدم في تطبيقات مثل الروبوتات، والواقع المعزز، والواقع الافتراضي، والتصوير الطبي.
البحث والتطوير المستمر لمزيد من التقدم
أثار إصدار TripoSR بموجب ترخيص معهد ماساتشوستس للتكنولوجيا (MIT) جهود البحث والتطوير المستمرة التي تهدف إلى مواصلة تطوير الذكاء الاصطناعي التوليدي ثلاثي الأبعاد. يستكشف الباحثون والمطورون بشكل نشط طرقًا لتعزيز قدرات TripoSR، بما في ذلك تحسين كفاءته، وتوسيع إمكانية تطبيقه على مجالات متنوعة، وتحسين جودة إعادة الإعمار.
بالإضافة إلى ذلك، تركز الجهود المستمرة على تحسين TripoSR لسيناريوهات العالم الحقيقي، مما يضمن قوته وقدرته على التكيف مع مجموعة واسعة من الصور المدخلة. علاوة على ذلك، عززت طبيعة المصدر المفتوح لـ TripoSR مبادرات البحث التعاوني، مما أدى إلى تطوير تقنيات ومنهجيات مبتكرة لإعادة الإعمار ثلاثي الأبعاد.
تستعد مساعي البحث والتطوير المستمرة هذه لدفع TripoSR إلى آفاق جديدة، مما يعزز مكانتها كنموذج رائد في مجال الذكاء الاصطناعي التوليدي ثلاثي الأبعاد.
وفي الختام
يعد إنجاز TripoSR الرائع في إنتاج نماذج ثلاثية الأبعاد عالية الجودة من صورة واحدة في أقل من 3 ثانية بمثابة شهادة على التقدم السريع في الذكاء الاصطناعي التوليدي. من خلال الجمع بين أحدث بنيات المحولات، وتقنيات معالجة البيانات الدقيقة، وأساليب العرض المحسنة، وضعت TripoSR معيارًا جديدًا لإعادة البناء ثلاثي الأبعاد للتغذية الأمامية.
ومع استمرار الباحثين والمطورين في استكشاف إمكانات هذا النموذج مفتوح المصدر، يبدو مستقبل الذكاء الاصطناعي التوليدي ثلاثي الأبعاد أكثر إشراقًا من أي وقت مضى. تمتد تطبيقاتها إلى مجالات متنوعة، بدءًا من رسومات الكمبيوتر والبيئات الافتراضية وحتى الروبوتات والتصوير الطبي، مما يعد بنمو هائل في المستقبل. ومن ثم، فإن TripoSR مستعدة لدفع الابتكار وفتح آفاق جديدة في المجالات التي يلعب فيها التصور ثلاثي الأبعاد وإعادة الإعمار دورًا حاسمًا.
أحببت قراءة هذا؟ يمكنك استكشاف العديد من أدوات الذكاء الاصطناعي وتطبيقاتها هنا.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://www.analyticsvidhya.com/blog/2024/03/stability-ais-triposr-from-image-to-3d-model-in-seconds/
