أحد أهم التحديات المستمرة التي تواجه الشركات التي تعمل على تطوير الذكاء الاصطناعي هو دمج كميات هائلة من بيانات المؤسسة ضمن نماذج الذكاء الاصطناعي الخاصة بها.

تعتبر هذه البيانات بمثابة شريان الحياة للعديد من تطبيقات الذكاء الاصطناعي، ولكن إدارتها يمكن أن تكون عملية معقدة وتستغرق وقتًا طويلاً. يهدف Snorkel Flow، وهو تحديث حديث لمنصة Snorkel AI، إلى تبسيط هذه العملية للشركات التي تتطلع إلى الاستفادة من اللاما 3، نموذج ذكاء اصطناعي قوي من Meta AI، و الجوزاء منظمة العفو الدولية، نموذج آخر متقدم للذكاء الاصطناعي من Google.

لماذا تعد إدارة بيانات المؤسسة أمرًا بالغ الأهمية؟

تشمل بيانات المؤسسة مجموعة واسعة من المعلومات التي تجمعها الشركات أثناء عملياتها اليومية. يمكن أن يشمل ذلك بيانات العملاء والسجلات المالية ونتائج الحملات التسويقية وبيانات الاستشعار من الآلات وغير ذلك الكثير. تعد إدارة هذه البيانات بشكل فعال أمرًا بالغ الأهمية لعدة أسباب.

أولاً، يسمح للشركات بتحديد الاتجاهات والأنماط التي قد يتم تفويتها. على سبيل المثال، من خلال تحليل سجل شراء العملاء، يمكن للشركة اكتشاف المنتجات التي يتم شراؤها معًا بشكل متكرر، مما يسمح لها بتصميم العروض الترويجية واستراتيجيات وضع المنتج.

ثانياً، يمكن استخدام بيانات المؤسسة لتحسين عملية صنع القرار. على سبيل المثال، قد تقوم مؤسسة مالية بتحليل بيانات القروض التاريخية لتطوير نماذج أكثر دقة لتقييم المخاطر. وأخيرًا، تعد بيانات المؤسسة ضرورية لتدريب نماذج الذكاء الاصطناعي. تتطلب هذه النماذج كميات هائلة من البيانات المصنفة للتعلم وتنفيذ المهام بفعالية.

ومع ذلك، فإن إدارة هذه البيانات يمكن أن تشكل تحديًا كبيرًا. غالبًا ما تتواجد بيانات المؤسسة بتنسيقات ومواقع مختلفة، مما يجعل من الصعب الوصول إليها وتكاملها. يمكن أيضًا أن تكون عملية تصنيف البيانات للتدريب على الذكاء الاصطناعي باهظة الثمن وتستغرق وقتًا طويلاً.

هنا أين تدفق الغطس يأتي فيها

ترويض طوفان البيانات

يعد Snorkel Flow تحديثًا لمنصة Snorkel AI المصممة لتبسيط تكامل بيانات المؤسسة مع نماذج الذكاء الاصطناعي، وخاصة Llama 3 وGemini AI. يستخدم Snorkel تقنية تسمى التصنيف الضعيف، والتي تتيح للمستخدمين الاستفادة من البيانات غير المسماة لأغراض التدريب. ويتم تحقيق ذلك من خلال تحديد الاستدلالات، أو "وظائف التصنيف" التي يمكنها تعيين تسميات تلقائيًا لنقاط البيانات بناءً على معايير محددة.

على سبيل المثال، تخيل شركة ترغب في تدريب نموذج الذكاء الاصطناعي لتحديد تذاكر دعم العملاء التي تتطلب اهتمامًا عاجلاً. يمكن إنشاء وظيفة وضع العلامات لتحديد التذاكر التي تحتوي على كلمات رئيسية أو عبارات محددة، مثل "عاجل" أو "حرج". على الرغم من أن هذه التسميات قد لا تكون مثالية، إلا أنها لا تزال ذات قيمة لتدريب نموذج الذكاء الاصطناعي.

يعتمد Snorkel Flow على هذا المفهوم من خلال تقديم سير عمل مبسط لإدارة عملية تصنيف البيانات. فهو يتيح للمستخدمين تحديد وظائف وضع العلامات وإدارة مصادر البيانات ومراقبة جودة الملصقات التي تم إنشاؤها. يمكن أن يؤدي ذلك إلى تقليل الوقت والموارد اللازمة لإعداد بيانات المؤسسة للتدريب على الذكاء الاصطناعي بشكل كبير.

توسيع LLM وتكامل مصادر البيانات

في باقة بلوق وظيفة، شرح Snorkel AI بالتفصيل الابتكارات التي قدموها إلى Snorkel Flow. فيما يلي ميزات تدفق الغطس المتجدد:

• التكامل LLM: يدعم Snorkel Flow الآن الضبط الدقيق ليس فقط للنماذج القائمة ولكن أيضًا لعائلة Gemini من Google وMeta's Llama 3. وهذا يوسع الخيارات المتاحة للشركات لاختيار LLM الأكثر ملاءمة لاحتياجاتها.
• مصدر البيانات: التكامل: تعمل عمليات التكامل الجديدة مع Databricks Unity Catalog وVertex AI وMicrosoft Azure Machine Learning على تبسيط الوصول إلى البيانات لأغراض التصنيف والتنظيم والتطوير. يمكن للشركات الاستفادة من البنية التحتية الحالية للبيانات الخاصة بها ضمن Snorkel Flow.

دعم البيانات المتعددة الوسائط (تجريبي)

• معالجة الصور: يقدم Snorkel Flow وظائف وضع العلامات الآلية للصور (حاليًا في مرحلة تجريبية). يتيح ذلك للشركات الاستفادة من بيانات الصور جنبًا إلى جنب مع البيانات النصية لتدريب LLM. يمكن للشركات استخدام هذه الميزة لاستخراج الرؤى من البيانات المرئية ودمجها مع حلول الذكاء الاصطناعي الخاصة بها.

تعزيز الأمن وإمكانية الوصول

• التحكم في الوصول المستند إلى الدور (RBAC): تمنح هذه الميزة المسؤولين تحكمًا دقيقًا في الوصول إلى البيانات داخل Snorkel Flow. وهذا يضمن حماية المعلومات الحساسة عن طريق تقييد الوصول إلى مستخدمين محددين ومصادر بيانات محددة.
  تحسين معالجة المستندات:
• نموذج الأساس (FM) لسير عمل PDF: يشتمل Snorkel Flow الآن على واجهة مستخدم مخصصة لمطالبة PDF لتصنيف ملفات PDF. يعمل هذا على تعزيز النماذج الأساسية المتقدمة لتبسيط عملية استخلاص الرؤى القيمة من المستندات المعقدة.

تكامل LLM المبسط:

• SDK المحسن: تتيح حزمة SDK التي تمت ترقيتها تكاملًا أسهل مع العديد من خدمات LLM المخصصة، مما يوفر للشركات مرونة أكبر في عملية تطوير الذكاء الاصطناعي الخاصة بها.
• تكامل قوالب البيانات: يتيح التوافق السلس مع Databricks Unity Catalog نشر النماذج بسهولة ضمن مسارات العمل الحالية. يتوفر تكامل مماثل مع Vertex AI وAzure Machine Learning.

شرح مبسط للبيانات

• تعليق توضيحي للمهام المتعددة (معاينة إصدار R2): تتيح هذه الميزة، قيد المعاينة حاليًا، للشركات الصغيرة والمتوسطة (الخبراء في الموضوع) إضافة تعليقات توضيحية إلى البيانات لمهام متعددة ضمن مشروع واحد. يؤدي ذلك إلى تحسين الكفاءة عن طريق تقليل وقت إعداد المشروع وتبسيط سير العمل.

التكامل مع Llama 3 وGemini AI

يتكامل Snorkel Flow بشكل خاص مع Llama 3 وGemini AI، وهما نموذجان قويان للذكاء الاصطناعي. Llama 3، الذي طورته Meta AI، هو نموذج لغة واقعي، تم تدريبه على مجموعة بيانات ضخمة من النصوص والتعليمات البرمجية. وهذا يسمح لها بفهم الاستفسارات المعقدة والرد عليها بطريقة إعلامية. من ناحية أخرى، يعد Gemini AI نموذجًا لغويًا توليديًا قادرًا على إنشاء تنسيقات نصية إبداعية مختلفة، مثل القصائد والرموز والنصوص والمقطوعات الموسيقية والبريد الإلكتروني والرسائل وما إلى ذلك.

ومن خلال دمج Snorkel Flow مع هذه النماذج، يمكن للشركات الاستفادة من قوة الذكاء الاصطناعي لاستخراج الرؤى من بيانات المؤسسة وأتمتة المهام المختلفة. على سبيل المثال، يمكن استخدام Llama 3 لتحليل آراء العملاء وتحديد المواضيع أو الشكاوى المشتركة. وفي الوقت نفسه، يمكن استخدام Gemini AI لإنشاء نسخة تسويقية إبداعية أو أوصاف المنتج بناءً على البيانات الموجودة.

من خلال تبسيط عملية تصنيف البيانات وتوفير التوافق مع النماذج القوية مثل Llama 3 وGemini AI، تتمتع Snorkel Flow بالقدرة على فتح إمكانيات جديدة للشركات التي تتطلع إلى الاستفادة من قوة الذكاء الاصطناعي.

رصيد الصورة المميز: Rawpixel.com/Freepik

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://dataconomy.com/2024/04/25/snorkel-flow-enterprise-data-management/