أمازون تيكستراك هي خدمة للتعلم الآلي (ML) تقوم تلقائيًا باستخراج النص والكتابة اليدوية والبيانات من المستندات الممسوحة ضوئيًا. الاستعلامات هي ميزة تمكنك من استخراج أجزاء محددة من المعلومات من مستندات متنوعة ومعقدة باستخدام اللغة الطبيعية. الاستعلامات المخصصة يوفر لك طريقة لتخصيص ميزة الاستعلامات للمستندات غير القياسية الخاصة بنشاطك التجاري، مثل عقود الإقراض التلقائي والشيكات وبيانات الدفع، بطريقة الخدمة الذاتية. من خلال تخصيص الميزة للتعرف على المصطلحات والهياكل والمعلومات الأساسية الفريدة الخاصة بأنواع المستندات هذه، يمكنك تلبية احتياجات المعالجة النهائية لديك بدقة أكبر وبأقل قدر من التدخل البشري. من السهل دمج الاستعلامات المخصصة في مسار Textract الحالي الخاص بك وستستمر في الاستفادة من ميزات معالجة المستندات الذكية المُدارة بالكامل في Amazon Textract دون الحاجة إلى الاستثمار في خبرة تعلم الآلة أو إدارة البنية التحتية.

في هذا المنشور، نعرض كيف يمكن للاستعلامات المخصصة استخراج البيانات بدقة من عمليات التحقق التي تعتبر مستندات معقدة وغير قياسية. بالإضافة إلى ذلك، فإننا نناقش فوائد الاستعلامات المخصصة ونشارك أفضل الممارسات لاستخدام هذه الميزة بشكل فعال.

حل نظرة عامة

عند البدء بحالة استخدام جديدة، يمكنك تقييم كيفية أداء استعلامات Texttract على مستنداتك من خلال الانتقال إلى وحدة التحكم النصية واستخدام العرض التوضيحي لتحليل المستند أو أداة التحميل المجمع للمستندات. تشير إلى أفضل الممارسات للاستعلامات لصياغة الاستعلامات التي تنطبق على حالة الاستخدام الخاصة بك. إذا حددت أخطاء في استجابات الاستعلام بسبب طبيعة مستندات عملك، فيمكنك استخدام الاستعلامات المخصصة لتحسين الدقة. وفي غضون ساعات، يمكنك إضافة تعليقات توضيحية إلى نماذج المستندات الخاصة بك باستخدام الملف وحدة تحكم إدارة AWS وتدريب ان محول. المحولات هي مكونات يتم توصيلها بنموذج التعلم العميق المُدرب مسبقًا في Amazon Textract، وتخصيص مخرجاته بناءً على مستنداتك المشروحة. يمكنك استخدام المحول للاستدلال عن طريق تمرير معرف المحول كمعلمة إضافية إلى ملف تحليل استعلامات الوثيقة طلب واجهة برمجة التطبيقات.

دعونا نتفحص كيف الاستعلامات المخصصة يمكنها تحسين دقة الاستخراج في سيناريوهات واقعية صعبة مثل استخراج البيانات من عمليات التحقق. ينشأ التحدي الأساسي عند معالجة الشيكات من درجة التباين العالية اعتمادًا على النوع (على سبيل المثال، الشيكات الشخصية أو الشيكات المصرفية)، والمؤسسة المالية والبلد (على سبيل المثال، تنسيق خط MICR). . يمكن أن تتضمن هذه الاختلافات موضع اسم المدفوع لأمره، والمبلغ بالأرقام والكلمات، والتاريخ، والتوقيع. يمكن أن يكون التعرف على هذه الاختلافات والتكيف معها مهمة معقدة أثناء استخراج البيانات. لتحسين استخراج البيانات، غالبًا ما تستخدم المؤسسات عمليات التحقق والتحقق اليدوية، مما يزيد من تكلفة ووقت عملية الاستخراج.

تعالج الاستعلامات المخصصة هذه التحديات من خلال تمكينك من تخصيص ميزات الاستعلامات المدربة مسبقًا على الأشكال المختلفة لعمليات التحقق. يساعدك تخصيص الميزة التي تم تدريبها مسبقًا على تحقيق دقة عالية في استخراج البيانات على مجموعة محددة من التخطيطات التي تقوم بمعالجتها.

في حالة الاستخدام الخاصة بنا، تريد مؤسسة مالية استخراج الحقول التالية من الشيك: اسم المدفوع لأمره، واسم الدافع، ورقم الحساب، ورقم التوجيه، ومبلغ الدفع (بالأرقام)، ومبلغ الدفع (بالكلمات)، ورقم الشيك، والتاريخ، و مذكرة.

دعنا نستكشف عملية إنشاء محول (مكون يقوم بتخصيص الإخراج) لمعالجة الشيكات. يمكن إنشاء المحولات عبر وحدة التحكم أو برمجيًا عبر واجهة برمجة التطبيقات. يعرض هذا المنشور تفاصيل تجربة وحدة التحكم؛ ومع ذلك، إذا كنت ترغب في إنشاء المحول برمجيًا، فارجع إلى نماذج التعليمات البرمجية الموجودة في ملف الاستعلامات المخصصة الشيكات-blog.ipynb دفتر Jupyter (الخيار 2).

تتضمن عملية إنشاء المحول خمس خطوات عالية المستوى: إنشاء محول، وتحميل المستندات النموذجية، والتعليق على المستندات، وتدريب المحول، وتقييم مقاييس الأداء.

إنشاء محول

في وحدة تحكم Amazon Textract، قم بإنشاء محول جديد من خلال توفير اسم ووصف وعلامات اختيارية يمكن أن تساعدك في التعرف على المحول. لديك خيار تمكين التحديثات التلقائية، مما يسمح لـ Amazon Textract بتحديث المحول الخاص بك عند تحديث ميزة الاستعلامات الأساسية بإمكانات جديدة.

بعد إنشاء المحول، ستظهر لك صفحة تفاصيل المحول مع قائمة بالخطوات الموجودة في ملف كيف يعمل قسم. سيقوم هذا القسم بتنشيط خطواتك التالية عند إكمالها بالتسلسل.

تحميل المستندات النموذجية

تتضمن المرحلة الأولية في إنشاء المحول الاختيار الدقيق لمجموعة مناسبة من نماذج المستندات للتعليق التوضيحي والتدريب والاختبار. لدينا خيار لتقسيم المستندات تلقائيًا إلى مجموعات بيانات الاختبار والتدريب؛ ومع ذلك، بالنسبة لهذه العملية، قمنا بتقسيم مجموعة البيانات يدويًا.

من المهم ملاحظة أنه يمكنك إنشاء محول باستخدام ما لا يقل عن خمسة اختبارات وخمس عينات تدريب، ولكن من الضروري التأكد من أن مجموعة العينات هذه متنوعة وممثلة لعبء العمل الذي تواجهه في بيئة الإنتاج.

في هذا البرنامج التعليمي، قمنا بتنظيم مجموعات بيانات التحقق من العينات التي يمكنك القيام بها بإمكانك تحميله. تتضمن مجموعة البيانات الخاصة بنا أشكالًا مختلفة مثل الشيكات الشخصية، وشيكات أمين الصندوق، وشيكات التحفيز، والشيكات المضمنة في قسائم الدفع. قمنا أيضًا بتضمين الشيكات المكتوبة بخط اليد والمطبوعة؛ إلى جانب الاختلافات في المجالات مثل سطر المذكرة.

قم بتعليق نماذج المستندات

كخطوة تالية، يمكنك إضافة تعليقات توضيحية إلى نماذج المستندات من خلال ربط الاستعلامات بالإجابات المقابلة لها عبر وحدة التحكم. يمكنك بدء التعليق التوضيحي عبر وضع العلامات التلقائي أو وضع العلامات اليدوية. يستخدم التصنيف التلقائي استعلامات Amazon Textract للتسمية المسبقة لمجموعة البيانات. نوصي باستخدام التصنيف التلقائي لتسريع عملية التعليق التوضيحي.

بالنسبة لحالة استخدام معالجة الشيكات، نستخدم الاستعلامات التالية. إذا كانت حالة الاستخدام الخاصة بك تتضمن أنواعًا أخرى من المستندات، فارجع إلى أفضل الممارسات للاستعلامات لصياغة الاستعلامات التي تنطبق على حالة الاستخدام الخاصة بك.

• من هو المستفيد؟
• ما هو #الشيك؟
• ما هو عنوان المستفيد؟
• ما هو التاريخ؟
• ما هو #الحساب؟
• ما هو مبلغ الشيك بالكلمات؟
• ما هو اسم الحساب/الدافع/اسم الساحب؟
• ما هو المبلغ بالدولار؟
• ما هو اسم البنك/اسم المسحوب عليه؟
• ما هو رقم توجيه البنك؟
• ما هو خط MICR؟
• ما هي المذكرة؟

عند اكتمال عملية وضع العلامات التلقائية، يكون لديك خيار مراجعة الإجابات المقدمة لكل مستند وإجراء تعديلات عليها. يختار ابدأ المراجعة لمراجعة التعليقات التوضيحية لكل صورة.

إذا كانت الاستجابة لاستعلام مفقودة أو خاطئة، فيمكنك إضافة الاستجابة أو تحريرها إما عن طريق رسم مربع محيط أو إدخال الاستجابة يدويًا.

لتسريع خطواتك، قمنا بإضافة تعليقات توضيحية مسبقًا لنماذج الشيكات لتتمكن من نسخها إلى حساب AWS الخاص بك. تشغيل الاستعلامات المخصصة الشيكات-blog.ipynb دفتر Jupyter داخل عينات من كود Amazon Text مكتبة لتحديث التعليقات التوضيحية الخاصة بك تلقائيًا.

تدريب المحول

بعد مراجعة جميع نماذج المستندات للتأكد من دقة التعليقات التوضيحية، يمكنك بدء عملية تدريب المحول. أثناء هذه الخطوة، تحتاج إلى تعيين موقع تخزين حيث يجب حفظ المحول. ستختلف مدة عملية التدريب حسب حجم مجموعة البيانات المستخدمة للتدريب. يمكن أيضًا استدعاء واجهة برمجة التطبيقات للتدريب برمجيًا إذا اخترت استخدام أداة التعليقات التوضيحية من اختيارك وتمرير ملفات الإدخال ذات الصلة إلى واجهة برمجة التطبيقات. تشير إلى الاستعلامات المخصصة لمزيد من التفاصيل.

تقييم مقاييس الأداء

بعد انتهاء تدريب المحول، يمكنك تقييم أدائه من خلال فحص مقاييس التقييم مثل نتيجة F1, الدقة والتذكير. يمكنك تحليل هذه المقاييس إما بشكل جماعي أو على أساس كل مستند. باستخدام مجموعة بيانات فحص العينات الخاصة بنا، ستلاحظ تحسنًا في مقياس الدقة (درجة F1) من 68% إلى 92% باستخدام المحول المُدرب.

بالإضافة إلى ذلك، يمكنك اختبار إخراج المحول على المستندات الجديدة عن طريق الاختيار حاول المحول.

بعد التقييم، يمكنك اختيار تحسين أداء المحول إما عن طريق دمج مستندات عينة إضافية في مجموعة بيانات التدريب أو عن طريق إعادة التعليق التوضيحي للمستندات ذات الدرجات الأقل من الحد الخاص بك. لإعادة التعليق التوضيحي للمستندات، اختر التحقق من الوثائق في صفحة تفاصيل المحول، حدد المستند، ثم اختر مراجعة التعليقات التوضيحية.

اختبار المحول برمجياً

بعد اكتمال التدريب بنجاح، يمكنك الآن استخدام المحول الموجود في جهازك تحليل وثيقة مكالمات API. يشبه طلب واجهة برمجة التطبيقات طلب Amazon Textract Queries API، مع إضافة ملف AdaptersConfig موضوع.

يمكنك تشغيل نموذج التعليمات البرمجية التالي أو تشغيله مباشرة داخل ملف الاستعلامات المخصصة الشيكات-blog.ipynb دفتر جوبيتر. يوفر نموذج دفتر الملاحظات أيضًا تعليمات برمجية لمقارنة النتائج بين استعلامات Amazon Textract واستعلامات Amazon Textract المخصصة.

خلق تكوين المحولات الكائن بمعرف المحول وإصدار المحول، وقم بشكل اختياري بتضمين الصفحات التي تريد تطبيق المحول عليها:

!python -m pip install amazon-textract-caller --upgrade
!python -m pip install amazon-textract-response-parser –upgrade import boto3
from textractcaller.t_call import call_textract, Textract_Features, Query, QueriesConfig, Adapter, AdaptersConfig
import trp.trp2 as t2
from tabulate import tabulate # Create AdaptersConfig
adapter1 = Adapter(adapter_id=”111111111”, version="1", pages=["*"])
adapters_config = AdaptersConfig(adapters=[adapter1])

إنشاء QueriesConfig كائن يحتوي على الاستعلامات التي قمت بتدريب المحول عليها واستدعاء Amazon Textract API. لاحظ أنه يمكنك أيضًا تضمين استعلامات إضافية لم يتم تدريب المحول عليها. ستستخدم Amazon Textract تلقائيًا ميزة الاستعلامات لهذه الأسئلة وليس الاستعلامات المخصصة، مما يوفر لك مرونة استخدام الاستعلامات المخصصة فقط عند الحاجة.

# Create QueriesConfig
queries = []
queries.append(Query(text="What is the check#?", alias="CHECK_NUMBER", pages=["*"]))
queries.append(Query(text="What is the date?", alias="DATE", pages=["*"]))
queries.append(Query(text="What is the check amount in words?", alias="CHECK_AMOUNT_WORDS", pages=["*"]))
queries.append(Query(text="What is the dollar amount?", alias="DOLLAR_AMOUNT", pages=["*"]))
queries.append(Query(text="Who is the payee?", alias="PAYEE_NAME", pages=["*"]))
queries.append(Query(text="What is the customer account#", alias="ACCOUNT_NUMBER", pages=["*"]))
queries.append(Query(text="what is the payee address?", alias="PAYEE_ADDRESS", pages=["*"]))
queries.append(Query(text="What is the bank routing number?", alias="BANK_ROUTING_NUMBER", pages=["*"]))
queries.append(Query(text="What is the memo", alias="MEMO", pages=["*"]))
queries.append(Query(text="What is the account name/payer/drawer name?", alias="ACCOUNT_NAME", pages=["*"]))
queries.append(Query(text="What is the bank name/drawee name?", alias="BANK_NAME", pages=["*"]))
queries_config = QueriesConfig(queries=queries) document_name = "<image_name>" textract_json_with_adapter = call_textract(input_document=document_name, boto3_textract_client=textract_client, features=[Textract_Features.QUERIES], queries_config=queries_config, adapters_config=adapters_config)

أخيرًا، نقوم بجدولة نتائجنا لتحسين إمكانية القراءة:

def tabulate_query_answers(textract_json): d = t2.TDocumentSchema().load(textract_json) for page in d.pages: query_answers = d.get_query_answers(page=page) print(tabulate(query_answers, tablefmt="github")) tabulate_query_answers(textract_json_with_adapter)

تنظيف

لتنظيف مواردك ، أكمل الخطوات التالية:

1. في وحدة تحكم Amazon Texttract، اختر الاستعلامات المخصصة في جزء التنقل.
2. حدد المحول الذي تريد حذفه.
3. اختار حذف.

إدارة المحول

يمكنك تحسين محولاتك بانتظام عن طريق إنشاء إصدارات جديدة من محول تم إنشاؤه مسبقًا. لإنشاء إصدار جديد من المحول، يمكنك إضافة نماذج مستندات جديدة إلى محول موجود، وتسمية المستندات، وتنفيذ التدريب. يمكنك الاحتفاظ بإصدارات متعددة من المحول في نفس الوقت لاستخدامها في مسارات التطوير الخاصة بك. لتحديث محولاتك بسلاسة، لا تقم بإجراء تغييرات على ملفاتك أو حذفها خدمة تخزين أمازون البسيطة (Amazon S3) حيث يتم حفظ الملفات المطلوبة لإنشاء المحول.

أفضل الممارسات

عند استخدام الاستعلامات المخصصة في مستنداتك، راجع أفضل الممارسات للاستعلامات المخصصة لـ Amazon Texttract لاعتبارات إضافية وأفضل الممارسات.

فوائد الاستعلامات المخصصة

توفر الاستعلامات المخصصة المزايا التالية:

• تعزيز فهم الوثيقة - من خلال قدرتها على استخراج البيانات وتطبيعها بدقة عالية، تقلل الاستعلامات المخصصة الاعتماد على المراجعات اليدوية وعمليات التدقيق، وتمكنك من إنشاء أتمتة أكثر موثوقية لسير عمل معالجة المستندات الذكية لديك.
• وقت أسرع للقيمة – عندما تواجه أنواعًا جديدة من المستندات حيث تحتاج إلى دقة أعلى، يمكنك استخدام الاستعلامات المخصصة لإنشاء محول بطريقة الخدمة الذاتية في غضون ساعات قليلة. لا يتعين عليك انتظار تحديث النموذج الذي تم تدريبه مسبقًا عندما تواجه أنواع مستندات جديدة أو أشكال مختلفة من المستندات الموجودة في سير عملك. لديك سيطرة كاملة على المسار الخاص بك ولا تحتاج إلى الاعتماد على Amazon Textract لدعم أنواع المستندات الجديدة الخاصة بك.
• خصوصية البيانات - لا تحتفظ الاستعلامات المخصصة بالبيانات المستخدمة في إنشاء المحولات أو تستخدمها لتحسين نماذجنا العامة المدربة مسبقًا والمتاحة لجميع العملاء. يقتصر المحول على حساب العميل أو الحسابات الأخرى التي يعينها العميل بشكل صريح، مما يضمن أن هذه الحسابات فقط هي التي يمكنها الوصول إلى التحسينات التي تم إجراؤها باستخدام بيانات العميل.
• وسائل الراحة – توفر الاستعلامات المخصصة تجربة استدلال مُدارة بالكامل تشبه الاستعلامات. تدريب المحول مجاني ولن تدفع إلا مقابل الاستدلال. توفر لك الاستعلامات المخصصة النفقات العامة ونفقات التدريب وتشغيل النماذج المخصصة.

وفي الختام

في هذا المنشور، ناقشنا فوائد الاستعلامات المخصصة، وأظهرنا كيف يمكن للاستعلامات المخصصة استخراج البيانات بدقة من عمليات التحقق، وشاركنا أفضل الممارسات لاستخدام هذه الميزة بشكل فعال. في غضون ساعات قليلة، يمكنك إنشاء محول باستخدام وحدة التحكم واستخدامه في AnalyzeDocument API لتلبية احتياجات استخراج البيانات الخاصة بك. لمزيد من المعلومات، راجع الاستعلامات المخصصة.

عن المؤلفين

شبين ميكايراج هو مدير المنتج الأول في فريق Amazon Texttract. إنه يركز على بناء منتجات تعتمد على الذكاء الاصطناعي/التعلم الآلي لعملاء AWS. إنه متحمس لمساعدة العملاء على حل تحديات أعمالهم المعقدة من خلال الاستفادة من تقنيات الذكاء الاصطناعي والتعلم الآلي. في أوقات فراغه، يستمتع بالجري، ومتابعة البث الصوتي، وتحسين مهاراته في رياضة التنس للهواة.

كيث ماسكارينهاس هو مهندس الحلول الأول مع فريق خدمة Amazon Textract. إنه متحمس لحل مشكلات الأعمال على نطاق واسع باستخدام التعلم الآلي، ويساعد حاليًا عملائنا في جميع أنحاء العالم على أتمتة معالجة المستندات الخاصة بهم لتحقيق وقت أسرع للتسويق مع انخفاض التكاليف التشغيلية.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/customize-amazon-textract-with-business-specific-documents-using-custom-queries/