تحليلات بيانات التحقق
يعد التحقق من الأجهزة مشكلة كثيفة البيانات أو كثيفة البيانات. يدرك مهندسو التحقق ذلك ويقضون الكثير من وقتهم في التعامل مع مجموعات البيانات الكبيرة والمعقدة الناشئة عن عمليات التحقق.
في "معضلات التحقق من الأجهزة"لقد استكشفنا التحديات الرئيسية المتعلقة بالتحقق من IP الأجهزة المعقدة والأنظمة. تقود "معضلة الاكتمال" الفرق الهندسية إلى الاعتماد بشكل كبير على البيانات وتحليلاتها، لجعل العمليات غير المكتملة قابلة للقياس ومحدودة والسماح لفرق تطوير المنتجات باتخاذ قرارات تعتمد على البيانات حول جودة التوقيع لإصدارات المنتج.
لذا، في الواقع، إحدى المهارات الأساسية العديدة لمهندس التحقق الجيد هي تحليلات البيانات.
يجب أن يكون مهندسو التحقق العظماء محللين بيانات رائعين.
يتعامل المهندسون مع كميات ضخمة من البيانات: مجموعات من الاختبارات، ونتائج الاختبار، ونتائج التغطية، وبيانات تخطيط الموارد واستخدامها، وبيانات التحكم في الإصدار، وتحليل التنازلات، وتتبع الأخطاء والعيوب، والتحسين المستمر والتحسين المستمر من خلال تحليل الاتجاهات وتحليلات الأسباب الجذرية.
ومن خلال القيام بذلك، يستخدم مهندسو التحقق العديد من مصادر البيانات المختلفة للتأكد من أن المشاريع تسير على المسار الصحيح وتتقدم نحو أهداف المشروع مع ضمان توفر معلومات دقيقة لدعم قرارات التوقيع في مراحل الجودة الرئيسية التي تحدث أثناء دورة حياة تطوير المنتج.
تمثل بيانات التحقق أيضًا فرصة كبيرة لتحسين وتبسيط سير عمل التحقق.
يتم تحديد عائد الاستثمار للمنتج النهائي الذي تم تسليمه بشكل كبير من خلال تكاليف التطوير، وقد تم توثيقه جيدًا أن 70% أو أكثر من هذه التكاليف تعزى إلى أنشطة التحقق. ولذلك، يجب توخي الحذر لضمان أن تكون أنشطة التحقق فعالة وكفؤة وليست هدراً.
بالطبع، تعتبر الدرجة الصحية من جنون العظمة مفيدة من وجهة نظر مهندس التحقق حيث أن هناك إجبارًا قويًا على تشغيل المزيد والمزيد من دورات التحقق لأن الهروب من الأخطاء الذي يصل إلى العميل أو المستخدم النهائي يمكن أن يكون مكلفًا للغاية ومؤثرًا ومن المحتمل أن يضر بالسمعة! يرى "تكلفة الأخطاء"حيث نستكشف التوازن بين "تكلفة العثور على الأخطاء" (تكاليف التحقق) مقابل "تكلفة عدم العثور على الأخطاء" (تكاليف تأثير الهروب من الأخطاء).
رؤى من البيانات
يتم إدراك قيمة بيانات التحقق عندما تنتج رؤى أساسية.
فكر في الأفكار كأسئلة.
قد تكون الرؤية عبارة عن سؤال رفيع المستوى يطرحه مدير الهندسة على الفريق الهندسي لفهم مدى فعالية أو كفاءة عملية تطوير المنتج. ويمكن أيضًا أن يكون سؤالاً يطرحه فريق القيادة العليا أو فريق الجودة أو فريق المبيعات والإيرادات.
يمكن للرؤى أيضًا أن تقود استراتيجية التحسين المستمر التي يتم تمكينها من خلال فهم الفعالية والكفاءة.
في بعض الحالات، يمكن أن تكون الرؤى غير متوقعة أو غير متوقعة. إن الفضول والنهج التحليلي لتنظيف البيانات وفهمها واستكشافها والتحقق من صحتها ومراجعة وجهات النظر التحليلية يمكن أن يكشف عن ملاحظات لم تكن متاحة من قبل. توفر هذه الأفكار غير المتوقعة فرصًا لتحدي الوضع الراهن أحيانًا وإعادة التفكير في الممارسات الراسخة. ومع ذلك، يجب توخي الحذر لتحدي الافتراضات والتحقق من صحتها.
احذر من أنه من الممكن في بعض الأحيان جعل التحليلات تتناسب مع السرد وليس العكس.
من المفيد التفكير في الرؤى في سياق مكدس قيمة البيانات، كما هو موضح في الشكل 1 الهرم العكسي للتحليلات.
تعمل الرؤى على تمكين اتخاذ القرارات المستندة إلى البيانات.
أصبحت الرؤى ممكنة بفضل تحليلات البيانات الجيدة، والتي يتم تمكينها بدورها بواسطة نماذج البيانات التي تم إنشاؤها من مصادر البيانات المحملة في Data Lake. الهدف هو معرفة ما هي القرارات المبنية على البيانات التي تتطلبها الشركة أولاً والسماح لذلك بدفع عملية التقاط البيانات، وخطوط أنابيب البيانات، وتحليلات البيانات، وليس العكس!
الشكل 1: الهرم التحليلي المعكوس
إن البيانات الأولية الموجودة في قاعدة الهرم ليس لها قيمة كبيرة ما لم تكن نظيفة ودقيقة ويتم تغذيتها من خلال خط بيانات يقود تحليلات قوية تؤدي إلى رؤى عالية القيمة.
تشريح البيانات ولماذا يجب أن نهتم بها...
إذا اتبعنا الاهتمامات على مستوى المديرين التنفيذيين لقيادة التميز في التحقق وصولاً إلى واقع هندسة التحقق - الأنشطة اليومية - فيمكننا وصف ما يحدث في كل مرحلة بشكل أفضل.
من وجهة نظر المدير المالي والرؤساء التنفيذيين، هناك العديد من المشكلات التي تدعو للقلق، ولكن عندما يتعلق الأمر بالتطوير الهندسي لجميع المنتجات المهمة التي تدر إيرادات للشركة، فإن الأمر يتلخص في هذه المشكلات.
الشكل 2: التكلفة والجودة والتسليم
يريد العملاء الحصول على نفس النتائج من مورديهم، مما يعني أن جهود التحقق التي تبذلها يجب أن تكون فعالة وكفوءة، لتقديم حلول فعالة من حيث التكلفة لهم. ولتحقيق ذلك، يجب أن تكون عمليات التصميم والتحقق الخاصة بك مجهزة جيدًا لتجنب ما يسمى بمتلازمة "الصندوق الأسود"، حيث تصل المنتجات دون فكرة واضحة عن مدى جودة جهود التحقق في العثور على الأخطاء وربما دون معالجة جيدة على التكاليف، أو الجداول الزمنية للمشروع.
يعتمد التميز على البيانات الجيدة والثقافة الهندسية التي تعرف كيفية استغلالها.
الشكل 3: خطوط أنابيب البيانات, أدناه، يشير إلى أهمية التحليلات لتقديم نظرة ثاقبة لجهود التحقق لتقييم الفعالية والكفاءة. تتطلب التحليلات المفيدة ربط المعلومات من مجموعات البيانات المختلفة الناتجة عن النشاط اليومي لمهندسي التصميم والتحقق.
الشكل 3: خطوط أنابيب البيانات
إنها تجربة فكرية مفيدة لقياس مكان جهود التحقق الخاصة بك فيما يتعلق بالأسئلة باللون البرتقالي، في كل مرحلة من مراحل تدفق البيانات أعلاه. ربما من المثير للدهشة أنه لا تتمتع جميع الفرق الهندسية بالقدرة الكافية على التعامل مع البيانات الموجودة لديهم، ومكان وجودها، ومدى نظافتها، وكيفية استغلالها. سنستكشف لاحقًا في هذه المقالة خلق ثقافة الفضول والكفاءات اللازمة لجعل هذا التحول ممكنًا.
يوضح الشكل 4 تحديات البيانات أدناه بعض التحديات التي من المحتمل أن تواجهها الفرق عند تطوير التحليلات اللازمة لاتخاذ القرار الجيد، لدفع عمليات التحقق من التحسينات المهمة والإشارة إلى الاستثمارات اللازمة في الأدوات والأجهزة.
الشكل 4: تحديات البيانات
لا تقتصر هذه التحديات على التحقق من الأجهزة ولكن يجب التغلب عليها للوصول إلى المستويات الأساسية للقدرة التحليلية.
يمكن أن يكون استخلاص التحليلات من مجموعات البيانات المتنوعة أمرًا معقدًا للغاية، خاصة عندما يتعلق الأمر بالربط بينها. أحد الأمثلة البسيطة هو توضيح اكتشاف الأخطاء في مراحل مختلفة من مراحل دورة حياة المنتج حتى تتمكن من تقييم التقدم مقابل خطة التحقق الخاصة بك.
تتطلب أسئلة الرؤية الأخرى هندسة بيانات أكثر تعقيدًا لتوفير المعلومات المطلوبة. في الشركات الصغيرة، يمكن أن تقع هذه المهمة على عاتق الفريق الهندسي، أو قد يتم الاستعانة بمصادر خارجية. وباعتبارهم "مهندسي بيانات" جيدين، يجب أن يكون فريق التحقق مرتاحًا عند التفكير في هذه المشكلات.
قد تتمتع الفرق الأكبر حجمًا برفاهية موارد هندسة/تحليل البيانات الداخلية لإجراء هذه التطورات داخل الشركة. وفي كلتا الحالتين، يجب على فرق التحقق أن تتقن التعامل مع تحديات البيانات، لضمان حصولهم على ما هو مطلوب إذا أردنا تطوير التحليلات أو تحسينها. يرى الخطوة 1: تدريب مهندسيك على التفكير مثل محللي البيانات.
جودة البيانات، وفخ حجم البيانات...
ينصب تركيزنا في هذا المستند التقني على مناقشة "تحليلات البيانات" في سياق تنظيم مجموعات بيانات التحقق وأتمتتها وتنظيفها وتصورها والتي تمتلكها معظم الفرق بالفعل. ولكن لا يمكن مناقشة هذا الموضوع دون طرح السؤال:-
ماذا عن الذكاء الاصطناعي؟ هل استطيع ان استخدم هذا؟
يدرك الجميع الإمكانات التي يوفرها التعلم الآلي (ML) المضمن حاليًا في أدوات EDA (انظر الخطوة 2: استغلال أدوات EDA المتقدمة)، بالإضافة إلى الفرص التي يوفرها علم البيانات لتحسين استهداف التغطية وتحليل البيانات لتسهيل التحليل. على الرغم من أن هذه الورقة ستتطرق إلى هذه المواضيع، إلا أنها تركز في المقام الأول على كيفية تحقيق أقصى استفادة من البيانات للحصول على رؤى أفضل في عملية التحقق.
الشكل 5: تشكل مجموعات البيانات الصغيرة منخفضة الجودة عائقًا أمام تطوير التحليلات أو النشر الناجح لتقنيات التعلم الآلي/الذكاء الاصطناعي المتقدمة.
على الرغم من عدم وجود أرقام متاحة للعامة توضح عدد الفرق الهندسية التي نجحت في تنفيذ تعلم الآلة والذكاء الاصطناعي، فمن المحتمل أن العديد منهم واجهوا مشكلات تتعلق بجودة البيانات أو حجم مجموعات البيانات.
وفي مقالتهم المثيرة للتفكير، "مسح لتطبيقات التعلم الآلي في التحقق الوظيفي"أكد يو وفوستر وفيتزباتريك أنه "نظرًا لعدم وجود مجموعات بيانات كبيرة، يجب أن تستقر الكثير من الأبحاث على تقنيات تعلم الآلة البدائية نسبيًا التي تتطلب فقط مجموعات بيانات تدريب صغيرة تحتوي على مئات العينات. لقد حال الوضع دون تطبيق تقنيات وخوارزميات تعلم الآلة المتقدمة.
في الشكل 5 (جودة البيانات), أعلاه، من الصعب تحليل كميات صغيرة من بيانات التحقق غير الموثوقة بأي درجة من الثقة - تجد نفسك فيها فخ 1. في هذه الحالة، الخيار المعقول هو الاستثمار في تنظيف بياناتك وتطوير تحليلات ممتازة - ليس هناك انتقال سهل إلى ML/AI في مستوى 2 تبدأ من فخ 1.
قد يكون من الصعب جدًا إدارة وفهم كميات كبيرة من المعلومات منخفضة الجودة، مما يجعلها غير مناسبة لتقنيات التعلم الآلي أو الذكاء الاصطناعي، ناهيك عن أي هندسة بيانات ضرورية مطلوبة لإنتاج تحليلات جيدة - وهذا هو فخ 2. وكما هو الحال مع مجموعات البيانات الأصغر، تتم الإشارة إلى عملية تنظيف واسعة النطاق. لهذه الأسباب، تمثل جودة البيانات السيئة ومجموعات البيانات الأصغر تحديات كبيرة للشركات التي ترغب في الانتقال إلى أدوات EDA التي تدعم التعلم الآلي وتقنيات الذكاء الاصطناعي الأكثر تقدمًا.
الخطوة الأكثر منطقية وضرورية للعديد من المؤسسات هي الاستفادة بشكل أفضل من البيانات المتوفرة لديهم لإنشاء تحليلات مفيدة لتمكين اتخاذ قرارات رائعة والتحسين المستمر.
على الرغم من أن إنشاء تحليلات جيدة "مجرد" قد يبدو أقل إثارة من الانتقال مباشرة إلى ML/AI مستوى 2، فقد يظل من الصعب تنفيذها حتى يتم تنظيف بياناتك والتغلب على بعض التحديات التي تم استكشافها في الشكل 4.
بافتراض أن هندسة البيانات الخاصة بك منظمة ومبنية على أساس من البيانات عالية الجودة والتحليلات المذهلة لتسليط الضوء على تلك الزوايا المظلمة والغنية بالأخطاء، فقد حان الوقت للتفكير في الرؤى التي يجب البحث عنها.
البصيرة: "هل التحقق الخاص بي فعال؟"
وبالعودة إلى "الرؤى"، يمكن تصنيف العديد من مجموعات بيانات التحقق على أنها رؤى تتعلق بالفعالية والكفاءة. لنبدأ بالفعالية. ماذا يعني ذلك بالنسبة لفريق التحقق، ومن يريد أن يعرف عنه أيضًا؟
ويمكن وصف الفعالية بأنها وظيفة على النحو التالي:-
من المحتمل جدًا أن يتم التقاط كل متغير من المتغيرات الموجودة في الصيغة في قاعدة بيانات منفصلة ويتم وصفها بواسطة مجموعة من مخططات البيانات.
إن ثراء مخططات البيانات المستخدمة لجمع البيانات له تأثير مباشر على جودة التحليلات التي يمكن توليدها منها.
يربط "نموذج البيانات" هذه المصادر باستخدام المفاتيح الأساسية للسماح بربط البيانات. بمجرد أن يحدد الفريق التحليلات المطلوبة، قد تكون هناك حاجة إلى وضع مخططات البيانات.
تتطلب رؤية الفعالية تحليلات تُظهر فعالية الاختبار من حيث القدرة على إحراز تقدم في عملية التحقق، والتي يتم تعريفها على أنها زيادة التغطية و/أو العثور على الأخطاء. إذا لم تعمل منصة الاختبار على تطوير التغطية أو العثور على الأخطاء، فقد تكون غير فعالة، ما لم يتم تحقيق أهداف التحقق بالكامل بالفعل.
تتمثل فائدة التحليلات الجيدة في القدرة على تحليل فعالية الاختبار بطريقة مرئية حتى تتمكن فرق التطوير من إجراء تحسينات مستهدفة على تطبيقات الاختبار. يتم تحقيق التحسينات المستمرة من خلال تكرار إعادة هيكلة التعليمات البرمجية، أو تحسين الأداء، أو إعادة الهيكلة، بهدف زيادة قدرة منصة الاختبار على اكتشاف الأخطاء والتغطية بعدد أقل من البذور أو الدورات. يتم استخدام التحليلات في كل مرحلة لإظهار التحسينات الفعلية.
البصيرة: "هل يجد جهاز الاختبار الخاص بي الأخطاء؟"
ولهذا السبب، نحتاج إلى مخططات بيانات تمكن التحليلات من تصور منحنى الأخطاء والتعمق فيه بمرور الوقت. نتوقع أن نرى منحنى خطأ تراكميًا يتسطح ويتشبع بمرور الوقت؛ أو منحنى معدل الخطأ الذي يصل إلى ذروته ثم ينخفض نحو الصفر.
والأفضل من ذلك هو ربط منحنيات الأخطاء هذه بجهود التحقق لإعطاء مؤشر حقيقي لجهود التحقق مقابل الأخطاء التي تم العثور عليها.
ومع التسلسل الهرمي للتحقق مثل الوحدة->النظام الفرعي->الأعلى->النظام، يجب أن تكون التحليلات قادرة على عرض بيانات الجهد المبذول في كل مستوى وتمكين المستخدمين من رؤية مدى اختلاف المستويات والوحدات أو الوحدات الفرعية المختلفة. -مقارنة الأنظمة. توفر مثل هذه القدرة التحليلية رؤى حول بيئات التحقق الفعالة، والتي تبدو غير فعالة. ومن هذا المنطلق، يمكن للفرق اتخاذ قرارات بشأن مكان استثمار الجهد الهندسي لتحقيق أكبر عائد.
ماذا يعني ذلك من حيث البيانات؟
للقيام بذلك، نحتاج إلى دمج بيانات الأخطاء مع بيانات نتائج التحقق حتى نتمكن من استكشاف عدد دورات التحقق التي يتم تشغيلها بين العثور على الأخطاء - وللنظر في ذلك خلال دورة حياة تطوير المنتج حيث أنها ستختلف وفقًا للمرحلة التي يتم فيها اكتشاف الأخطاء. تطوير المنتج في.
انسايت: "هل يزيد اختباري من التغطية؟"
تحتاج التحليلات أيضًا إلى ربط بيانات التغطية ببيانات جهود التحقق. إذا كشفت التحليلات أن منحنى الخطأ مشبع وأن التغطية مشبعة، فيمكن للفريق الهندسي استخدام هذه المعلومات لاتخاذ قرارات بشأن ما يجب فعله بعد ذلك؛ تشغيل المزيد من الدورات؟ تشغيل دورات أقل؟ تحسين بيئة التحقق؟
علاوة على ذلك، من خلال جمع بيانات الأخطاء والتغطية عبر دورة حياة تطوير المنتج بأكملها وتطبيق جميع منهجيات التحقق، يمكنك التفكير في الفعالية النسبية لكل منهجية. أي أنه يجب عليك أن تأخذ بعين الاعتبار الفعالية في سياق دورة حياة التحقق بأكملها والمرحلة التي تمر بها. على سبيل المثال، قد يبدو اختبار الوحدة غير فعال (لا يعثر على العديد من الأخطاء) بسبب قيام التحقق الرسمي أو المستوى الأعلى السابق بعمل جيد في تنظيف معظم الأخطاء. لذلك، يجب عليك مراعاة دورة حياة التحقق بأكملها والترتيب الذي تم اختياره لتنفيذ المنهجيات المختلفة.
البصيرة: "هل عملية التحقق الخاصة بي فعالة؟"
السؤال الثاني الأكثر أهمية يتعلق بالكفاءة. قد يكون لديك تحفيز فعال وفحص، ولكن هل يمكن إجراء التحقق باستخدام الحد الأدنى من الموارد البشرية وموارد النظام الأساسي، وهل يمكن تسليمه في أقصر وقت ممكن؟
وتتمثل الكفاءة فيما يلي:-
لفهم الكفاءة، يجب عليك إلقاء نظرة على تفاصيل:
- مقاعد الاختبار الفردية لفهم ما إذا كانت كذلك معمارية وتنفيذها بالطريقة المثلى لتحقيق أعلى أداء مع المعطى منهجية.
- تراجع سير العمل لفهم ما إذا كانوا يقومون بتشغيل الوظائف على النحو الأمثل ولا يهدرون الموارد عن طريق إعادة تشغيل مجموعات الانحدار الكاملة دون داع عندما تكون عمليات التشغيل الأكثر استهدافًا أكثر كفاءة.
- المتاح قدرات المنصة والتي يمكن مشاركتها عبر فرق متعددة. هل هناك نقص في الموارد يؤدي إلى عدم كفاءة استخدامها؟
- • أداء النظام الأساسي، كل من الأجهزة (الحوسبة والتخزين والشبكة) وأدوات EDA التي تقوم بتشغيل أعباء عمل التحقق.
تخبرنا هذه الرؤية بمدى كفاءة تنفيذ اختبارات المحاكاة. إذا كانت منصة الاختبار بطيئة جدًا، فسوف تستهلك مستويات أكبر بكثير من موارد ترخيص الحوسبة والمحاكاة. قد يلزم إعادة تنفيذ مقاعد الاختبار البطيئة لجعلها تعمل بشكل أسرع. يتعلق هذا السؤال ببنية ومنهجية اختبار الوحدة أو النظام الفرعي.
تتطلب رؤى الكفاءة تحليلات تكشف عن الأداء النسبي لبيئات التحقق التي يتم تتبعها بمرور الوقت بحيث يمكن تحديد التغييرات في الأداء ويمكن ملاحظة القيم المتطرفة والتحقيق فيها. نظرًا لأن مقاعد الاختبار ستختلف حسب البنية والتنفيذ، فمن المتوقع وجود درجة معينة من تباين الأداء، ولكن وجود لوحات معلومات تحليلية جيدة متاحة لمراقبة هذه البيئات يتيح الكشف المبكر عن تأثيرات الأداء التي قد تنشأ عن ممارسات الترميز السيئة أو تدهور النظام الأساسي/البيئة/الأدوات. عندما تتمكن الفرق من رؤية هذه البيانات، يمكنهم حل هذه المشكلات.
بدون التحليلات، تطير الفرق بشكل أعمى فيما يتعلق بالكفاءة.
جمع بيانات الأخطاء هو ال أهم خطوة نحو القدرة على التحليلات من المستوى الأول!
لقد ناقشنا قيمة الأخطاء في سلسلة المقالات The Quest for Bugs، ولكن من المفيد أن نعيد هنا التأكيد على السبب الذي يجعل بيانات الأخطاء واحدة من أغنى مصادر بيانات التحقق ويمكن أن تؤدي إلى الرؤى الأكثر فائدة مثل فعالية التحقق.
الأخطاء هي مصدر رائع للرؤى والتعلم، لكن فقط إذا قمت بجمعها!
…وجمع بيانات الأخطاء ذات النوعية الجيدة يمثل تحديًا كبيرًا.
باستخدام ما يكفي من بيانات الأخطاء الدقيقة، يمكنك الحصول على رؤى حول فعالية استراتيجيات التحقق الخاصة بك وجودة تصميمك (المستوى 1). إذا نظرت إلى التصميم بأكمله، فهل تنتج بعض الوحدات أو الوظائف أخطاء أكثر من غيرها، وإذا كان الأمر كذلك، فما هو سبب ذلك؟ ربما يمكن اتخاذ خطوات لتقليل عدد الأخطاء التي يتم إدخالها في الكود؟ هل تشير بيانات الخطأ إلى النقاط الساخنة للتعقيد؟ ما هو السبب الجذري الكامن وراء هذه الأخطاء وهل يمكن تجنب الأخطاء في المقام الأول؟ من منظور فعالية التحقق، ما هي المنهجيات الأكثر فعالية في العثور على الأخطاء بسرعة؟ هل تنفق موارد هائلة في تشغيل دورات التحقق التي لا تكتشف الأخطاء؟
هل يمكنك "التحول إلى اليسار" والعثور على تلك الأخطاء في وقت مبكر من دورة حياة تطوير المنتج وإشباع منحنى الأخطاء عاجلاً، مما يعني إطلاق المنتج عاجلاً؟
للإجابة على هذه الأسئلة، يتعين عليك التأكد من أنك تقوم بجمع ما يكفي من بيانات الأخطاء وأن لديك مخططًا مناسبًا للأخطاء يلتقط المعلومات الصحيحة حول اكتشاف الأخطاء وتأثيراتها والأسباب الجذرية للأخطاء. إذا كانت لديك مجموعة بيانات غنية بالأخطاء، فستتمكن من التعمق في تحليلات الأخطاء للإجابة على العديد من هذه الأسئلة وربما الكشف عن بعض الأفكار غير المتوقعة. مرحبًا بك في تحليلات المستوى الأول!
يتمثل التحدي غالبًا في إقناع فرقك الهندسية باكتساب عادة تسجيل الأخطاء.
إنها ممارسات هندسية أو ثقافة هندسية. تقوم بعض الفرق بذلك كجزء طبيعي من وظيفتها، بينما تكون الفرق الأخرى أقل استعدادًا وترى أن تسجيل الأخطاء هو بمثابة عبء إضافي لتحقيق التقدم للأمام.
تحتاج الفرق الهندسية إلى رؤية قيمة ملموسة من تحليلات الأخطاء كحافز لجمع البيانات. لكن بالطبع، إنها مشكلة "الدجاجة والبيضة". لا توجد بيانات أخطاء أو بيانات أخطاء رديئة الجودة = لا توجد تحليلات أو تحليلات منخفضة القيمة.
ما هو الوقت المناسب لبدء تسجيل الأخطاء؟ كيف تتأكد من أن بيانات الخطأ كاملة ودقيقة؟
هناك 3 محفزات رئيسية لتسجيل الأخطاء: –
- العمل الجماعي والتواصل: قائمة المهام لتطوير منتجات معقدة (أجهزة أو برامج)، طويلة ومن المحتمل أن تتضمن عدة أشخاص. ما لم يتم تسجيل الأخطاء وتتبعها بعناية، فهناك خطر تسرب الأخطاء بسبب الممارسات السيئة. غالبًا ما يكون مُبلغ الأخطاء ومحلل الأخطاء ليسا نفس الشخص، لذلك تحتاج إلى تسجيل وتتبع اتصالات الأخطاء (الفرز والتحليل والحلول) لضمان عدم مرور أي شيء عبر الشبكة.
- تتبع التقدم وتسجيل الخروج: مع انتقال المشروع خلال دورة حياة تطوير المنتج، هناك حاجة إلى فهم الشكل الذي يبدو عليه منحنى الأخطاء في أي وقت من الأوقات. ما هو معدل الخطأ الحالي؟ ما هو عدد الأخطاء المعلقة عند كل نقطة تسجيل؟ هل يتجه منحنى الأخطاء في الاتجاه الصحيح كما هو متوقع؟ ما هو عدد الأخطاء الحرجة التي لدينا مقابل الأخطاء الكبيرة والصغيرة؟
- التطوير الدائم: من خلال تحليل بيانات اكتشاف الأخطاء والأسباب الجذرية للأخطاء، يمكننا استخدام هذه الأفكار لتحسين فعالية وكفاءة منهجيات التصميم والتحقق لدينا. هذا هو المكان الذي يمكن أن يؤدي فيه التعلم المستمر من الأخطاء، سواء داخل المشروع أو بين المشاريع، إلى تقليل التكاليف وتحسين الجودة وتقليل وقت طرح المنتجات المعقدة في السوق.
إذا كان بإمكانك جمع بيانات الأخطاء بدقة وثبات، فستكون العديد من الرؤى المذكورة أعلاه متاحة لك. علاوة على ذلك، إذا كان بإمكانك دمج بيانات الأخطاء هذه مع مصادر بيانات أخرى مثيرة للاهتمام مثل بيانات تنفيذ الاختبار، أو بيانات مراحل المشروع، أو بيانات استهلاك الموارد، فهناك رؤى قوية إضافية محتملة ستسلط الضوء على التكلفة والعائد لجهودك الهندسية.
الخطوة 1: تدريب مهندسيك على التفكير مثل محللي البيانات
في الشكل 5، وصفنا مسارات الخروج من مصائد البيانات/الحجم نحو إمكانات المستوى 1 و2. يمكننا أيضًا تحديد ثلاث مراحل محددة أخرى يجب تحقيقها لتحقيق التقدم.
كما ذكرنا، يعد تحليل البيانات مهارة أساسية لمهندسي التحقق، سواء أدركوا ذلك أم لا. ومع ذلك، في بعض الأحيان، لا تتوفر أساسيات طلاقة البيانات، وهذا شيء يمكنك تدريب مهندسيك عليه. في كثير من الأحيان، يمكن أن يكون تحليل البيانات أساسيًا تمامًا؛ ربما يكون مقتطفًا ثابتًا من البيانات التي يتم تمثيلها كجدول Excel، أو بشكل أفضل كمخطط Excel. هذه التحليلات الأساسية عبارة عن طرق عرض ثابتة للبيانات التي قد تحتاج إلى تحديث يدويًا ومنتظم ويتم تقديمها كلقطات في الوقت المناسب لإعداد تقارير المشروع أو تتبع التقدم.
التحليلات المباشرة والمؤتمتة بالكامل هي الحل الأمثل. يجب أن يكون المهندسون والمديرون قادرين على الوصول إلى تحليلات البيانات في أي وقت والثقة في أن ما يرونه هو أحدث البيانات الكاملة والدقيقة. يجب أن يكونوا قادرين على خدمة هذه التحليلات ذاتيًا وعدم الاعتماد على المهندسين أو محللي البيانات لتحديث التحليلات وتقديمها عند الطلب. يؤدي هذا المطلب إلى الحاجة إلى تقديم تصورات سهلة الاستخدام مدعومة بخطوط بيانات آلية تستهلك البيانات من المصدر وتقوم بتنظيف تلك البيانات وتحويلها إلى نماذج بيانات موثوقة يمكن بناء تصورات تفاعلية عليها.
لذلك، هناك حاجة إلى مهارات أكثر هنا من الكفاءة الأساسية في جداول البيانات والرسوم البيانية.
نحن نؤيد تدريب بعض مهارات البيانات الأساسية للمهندسين والتي ستمكنهم من فهم بياناتهم وتقديمها بطريقة تؤدي إلى رؤى قوية. يمكن الاستعانة بمصادر خارجية لبعض هذه الأنشطة لمحللي البيانات المدربين، ولكن المعرفة الأساسية في هذا المجال تضمن قيام مهندسي التحقق بجمع وتحليل مجموعات البيانات الصحيحة وفهم البيانات المطلوبة وكيفية تفسيرها. كما أنه يولد منظور البيانات (أو طلاقة البيانات) حيث يبدأ المهندسون في فهم كيفية قراءة البيانات، وكيفية معالجتها وتحويلها، وكيفية الحذر من المخاطر التي يمكن أن تؤدي إلى نتائج مضللة، مثل العلاقات المتعددة والمتعددة بين عناصر البيانات .
- التقاط البيانات: من أين تأتي بياناتك؟ ما هو مصدر البيانات، وهل يتم جمعها كلها؟ يستلزم هذا عادةً بعض أدوات سير عمل التحقق لالتقاط البيانات وإرسالها إلى Data Lake. وهذا بدوره يعني أنك بحاجة إلى معرفة مخطط البيانات الصحيح الذي سيلتقط جميع الحقول المطلوبة اللازمة لدعم التحليلات. يجب أن تكون هذه عملية تلقائية بحيث يتم تشغيل التقاط البيانات بشكل افتراضي. التقط البيانات، بغض النظر عما إذا كنت بحاجة بعد ذلك إلى تصفيتها وأخذ عينات منها لاحقًا لإجراء التحليلات.
- تنظيف البيانات: تحتاج معظم البيانات الأولية إلى مستوى معين من التنظيف أو المعالجة لإزالة القيم الخالية أو التكرارات، على سبيل المثال، تصحيح الأخطاء أو الإدخالات السيئة أو ملء فجوات البيانات. يمكن القيام بذلك بطريقة تفاعلية ولكن من الأفضل القيام بذلك بطريقة المعالجة الآلية للدفعات حيثما أمكن ذلك. يمكن كتابة تنظيف البيانات باستخدام Python نمباي و الباندا المكتبات على سبيل المثال، حيث يمكن إجراء عمليات بيانات قوية على إطارات البيانات بخطوات قليلة فقط. (سيستخدم العديد من مهندسي التحقق لغة Python بالفعل في البرمجة النصية لسير عمل التحقق ومعالجته، لذا فإن إضافة مكتبات تحليل البيانات هذه والمفاهيم المتعلقة بمعالجة إطار البيانات لا ينبغي أن تكون خطوة صعبة).
- هندسة البيانات: هذه هي الخطوة التي يتم فيها تحويل البيانات ومعالجتها إلى تنسيق مناسب لتصور البيانات. قد يتضمن ذلك الانضمام إلى مصادر بيانات مختلفة ودمجها بحيث تكون الارتباطات المهمة ممكنة والتي من شأنها تقديم رؤى أساسية من البيانات. انظر الشكل 4 تحديات البيانات. يُطلق عليه أحيانًا نموذج البيانات، وهو المخطط الذي يتحكم في كيفية ربط جداول البيانات المختلفة، باستخدام العناصر المشتركة (المفاتيح الأساسية) التي تربطها معًا. وقد تتضمن أيضًا محاور أو تجميعات أو تلخيصات أو إنشاء عناصر بيانات مشتقة أو محسوبة. على سبيل المثال، قد ترغب فرق التحقق في ربط بيانات نتائج تنفيذ اختبار المحاكاة مع بيانات تتبع الأخطاء لفهم مدى فعالية منصات الاختبار المختلفة في العثور على الأخطاء في RTL. بالإضافة إلى ذلك، قد تمتد كفاءة هندسة البيانات إلى قواعد البيانات - كيفية إعداد قواعد بيانات منظمة مثل MySQL، أو قواعد بيانات غير منظمة (أو Data Lakes) مثل MongoDB أو Hadoop، على سبيل المثال. هناك الكثير لنتعلمه في هذا المجال، وهو مجال يتخصص فيه مهندسو البيانات ومحللو البيانات، لذلك كمهندس تحقق أو مهندس تصميم، قد يكون من الجيد فهم هذا التخصص ولكن الاستعانة بمصادر خارجية لأعمال هندسة البيانات لمتخصصي البيانات.
- الاستعلام عن البيانات: قد يكون هذا أكثر من مجموعة مهارات هندسة البيانات، ولكن قد تكون بعض قدرات SQL الأساسية مفيدة لدعم الاستكشاف المبكر لمجموعات البيانات، قبل أن تتوفر تصورات البيانات الكاملة. يعد استكشاف مجموعات البيانات كفاءة رئيسية عند تقديم بيانات جديدة وقبل إنشاء أي تحليلات آلية. SQL هي الكفاءة الأساسية لمعظم محللي البيانات.
- التصور البيانات: أخيرًا، الجزء الذي سيحقق النتائج والرؤى الأساسية هو المكان الذي يتم فيه عرض البيانات بشكل مرئي، ويمكن للمستخدم النهائي التفاعل مع البيانات. يُشار إليه أحيانًا باسم "ذكاء الأعمال" نظرًا لأنه يقدم معلومات أو رؤى حول حالة العمل (أو حالة مشروع تطوير المنتج). لا ينبغي التقليل من أهمية تعلم مهارات جيدة لتصور البيانات، وهناك العديد من خيارات الأدوات الجيدة التي من الممتع تعلمها ويمكنها تقديم تصورات مثيرة للإعجاب بسرعة كبيرة، على سبيل المثال PowerBI أو Tableau. إن تعلم استخدام هذه الأدوات بشكل فعال يولد اهتمامًا حقيقيًا وإثارة حول البيانات، لذا فهي مهارة أساسية جديرة بالاهتمام لإضافتها إلى مجموعة مهارات مهندس التصميم أو التحقق.
الخطوة 2: استغلال أدوات EDA المتقدمة
تعمل صناعة EDA منذ عدة سنوات على إيجاد طرق لاستغلال الذكاء الاصطناعي والتعلم الآلي لتعزيز عروض أدواتها. يتم تمكين ذلك من خلال الكميات الكبيرة من البيانات التي تم إنشاؤها بواسطة العديد من أدوات التحقق من EDA، وظهور ونضج خوارزميات ML العامة التي يمكن أن تكون مناسبة للعديد من مشكلات بيانات التحقق. غالبًا ما يتم تقديم هذه الأدوات كإصدارات جديدة من الأدوات الحالية التي يمكن ترخيصها، أو تحسينات للأدوات الموجودة حيث يتم تحسين الأداء والكفاءات بفضل التعلم الآلي المخفي. قد لا يحتاج المستخدم النهائي إلى معرفة أن تعلم الآلة يتم استخدامه بواسطة الأدوات، أو تغيير الطريقة التي يستخدم بها الأدوات، ولكن الأدوات ستعمل بشكل أفضل. يمثل هذا عائقًا منخفضًا أمام اعتماد أدوات أكثر تقدمًا من قبل فرق التحقق الخاصة بك إذا اخترت القيام بذلك، ودون الحاجة إلى التدريب كعلماء بيانات أو تعلم تعلم الآلة. لن نناقش العروض المحددة لبائعي EDA أو نحاول مسح السوق هنا. نقطتنا هي هذه:
وينبغي تشجيع فرق التحقق على استكشاف وتقييم العروض المتاحة...
… لمعرفة ما إذا كانت التكلفة والعائد موجودة بالنسبة لسير العمل ودورة حياة تطوير المنتج. نظرًا لأن صناعة EDA تتطور باستمرار، فقد كانت الأدوات المتوفرة وأدوات التحقق مجالًا للابتكار العالي في صناعة EDA لبعض الوقت. تقع على عاتق فريق التحقق مسؤولية مواكبة آخر التطورات والتواصل مع بائعي EDA لضمان إمكانية تلبية متطلباتهم الحالية والمستقبلية من خلال خرائط الطريق التكنولوجية الخاصة ببائعي EDA.
بعض الطرق (ولكن ليس كلها) التي يعمل بها تعلم الآلة على تحسين عروض أدوات EDA تقع في المجالات التالية: –
- تسريع تصحيح الأخطاء باستخدام تجميع الأعطال وتحليل التوقيع الآلي.
- تحسين التنفيذ لضمان استخدام إعدادات الأداة المثلى لتشغيل المحاكاة.
- تحسين اختيارات المحرك الرسمية للتحقق الرسمي.
- تسريع إغلاق التغطية عن طريق تصنيف اختيار الاختبار والتحسين.
يمكنك التفكير في سير عمل التحقق كمجموعة من مدخلات البيانات ومخرجات البيانات، كما هو موضح أدناه. يمكن أن تكون كل من مجموعات بيانات الإدخال ومجموعات بيانات المخرجات التي تم إنشاؤها مرشحة لفرص تعلم الآلة. نحن نعلم مقدار الجهد الذي يمكن بذله في تحليل التغطية وتحليل نتائج الاختبار. وحتى التحسينات الصغيرة في الكفاءة والفعالية في هذه المجالات الرئيسية يمكن أن تؤدي إلى وفورات جديرة بالاهتمام في التكلفة والجودة والوقت اللازم للوصول إلى السوق.
الشكل 6 مل لأدوات جمعية الإمارات للغوص
الخطوة 3: تدريب مهندسيك على التفكير مثل علماء البيانات
لقد تحدثنا حتى الآن عن المهارات الأساسية المطلوبة لإجراء تحليلات البيانات بكفاءة، ولكن بالطبع هناك فرع كامل من تحليلات البيانات يشار إليه غالبًا باسم علم البيانات، وهو أمر مثير وجذاب لأنه يوفر لنا فرصًا لاستغلال بياناتنا بطرق مختلفة والحصول على مزيد من الرؤى من البيانات التي قد لا يمكن تحقيقها من خلال تصورات البيانات وحدها. غالبًا ما يُشار إليه بتعلم الآلة أو التعلم الآلي، وهناك نظام راسخ يمكن للجميع الوصول إليه مع القليل من التدريب الأساسي. هناك مكتبات للخوارزميات الجاهزة المتاحة؛ يمكنك العثور على العديد منها مجمعة بشكل ملائم في Python تعلم الحروف مكتبة على سبيل المثال. يحب مهندسو التحقق الفضوليون الابتكار وحل المشكلات المتعلقة بكفاءة التحقق وفعاليته. هذه مشكلات جذابة ومليئة بالتحديات، ويمكن أن يكون حلها من خلال تعلم وتطبيق مهارات تعلم الآلة الجديدة أمرًا محفزًا للغاية. يعد تعلم هذه المهارات الجديدة أمرًا ممتعًا وممتعًا أيضًا، وهناك العديد من منصات التعلم الممتازة عبر الإنترنت التي يمكن أن تنقلك من الصفر إلى البطل في وقت قصير جدًا، على سبيل المثال، داتاكويست, DataCamp, udemy, coursera, كودكاديمي، على سبيل المثال لا الحصر.
إذا كان فريقك الهندسي قد أتقن مهارات تحليل البيانات الأساسية والتصور، وكان خط البيانات الخاص بك نظيفًا ودقيقًا، وكنت تجمع ما يكفي من البيانات، فهناك العديد من مشكلات التحسين في التحقق والتي قد تكون جاهزة لنهج تعلم الآلة - على سبيل المثال، تقليل مجموعة الانحدار والتحسين، ونمذجة التنبؤ لطلبات الموارد، وتحسين إغلاق التغطية وما إلى ذلك.
أبعد من ذلك، هناك الكثير من الإثارة حول الذكاء الاصطناعي اليوم، وخاصة تطبيق الذكاء الاصطناعي التوليدي على مشاكل مثل إنشاء الاختبار أو كتابة التعليمات البرمجية. لن نستكشف هذا الموضوع هنا، ولكن عندما يبدأ مهندسو التحقق في التفكير والتصرف مثل علماء البيانات، فقد تكون هناك العديد من الفرص لإجراء تحسينات ملموسة على الطريقة التي يتم بها التحقق من التصاميم المعقدة باستخدام موارد أقل، وفي وقت أقصر، و تقديم منتجات ذات جودة أعلى.
نبذة عامة
يعد التحقق من الأجهزة مشكلة كثيفة البيانات.
لقد عرف مهندسو التحقق ذلك منذ بعض الوقت، ويتضمن عملهم اليومي جمع بعض مجموعات البيانات الكبيرة ومعالجتها وإعداد التقارير عنها. والسبب في أنها مشكلة كثيفة البيانات هو أن التحقق هو في جوهره مشكلة مفتوحة. تحتاج الفرق الهندسية إلى تحليلات ثاقبة لجعل هذه العملية المفتوحة قابلة للقياس ومحدودة. لا تزال بعض الفرق الهندسية تعمل على التحليل والتصور على مستوى جداول البيانات، وغالبًا ما تستخدم لقطات ثابتة من البيانات، ومعالجة البيانات يدويًا التي تستغرق وقتًا طويلاً في التحديث. قد يكون هناك العديد من مصادر البيانات المختلفة الموجودة في العديد من الأنظمة المختلفة مما يجعل من الصعب ضم البيانات وإجراء ارتباطات ثاقبة.
بالنسبة للكثيرين، يتمثل التحدي في كيفية استغلال بيانات التحقق من خلال تحليلات البيانات التي ستكشف عن فرص كبيرة لتحسين التحقق من الأجهزة.
هناك تخصصات ناضجة متاحة للمساعدة في ذلك، خاصة في مجالات هندسة البيانات وتحليلات البيانات وتصور البيانات. تحتاج الفرق الهندسية إما إلى رفع مهاراتها في تحليلات البيانات الحديثة، أو إشراك مهندسي البيانات المحترفين، ومحللي البيانات، وعلماء البيانات، لجلب هذه القدرات إلى عملية تطوير المنتج. نقطة النهاية عبارة عن مجموعة من التحليلات التفاعلية وفي الوقت الفعلي والتي تتميز بأنها بديهية ويمكن الوصول إليها ودقيقة وذاتية الخدمة. لن يحتاج مستهلكو التحليلات بعد الآن إلى رفع طلب لرؤية تقرير محدث. ويجب عليهم الوصول إلى المرئيات بأنفسهم وفهم كيفية التنقيب والتصفية للوصول إلى العرض الذي يحتاجونه، والذي يمكنهم حفظه أو تضمينه كعرض مفضل، مع العلم أن هذه بيانات في الوقت الفعلي، والثقة في دقة البيانات. يصبح إنشاء التقارير مهمة أقل صعوبة عندما تكون التحليلات المباشرة في متناول يدك. إن تحسين التوفر وإمكانية الوصول يعني أن التحليل يؤول إلى أولئك الذين يحتاجون إلى البيانات، والأكثر من ذلك، يجب أن يكشف الفضول عن رؤى لم تكن معروفة سابقًا عندما يكون من الأسهل بكثير رؤية البيانات واستكشافها.
إذا لم تفعل شيئًا آخر، فقم بتحسين سلوكيات وعمليات التقاط بيانات الأخطاء...
… لأن تحليلات الأخطاء يمكن أن تكشف عن رؤى يمكن التصرف بناءً عليها على المدى القريب.
هذا هو تحليل بيانات التحقق الأساسي الذي تهدف إليه. افعل هذا أولاً. قم بإنشاء مسار بيانات نظيف ودقيق وكامل حيث تكون نقطة النهاية عبارة عن تصورات رائعة للبيانات قابلة للاستكشاف. علاوة على ذلك، هناك إمكانيات أخرى لاستكشاف مجموعات البيانات بشكل أكثر عمقًا واستغلال تقنيات أكثر تقدمًا مثل التعلم الآلي أو الذكاء الاصطناعي لفهم الأنماط غير المرئية سابقًا في البيانات وبناء حلقات ردود الفعل في العمليات وسير العمل لتحسين وتقليل الوقت والجهد والتكلفة. نلاحظ أن جميع بائعي أدوات التحقق السائدة في EDA يقومون بالفعل ببناء التعلم الآلي تحت الغطاء للعديد من عروض الأدوات المتقدمة الخاصة بهم. ويمكن استغلال هذه الأمور اليوم دون الحاجة إلى تدريب مهندسيك كعلماء بيانات. تتضمن معظم أنشطة التحقق نوعًا من التكرار أو التحسين لتحقيق النتيجة. قد تتمكن من الوصول إلى هناك بنسبة دقة مقبولة في جزء صغير من الوقت باستخدام ML/AI. قد تتمكن الفرق أو الفرق الأكثر تقدمًا التي تشرك علماء البيانات المدربين من تحقيق هذه المكاسب مع نمو نضج البيانات وتبني الفرق الهندسية ثقافة بيانات قوية.
المؤلف:
بريان ديكمان، شركة فاليتيك للاستشارات المحدودة،
جو كونفي، شركة أكويردو المحدودة.
اقرأ أيضا:
البحث عن الأخطاء: "Shift-Left، Right؟"
البحث عن الأخطاء: "التصحيح حسب التصميم!"
البحث عن الأخطاء: "الدورات العميقة"
البحث عن الأخطاء: معضلات التحقق من الأجهزة
شارك هذا المنشور عبر:
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://semiwiki.com/eda/335551-the-quest-for-bugs-verification-is-a-data-problem/
