सत्यापन डेटा विश्लेषण
हार्डवेयर सत्यापन एक अत्यधिक डेटा-गहन या डेटा-भारी समस्या है। सत्यापन इंजीनियर इसे पहचानते हैं और सत्यापन प्रक्रियाओं से उत्पन्न होने वाले बड़े और जटिल डेटासेट से निपटने में अपना अधिकांश समय व्यतीत करते हैं।
"मेंहार्डवेयर सत्यापन की दुविधाएँ“हमने जटिल हार्डवेयर आईपी और सिस्टम के सत्यापन के आसपास प्रमुख चुनौतियों का पता लगाया। "पूर्णता दुविधा" के कारण इंजीनियरिंग टीमें डेटा और डेटा एनालिटिक्स पर बहुत अधिक निर्भर हो जाती हैं, जिससे अपूर्ण प्रक्रियाओं को मापने योग्य और सीमित किया जा सकता है और उत्पाद विकास टीमों को उत्पाद रिलीज के लिए साइनऑफ़ गुणवत्ता के बारे में डेटा-संचालित निर्णय लेने की अनुमति मिलती है।
तो, वास्तव में, एक अच्छे सत्यापन इंजीनियर के कई मुख्य कौशलों में से एक डेटा एनालिटिक्स है।
महान सत्यापन इंजीनियरों को महान डेटा विश्लेषक होने की आवश्यकता है।
इंजीनियर बड़ी मात्रा में डेटा से निपटते हैं: परीक्षण, परीक्षण परिणाम, कवरेज परिणाम, संसाधन योजना और उपयोग डेटा, संस्करण नियंत्रण डेटा, छूट विश्लेषण, बग और दोष ट्रैकिंग और प्रवृत्ति विश्लेषण और मूल कारण विश्लेषण के माध्यम से चल रहे अनुकूलन और निरंतर सुधार के सूट।
ऐसा करने में, सत्यापन इंजीनियर यह सुनिश्चित करने के लिए कई अलग-अलग डेटा स्रोतों का उपयोग करते हैं कि परियोजनाएं ट्रैक पर हैं और परियोजना लक्ष्यों की दिशा में आगे बढ़ रही हैं, साथ ही यह सुनिश्चित करते हुए कि उत्पाद विकास जीवनचक्र के दौरान होने वाले प्रमुख गुणवत्ता मील के पत्थर पर साइनऑफ निर्णयों का समर्थन करने के लिए सटीक जानकारी उपलब्ध है।
सत्यापन डेटा सत्यापन वर्कफ़्लो को अनुकूलित और सुव्यवस्थित करने का एक बड़ा अवसर भी प्रस्तुत करता है।
अंतिम वितरित उत्पाद का आरओआई काफी हद तक विकास लागतों से निर्धारित होता है, और यह अच्छी तरह से प्रलेखित किया गया है कि इनमें से 70% या अधिक लागत सत्यापन गतिविधियों के कारण होती है। इसलिए, यह सुनिश्चित करने के लिए ध्यान रखा जाना चाहिए कि सत्यापन गतिविधियाँ प्रभावी और कुशल हों और बेकार न हों।
बेशक, व्यामोह की एक स्वस्थ डिग्री एक सत्यापन इंजीनियर के दृष्टिकोण से सहायक होती है क्योंकि अधिक से अधिक सत्यापन चक्र चलाने की मजबूत मजबूरी होती है क्योंकि एक बग से बचना जो ग्राहक या अंतिम उपयोगकर्ता तक पहुंचता है वह बेहद महंगा, प्रभावशाली और संभावित रूप से प्रतिष्ठा को नुकसान पहुंचाने वाला हो सकता है! देखना "बग की कीमतजहां हम "बग ढूंढने की लागत" (सत्यापन लागत) बनाम "बग न ढूंढने की लागत" (बग भागने की प्रभाव लागत) के बीच संतुलन का पता लगाते हैं।
डेटा से अंतर्दृष्टि
सत्यापन डेटा के मूल्य का एहसास तब होता है जब इससे महत्वपूर्ण अंतर्दृष्टि प्राप्त होती है।
अंतर्दृष्टि को प्रश्न के रूप में सोचें।
अंतर्दृष्टि एक उच्च स्तरीय प्रश्न हो सकता है जो एक इंजीनियरिंग प्रबंधक इंजीनियरिंग टीम से यह समझने के लिए पूछ रहा है कि उत्पाद विकास प्रक्रिया कितनी प्रभावी या कुशल है। यह वरिष्ठ नेतृत्व टीम, गुणवत्ता टीम या बिक्री और राजस्व टीम द्वारा पूछा गया प्रश्न भी हो सकता है।
अंतर्दृष्टि प्रभावशीलता और दक्षता की समझ से सक्षम निरंतर सुधार की रणनीति भी चला सकती है।
कुछ मामलों में, अंतर्दृष्टि अप्रत्याशित या अप्रत्याशित हो सकती है। जिज्ञासा और डेटा की सफाई, समझ, खोज और सत्यापन के लिए एक विश्लेषणात्मक दृष्टिकोण, और विश्लेषणात्मक विचारों की समीक्षा उन टिप्पणियों को प्रकट कर सकती है जो पहले उपलब्ध नहीं थीं। ये अप्रत्याशित अंतर्दृष्टि कभी-कभी यथास्थिति को चुनौती देने और स्थापित प्रथाओं पर पुनर्विचार करने के अवसर प्रदान करती हैं। हालाँकि, धारणाओं को चुनौती देने और मान्य करने में सावधानी बरतनी चाहिए।
सावधान रहें कि कभी-कभी विश्लेषण को दूसरी तरह से कथा के अनुरूप बनाना संभव होता है।
डेटा-वैल्यू स्टैक के संदर्भ में अंतर्दृष्टि के बारे में सोचना उपयोगी है, जैसा कि चित्र 1 द एनालिटिक्स इनवर्स पिरामिड में दिखाया गया है।
अंतर्दृष्टि डेटा-संचालित निर्णय लेने में सक्षम बनाती है।
अच्छे डेटा एनालिटिक्स द्वारा अंतर्दृष्टि संभव बनाई जाती है, जो बदले में डेटा लेक में लोड किए गए डेटा स्रोतों से निर्मित डेटा मॉडल द्वारा सक्षम होती है। मुद्दा यह है कि पहले यह पता लगाया जाए कि व्यवसाय के लिए कौन से डेटा-संचालित निर्णय आवश्यक हैं और इसे डेटा कैप्चर, डेटा पाइपलाइन और डेटा एनालिटिक्स को संचालित करने दें, न कि इसके विपरीत!
चित्र 1 एनालिटिक्स व्युत्क्रम पिरामिड
पिरामिड के आधार पर मौजूद कच्चे डेटा का तब तक बहुत कम मूल्य होता है जब तक कि यह साफ और सटीक न हो और शक्तिशाली एनालिटिक्स द्वारा उच्च मूल्य की अंतर्दृष्टि प्रदान करने वाली डेटा पाइपलाइन के माध्यम से फीड किया जाता हो।
डेटा की शारीरिक रचना और हमें इसकी परवाह क्यों करनी चाहिए...
यदि हम सत्यापन इंजीनियरिंग वास्तविकता - दैनिक गतिविधियों - के माध्यम से सत्यापन उत्कृष्टता को आगे बढ़ाने के लिए कार्यकारी-स्तर की देखभाल का पालन करते हैं - तो हम बेहतर ढंग से वर्णन कर सकते हैं कि प्रत्येक चरण में क्या हो रहा है।
सीएफओ और सीईओ के दृष्टिकोण से, चिंता करने के लिए कई मुद्दे हैं, लेकिन जब यह कंपनी के सभी महत्वपूर्ण राजस्व वाले उत्पादों के इंजीनियरिंग विकास से संबंधित होता है, तो यह इन तक सीमित हो जाता है।
चित्र 2 लागत, गुणवत्ता, वितरण
ग्राहक अपने आपूर्तिकर्ता से समान परिणाम चाहते हैं, जिसका अर्थ है कि आपके द्वारा किया गया सत्यापन प्रयास प्रभावी और कुशल होना चाहिए, ताकि उनके लिए लागत प्रभावी समाधान प्राप्त हो सके। इसे प्राप्त करने के लिए, आपके डिज़ाइन और सत्यापन प्रक्रियाओं को तथाकथित "ब्लैक बॉक्स" सिंड्रोम से बचने के लिए अच्छी तरह से तैयार किया जाना चाहिए, जिससे उत्पाद बिना किसी स्पष्ट विचार के आते हैं कि बग ढूंढने में सत्यापन प्रयास कितना अच्छा रहा है और शायद एक अच्छे हैंडल के बिना लागतों पर, या परियोजना समयमान पर।
उत्कृष्टता अच्छे डेटा और एक इंजीनियरिंग संस्कृति पर निर्भर करती है जो जानती है कि इसका फायदा कैसे उठाया जाए।
चित्र 3 डेटा पाइपलाइन, नीचे, प्रभावशीलता और दक्षता का आकलन करने के लिए सत्यापन प्रयास में अंतर्दृष्टि प्रदान करने के लिए विश्लेषण के महत्व को दर्शाया गया है। उपयोगी विश्लेषण के लिए डिज़ाइन और सत्यापन इंजीनियरों की दैनिक गतिविधि द्वारा उत्पन्न विभिन्न डेटा सेटों से जानकारी के सहसंबंध की आवश्यकता होती है।
चित्र 3 डेटा पाइपलाइन
यह मापने के लिए एक उपयोगी विचार-प्रयोग है कि उपरोक्त प्रत्येक डेटा पाइपलाइन चरण में नारंगी रंग के प्रश्नों के संबंध में आपका सत्यापन प्रयास कहां बैठता है। शायद आश्चर्य की बात यह है कि सभी इंजीनियरिंग टीमों को इस बात की पर्याप्त जानकारी नहीं है कि उनके पास कौन सा डेटा है, यह कहां स्थित है, यह कितना साफ है और इसका उपयोग कैसे करना है। बाद में पेपर में हम जिज्ञासा की संस्कृति और इस परिवर्तन को संभव बनाने के लिए आवश्यक क्षमताओं का निर्माण करने का पता लगाएंगे।
चित्र 4 डेटा चुनौतियाँ, नीचे दी गई कुछ चुनौतियों को दर्शाती हैं, जिनका टीमों को अच्छे निर्णय लेने, महत्वपूर्ण सुधार सत्यापन प्रक्रियाओं को चलाने और टूल और हार्डवेयर में आवश्यक निवेश का संकेत देने के लिए आवश्यक विश्लेषण विकसित करते समय सामना करना पड़ सकता है।
चित्र 4 डेटा चुनौतियाँ
ये चुनौतियाँ हार्डवेयर सत्यापन के लिए अद्वितीय नहीं हैं, लेकिन विश्लेषणात्मक क्षमता के बुनियादी स्तर तक पहुँचने के लिए इन्हें दूर किया जाना चाहिए।
विविध डेटा सेटों से विश्लेषण प्राप्त करना बेहद जटिल हो सकता है, खासकर जब उन्हें सहसंबंधित करने की बात आती है। एक सरल उदाहरण उत्पाद जीवन चक्र चरणों के विभिन्न चरणों में बग खोज का वर्णन करना होगा ताकि आप अपनी सत्यापन योजना के विरुद्ध प्रगति का आकलन कर सकें।
अन्य अंतर्दृष्टि प्रश्नों के लिए आवश्यक जानकारी प्रदान करने के लिए अधिक जटिल डेटा इंजीनियरिंग की आवश्यकता होती है। छोटी कंपनियों में यह कार्य इंजीनियरिंग टीम को सौंपा जा सकता है, या इसे आउटसोर्स किया जा सकता है। अच्छे "डेटा इंजीनियरों" के रूप में, सत्यापन टीम को इन समस्याओं के बारे में सोचने में सहज होना चाहिए।
इन विकासों को घर में ही करने के लिए बड़ी टीमों के पास आंतरिक डेटा इंजीनियरिंग/विश्लेषक संसाधन की सुविधा हो सकती है। दोनों ही मामलों में, सत्यापन टीमों को डेटा चुनौतियों में पारंगत होने की आवश्यकता है, ताकि यह सुनिश्चित किया जा सके कि यदि विश्लेषण विकसित करना है, या सुधार करना है तो उन्हें वह मिलेगा जो आवश्यक है। देखना चरण 1: अपने इंजीनियरों को डेटा विश्लेषकों की तरह सोचने के लिए प्रशिक्षित करें.
डेटा गुणवत्ता, डेटा वॉल्यूम ट्रैप…
इस श्वेत पत्र के लिए हमारा ध्यान सत्यापन डेटासेट को व्यवस्थित करने, स्वचालित करने, साफ़ करने और विज़ुअलाइज़ करने के संदर्भ में "डेटा एनालिटिक्स" पर चर्चा करना है जो कि अधिकांश टीमों के पास पहले से ही है। हालाँकि, आप सवाल उठाए बिना इस विषय पर चर्चा नहीं कर सकते:-
एआई के बारे में क्या? क्या मैं इसका इस्तेमाल कर सकता हूं?
हर कोई मशीन लर्निंग (एमएल) द्वारा पेश की जाने वाली संभावनाओं से अवगत है जो वर्तमान में ईडीए टूल्स में अंतर्निहित है (देखें)। चरण2: उन्नत ईडीए टूलींग का उपयोग करें), साथ ही आसान विश्लेषण के लिए कवरेज के लक्ष्यीकरण और डेटा के पार्सिंग में सुधार के लिए डेटा विज्ञान द्वारा पेश किए गए अवसर। हालाँकि यह पेपर इन विषयों पर चर्चा करेगा, लेकिन यह मुख्य रूप से इस बात पर केंद्रित है कि सत्यापन प्रक्रिया में बेहतर अंतर्दृष्टि लाने के लिए डेटा का सर्वोत्तम उपयोग कैसे किया जाए।
चित्र 5 निम्न गुणवत्ता, छोटे डेटासेट एनालिटिक्स विकसित करने या उन्नत एमएल/एआई तकनीकों को सफलतापूर्वक तैनात करने में बाधाएं हैं।
हालाँकि सार्वजनिक रूप से उपलब्ध कोई संख्या नहीं है जो दर्शाती हो कि कितनी इंजीनियरिंग टीमों ने एमएल और एआई को सफलतापूर्वक लागू किया है, यह संभावना है कि कई लोगों को डेटा गुणवत्ता या डेटासेट के आकार के साथ समस्याओं का सामना करना पड़ा होगा।
अपने विचारोत्तेजक लेख में, “कार्यात्मक सत्यापन में मशीन लर्निंग अनुप्रयोगों का एक सर्वेक्षण”, यू, फोस्टर और फिट्ज़पैट्रिक ने जोर देकर कहा, “बड़े डेटासेट की कमी के कारण, बहुत से शोध को अपेक्षाकृत आदिम एमएल तकनीकों के लिए समझौता करना पड़ता है जो सैकड़ों नमूनों के साथ केवल छोटे प्रशिक्षण डेटासेट की मांग करते हैं। स्थिति ने उन्नत एमएल तकनीकों और एल्गोरिदम को लागू होने से रोक दिया है।
चित्र 5 में (डेटा गुणवत्ता), ऊपर, अविश्वसनीय सत्यापन डेटा की छोटी मात्रा का किसी भी स्तर के विश्वास के साथ विश्लेषण करना मुश्किल है - आप खुद को इसमें पाते हैं जाल २. इस मामले में, प्रशंसनीय विकल्प अपने डेटा को साफ करने और उत्कृष्ट विश्लेषण विकसित करने में निवेश करना है - एमएल/एआई में कोई आसान छलांग नहीं है स्तर 2 से जाल २.
बड़ी मात्रा में निम्न-गुणवत्ता वाली जानकारी को प्रबंधित करना और समझना बहुत मुश्किल हो सकता है, जिससे यह एमएल या एआई तकनीकों के लिए अनुपयुक्त हो जाती है, अच्छे विश्लेषण तैयार करने के लिए आवश्यक डेटा इंजीनियरिंग की तो बात ही छोड़ दें - यह है जाल २. छोटे डेटा सेट की तरह, बड़े पैमाने पर सफाई अभियान का संकेत दिया गया है। इन कारणों से, खराब डेटा गुणवत्ता और छोटे डेटा सेट एमएल सक्षम ईडीए टूल और अधिक उन्नत एआई तकनीकों की ओर बढ़ने की इच्छुक कंपनियों के लिए महत्वपूर्ण चुनौतियां पेश करते हैं।
कई संगठनों के लिए एक अधिक प्रशंसनीय और आवश्यक कदम यह है कि महान निर्णय लेने और निरंतर सुधार को सक्षम करने के लिए उपयोगी विश्लेषण तैयार करने के लिए उनके पास मौजूद डेटा का बेहतर उपयोग किया जाए।
हालाँकि "सिर्फ" अच्छा विश्लेषण तैयार करना सीधे एमएल/एआई पर जाने से कम रोमांचक लग सकता है स्तर 2, जब तक आपका डेटा साफ़ नहीं हो जाता और चित्र 4 में बताई गई कुछ चुनौतियाँ दूर नहीं हो जातीं, तब तक उन्हें लागू करना मुश्किल हो सकता है।
यह मानते हुए कि आपने अपनी डेटा इंजीनियरिंग को उन अंधेरे और बग-समृद्ध कोनों में रोशनी चमकाने के लिए उच्च-गुणवत्ता वाले डेटा और आश्चर्यजनक विश्लेषण की नींव पर व्यवस्थित किया है, अब यह सोचने का समय है कि किस अंतर्दृष्टि की तलाश की जाए।
अंतर्दृष्टि: "क्या मेरा सत्यापन प्रभावी है?"
"अंतर्दृष्टि" पर लौटते हुए, सत्यापन डेटासेट में से कई को प्रभावशीलता और दक्षता अंतर्दृष्टि के रूप में वर्गीकृत किया जा सकता है। आइए प्रभावशीलता से शुरुआत करें। सत्यापन टीम के लिए इसका क्या मतलब है और इसके बारे में और कौन जानना चाहता है?
प्रभावशीलता को एक कार्य के रूप में निम्नलिखित प्रकार से वर्णित किया जा सकता है:-
सूत्र में प्रत्येक चर संभवतः एक अलग डेटाबेस में कैप्चर किया गया है और डेटा स्कीमा के एक सेट द्वारा वर्णित किया गया है।
डेटा एकत्र करने के लिए उपयोग की जाने वाली डेटा स्कीमा की समृद्धि का इससे उत्पन्न होने वाले विश्लेषण की गुणवत्ता पर सीधा प्रभाव पड़ता है।
एक "डेटा मॉडल" डेटा के सहसंबंध की अनुमति देने के लिए प्राथमिक कुंजी का उपयोग करके इन स्रोतों को जोड़ता है। एक बार जब टीम ने यह पहचान लिया कि किस एनालिटिक्स की आवश्यकता है, तो डेटा स्कीमा को विस्तृत करने की आवश्यकता हो सकती है।
प्रभावशीलता अंतर्दृष्टि के लिए ऐसे विश्लेषण की आवश्यकता होती है जो सत्यापन प्रगति करने की क्षमता के संदर्भ में टेस्टबेंच प्रभावशीलता दिखाता है, जिसे बढ़ती कवरेज और/या बग ढूंढने के रूप में परिभाषित किया गया है। यदि कोई टेस्टबेंच कवरेज को आगे नहीं बढ़ा रहा है या बग नहीं ढूंढ रहा है, तो यह अप्रभावी हो सकता है, जब तक कि सत्यापन लक्ष्य पहले से ही पूरी तरह से पूरे न हो जाएं।
अच्छे एनालिटिक्स की उपयोगिता विज़ुअल फैशन में टेस्टबेंच प्रभावशीलता का विश्लेषण करने की क्षमता है ताकि विकास टीमें टेस्टबेंच कार्यान्वयन में लक्षित सुधार कर सकें। कोड रीफैक्टरिंग, प्रदर्शन अनुकूलन, या री-आर्किटेक्टिंग के पुनरावृत्तियों के माध्यम से निरंतर सुधार प्राप्त किए जाते हैं, ताकि टेस्टबेंच की बग को मारने की क्षमता और कम बीज या चक्र के साथ कवरेज को बढ़ाया जा सके। वास्तविक सुधार प्रदर्शित करने के लिए प्रत्येक चरण में एनालिटिक्स का उपयोग किया जाता है।
अंतर्दृष्टि: "क्या मेरे टेस्टबेंच को बग मिलते हैं?"
इसके लिए, हमें डेटा स्कीमा की आवश्यकता है जो एनालिटिक्स को समय के साथ बग वक्र को देखने और ड्रिल करने में सक्षम बनाती है। हम एक संचयी बग वक्र देखने की उम्मीद करते हैं जो समय के साथ चपटा और संतृप्त हो जाता है; या एक बग दर वक्र जो चरम पर होता है और फिर शून्य की ओर गिरता है।
अभी भी बेहतर यह है कि इन बग वक्रों को सत्यापन प्रयास के साथ सहसंबंधित किया जाए ताकि सत्यापन प्रयास बनाम पाए गए बग का सही संकेत दिया जा सके।
और यूनिट->सब-सिस्टम->टॉप->सिस्टम जैसे सत्यापन के पदानुक्रम के साथ, एनालिटिक्स को प्रत्येक स्तर पर बग बनाम प्रयास डेटा प्रस्तुत करने में सक्षम होना चाहिए और उपयोगकर्ताओं को यह देखने में सक्षम बनाना होगा कि विभिन्न स्तर और विभिन्न इकाइयां या उप -सिस्टम की तुलना करें. ऐसी विश्लेषण क्षमता यह अंतर्दृष्टि प्रदान करती है कि कौन से प्रभावी सत्यापन वातावरण हैं, और कौन से स्पष्ट रूप से अप्रभावी हैं। इससे, टीमें यह निर्णय ले सकती हैं कि अधिकतम रिटर्न के लिए इंजीनियरिंग प्रयासों को कहां निवेश किया जाए।
डेटा के संदर्भ में इसका क्या मतलब है?
ऐसा करने के लिए हमें बग डेटा को सत्यापन परिणाम डेटा के साथ जोड़ना होगा ताकि हम यह पता लगा सकें कि बग ढूंढने के बीच सत्यापन के कितने चक्र चल रहे हैं - और इसे उत्पाद विकास जीवनचक्र पर देखना होगा क्योंकि यह किस चरण के अनुसार अलग-अलग होगा उत्पाद विकास पर है।
अंतर्दृष्टि: "क्या मेरा टेस्टबेंच कवरेज बढ़ाता है?"
एनालिटिक्स को सत्यापन प्रयास डेटा के साथ कवरेज डेटा को सहसंबंधित करने की भी आवश्यकता है। यदि विश्लेषण से पता चलता है कि बग वक्र संतृप्त है और कवरेज संतृप्त है, तो इंजीनियरिंग टीम इस जानकारी का उपयोग यह निर्णय लेने के लिए कर सकती है कि आगे क्या करना है; अधिक साइकिल चलाएं? कम साइकिल चलाएं? सत्यापन परिवेश में सुधार करें?
इसके अलावा, पूरे उत्पाद विकास जीवनचक्र में एकत्र किए गए बग और कवरेज डेटा और लागू की गई सभी सत्यापन पद्धतियों के साथ, आप प्रत्येक पद्धति की सापेक्ष प्रभावशीलता के बारे में तर्क कर सकते हैं। यानी, आपको संपूर्ण सत्यापन जीवनचक्र और जिस चरण पर आप हैं, उसके संदर्भ में प्रभावशीलता पर विचार करना चाहिए। उदाहरण के लिए, यूनिट परीक्षण अप्रभावी प्रतीत हो सकता है (कई बग नहीं मिलते हैं) क्योंकि पहले के शीर्ष-स्तरीय या औपचारिक सत्यापन ने अधिकांश बग को साफ करने का अच्छा काम किया है। इसलिए, आपको सत्यापन के पूरे जीवनचक्र और विभिन्न पद्धतियों को निष्पादित करने के लिए चुने गए क्रम पर विचार करना चाहिए।
अंतर्दृष्टि: "क्या मेरा सत्यापन कुशल है?"
दूसरा सबसे महत्वपूर्ण प्रश्न दक्षता से संबंधित है। आपके पास प्रभावी प्रोत्साहन और जाँच हो सकती है, लेकिन क्या सत्यापन न्यूनतम मात्रा में मानव और प्लेटफ़ॉर्म संसाधनों के साथ किया जा सकता है, और क्या इसे कम से कम संभव समय में वितरित किया जा सकता है?
दक्षता निम्नलिखित का कार्य है:-
दक्षता को समझने के लिए, आपको इनका विवरण देखना होगा:
- यह समझने के लिए कि क्या वे गए हैं, व्यक्तिगत टेस्टबेंच स्थापत्य और दिए गए उच्चतम प्रदर्शन के लिए इष्टतम तरीके से कार्यान्वित किया गया कार्यप्रणाली.
- प्रतीपगमन workflows यह समझने के लिए कि क्या वे कार्य को बेहतर ढंग से चला रहे हैं और अधिक लक्षित रन अधिक कुशल होने पर अनावश्यक रूप से पूर्ण प्रतिगमन सेट को फिर से चलाकर संसाधनों को बर्बाद नहीं कर रहे हैं।
- उपलब्ध है मंच क्षमता जिसे कई टीमों में साझा किया जा सकता है। क्या संसाधनों की कमी के कारण उपयोग में अक्षमता आती है?
- RSI प्रदर्शन प्लेटफ़ॉर्म के, दोनों हार्डवेयर (गणना, भंडारण और नेटवर्क) और ईडीए उपकरण जो सत्यापन कार्यभार चला रहे हैं।
यह अंतर्दृष्टि हमें बताती है कि सिमुलेशन टेस्टबेंच कितनी कुशलता से कार्यान्वित हैं। यदि कोई टेस्टबेंच बहुत धीमा है, तो यह बहुत अधिक स्तर की गणना और सिमुलेशन लाइसेंस संसाधनों का उपभोग करेगा। धीमी टेस्टबेंचों को तेजी से चलाने के लिए उन्हें फिर से लागू करने की आवश्यकता हो सकती है। यह प्रश्न यूनिट या सब-सिस्टम टेस्टबेंच आर्किटेक्चर और कार्यप्रणाली से संबंधित है।
दक्षता अंतर्दृष्टि के लिए ऐसे विश्लेषण की आवश्यकता होती है जो समय के साथ ट्रैक किए गए सत्यापन वातावरण के सापेक्ष प्रदर्शन को प्रकट करता है ताकि प्रदर्शन में बदलाव की पहचान की जा सके और आउटलेर्स को देखा और जांचा जा सके। चूंकि टेस्टबेंच आर्किटेक्चर और कार्यान्वयन के अनुसार अलग-अलग होंगे, इसलिए कुछ हद तक प्रदर्शन परिवर्तनशीलता की उम्मीद की जा सकती है, लेकिन इन वातावरणों की निगरानी के लिए अच्छे एनालिटिक्स डैशबोर्ड उपलब्ध होने से प्रदर्शन प्रभावों का शीघ्र पता लगाने में मदद मिलती है जो खराब कोडिंग प्रथाओं या प्लेटफ़ॉर्म/पर्यावरण/टूल्स गिरावट से उत्पन्न हो सकते हैं। जब टीमें इस डेटा को देख सकती हैं - तो वे इन समस्याओं को ठीक कर सकती हैं।
विश्लेषण के बिना, टीमें दक्षता के मामले में अंधी उड़ान भर रही हैं।
बग डेटा एकत्रित करना है la लेवल 1 एनालिटिक्स क्षमता की दिशा में सबसे महत्वपूर्ण कदम!
हमने लेखों की द क्वेस्ट फॉर बग्स श्रृंखला में बग्स के मूल्य पर चर्चा की है, लेकिन यहां यह बताना सार्थक है कि क्यों बग डेटा सत्यापन डेटा के सबसे समृद्ध स्रोतों में से एक है और सत्यापन प्रभावशीलता जैसे सबसे उपयोगी अंतर्दृष्टि प्रदान कर सकता है।
कीड़े अंतर्दृष्टि और सीखने का एक शानदार स्रोत हैं, परंतु केवल अगर आप उन्हें एकत्र करते हैं!
...और अच्छी गुणवत्ता वाले बग डेटा का संग्रह चुनौतीपूर्ण कार्य है।
पर्याप्त सटीक बग डेटा के साथ, आप अपनी सत्यापन रणनीतियों की प्रभावशीलता और अपने डिज़ाइन की गुणवत्ता दोनों के बारे में जानकारी प्राप्त कर सकते हैं (स्तर 1). यदि आप संपूर्ण डिज़ाइन को देखें, तो क्या कुछ इकाइयाँ या फ़ंक्शन दूसरों की तुलना में अधिक बग उत्पन्न करते हैं और यदि हां, तो इसका कारण क्या है? शायद कोड में आने वाले बग की संख्या को कम करने के लिए कदम उठाए जा सकते हैं? क्या बग डेटा जटिलता के हॉटस्पॉट की ओर इशारा करता है। इन बगों का मूल कारण क्या है और क्या सबसे पहले इनसे बचा जा सकता है? सत्यापन प्रभावशीलता के दृष्टिकोण से, बग को शीघ्रता से ढूंढने में कौन सी पद्धतियाँ सबसे प्रभावी हैं? क्या आप ऐसे सत्यापन चक्र चलाने में विशाल संसाधन खर्च कर रहे हैं जिनमें बग नहीं मिलते?
क्या आप "शिफ्ट-लेफ्ट" कर सकते हैं और उत्पाद विकास जीवनचक्र में उन बगों को पहले ढूंढ सकते हैं और बग वक्र को जल्द ही संतृप्त कर सकते हैं, जिसका अर्थ है कि उत्पाद को जल्दी जारी करें?
इन सवालों का जवाब देने के लिए, आपको यह सुनिश्चित करना होगा कि आप पर्याप्त बग डेटा एकत्र कर रहे हैं और आपके पास एक पर्याप्त बग स्कीमा है जो बग खोज, बग प्रभावों और बग मूल कारणों के बारे में सही जानकारी कैप्चर करता है। यदि आपके पास एक समृद्ध बग डेटासेट है, तो आप इनमें से कई सवालों के जवाब देने के लिए बग एनालिटिक्स को ड्रिल करने में सक्षम होंगे और शायद कुछ अप्रत्याशित अंतर्दृष्टि उजागर कर सकेंगे। लेवल 1 एनालिटिक्स में आपका स्वागत है!
चुनौती अक्सर आपकी इंजीनियरिंग टीमों को बग-लॉगिंग की आदत डालने के लिए राजी करने की होती है।
यह इंजीनियरिंग प्रथाओं या इंजीनियरिंग संस्कृति की बात है। कुछ टीमें इसे अपने काम के स्वाभाविक हिस्से के रूप में करती हैं, अन्य टीमें कम इच्छुक होती हैं और बग-लॉगिंग को आगे बढ़ने के लिए एक ओवरहेड के रूप में देखती हैं।
इंजीनियरिंग टीमों को डेटा एकत्र करने के लिए प्रेरणा के रूप में बग एनालिटिक्स से ठोस मूल्य देखने की जरूरत है। लेकिन निस्संदेह, यह "मुर्गी और अंडे" की समस्या है; कोई बग डेटा या खराब-गुणवत्ता वाला बग डेटा नहीं = कोई एनालिटिक्स या कम मूल्य वाला एनालिटिक्स नहीं।
बग-लॉगिंग शुरू करने का सही समय कब है? आप यह कैसे सुनिश्चित करते हैं कि बग डेटा पूर्ण और सटीक है?
बग-लॉगिंग के लिए 3 प्रमुख प्रेरक हैं: -
- टीम वर्क और संचार: जटिल उत्पादों (हार्डवेयर या सॉफ्टवेयर) को विकसित करने की कार्य सूची लंबी है और इसमें कई लोगों के शामिल होने की संभावना है। जब तक बगों को सावधानी से लॉग इन और ट्रैक नहीं किया जाता, तब तक खराब अभ्यास के कारण बग्स के खिसकने का खतरा बना रहता है। अक्सर ऐसा होता है कि बग रिपोर्टर और बग सॉल्वर एक ही व्यक्ति नहीं होते हैं, इसलिए आपको बग संचार (ट्राएज, विश्लेषण और समाधान) को रिकॉर्ड करने और ट्रैक करने की आवश्यकता होती है ताकि यह सुनिश्चित हो सके कि नेट के माध्यम से कुछ भी न छूटे।
- प्रगति ट्रैकिंग और साइन-ऑफ़: जैसे-जैसे परियोजना उत्पाद विकास जीवनचक्र के माध्यम से परिवर्तित होती है, यह समझने की आवश्यकता होती है कि समय में किसी एक बिंदु पर बग-वक्र कैसा दिखता है। वर्तमान बग दर क्या है? प्रत्येक साइन-ऑफ़ बिंदु पर कितने बग बकाया हैं? क्या बग कर्व अपेक्षा के अनुरूप सही दिशा में चल रहा है? बड़े और छोटे बग की तुलना में हमारे पास कितने महत्वपूर्ण बग हैं?
- निरंतर सुधार: बग खोज डेटा और बग मूल कारणों का विश्लेषण करके, हम अपने डिज़ाइन और सत्यापन पद्धतियों की प्रभावशीलता और दक्षता में सुधार करने के लिए इन अंतर्दृष्टि का उपयोग कर सकते हैं। यह वह जगह है जहां एक परियोजना के भीतर और परियोजनाओं के बीच, बग से निरंतर सीखना, वास्तव में लागत को कम कर सकता है, गुणवत्ता में सुधार कर सकता है, और जटिल उत्पादों के लिए बाजार में आने के समय को कम कर सकता है।
यदि आप बग डेटा सटीक और लगातार एकत्र कर सकते हैं, तो उपरोक्त कई जानकारियां आपके लिए उपलब्ध होंगी। इसके अलावा, यदि आप इस बग डेटा को अन्य दिलचस्प डेटा स्रोतों जैसे परीक्षण निष्पादन डेटा, प्रोजेक्ट मील का पत्थर डेटा, या संसाधन खपत डेटा के साथ जोड़ सकते हैं, तो अतिरिक्त शक्तिशाली अंतर्दृष्टि संभव है जो आपके इंजीनियरिंग प्रयासों के लागत-लाभ को उजागर करेगी।
चरण 1: अपने इंजीनियरों को डेटा विश्लेषकों की तरह सोचने के लिए प्रशिक्षित करें
चित्र 5 में हमने डेटा/वॉल्यूम ट्रैप से लेवल 1 और 2 क्षमताओं की ओर जाने वाले मार्गों का वर्णन किया है। हम तीन और विशिष्ट चरणों की भी पहचान कर सकते हैं जिन्हें प्रगति करने के लिए प्राप्त करने की आवश्यकता होगी।
जैसा कि हमने बताया, डेटा विश्लेषण सत्यापन इंजीनियरों के लिए एक मुख्य कौशल है, चाहे उन्हें इसका एहसास हो या नहीं। हालाँकि, कभी-कभी, डेटा प्रवाह की मूल बातें मौजूद नहीं होती हैं, और यह ऐसी चीज़ है जिसमें आप अपने इंजीनियरों को प्रशिक्षित कर सकते हैं। अक्सर, डेटा विश्लेषण काफी बुनियादी हो सकता है; शायद डेटा का एक स्थिर अर्क जिसे एक्सेल तालिका के रूप में देखा जाता है, या एक्सेल चार्ट के रूप में बेहतर होता है। ये बुनियादी विश्लेषण डेटा के स्थिर दृश्य हैं जिन्हें शायद मैन्युअल रूप से और नियमित रूप से अपडेट करने की आवश्यकता होती है और प्रोजेक्ट रिपोर्टिंग या प्रगति ट्रैकिंग के लिए समय पर स्नैपशॉट के रूप में प्रस्तुत किए जाते हैं।
लाइव और पूरी तरह से स्वचालित विश्लेषण ही रास्ता है। इंजीनियरों और प्रबंधकों को किसी भी समय डेटा एनालिटिक्स तक पहुंचने में सक्षम होना चाहिए और भरोसा करना चाहिए कि वे जो देख रहे हैं वह नवीनतम पूर्ण और सटीक डेटा है। उन्हें इन एनालिटिक्स की स्वयं-सेवा करने में सक्षम होना चाहिए और अनुरोध पर एनालिटिक्स को ताज़ा करने और परोसने के लिए इंजीनियरों या डेटा-विश्लेषकों पर निर्भर नहीं रहना चाहिए। यह आवश्यकता स्वचालित डेटा पाइपलाइनों द्वारा समर्थित उपयोगकर्ता-अनुकूल विज़ुअलाइज़ेशन प्रदान करने की आवश्यकता की ओर ले जाती है जो स्रोत पर डेटा का उपभोग करती है और उस डेटा को विश्वसनीय डेटा मॉडल में साफ़ और परिवर्तित करती है जिस पर इंटरैक्टिव विज़ुअलाइज़ेशन बनाया जा सकता है।
इसलिए, यहां स्प्रेडशीट और चार्ट के साथ बुनियादी योग्यता की तुलना में अधिक कौशल की आवश्यकता होती है।
हम इंजीनियरों के लिए कुछ मुख्य डेटा कौशल के प्रशिक्षण की वकालत करते हैं जो उन्हें अपने डेटा को समझने और प्रस्तुत करने में सक्षम बनाएगा जिससे शक्तिशाली अंतर्दृष्टि प्राप्त होगी। इनमें से कुछ गतिविधियों को प्रशिक्षित डेटा विश्लेषकों को आउटसोर्स किया जा सकता है, लेकिन इस क्षेत्र में एक मुख्य ज्ञान यह सुनिश्चित करता है कि सत्यापन इंजीनियर सही डेटासेट इकट्ठा करें और उनका विश्लेषण करें और समझें कि किस डेटा की आवश्यकता है और इसकी व्याख्या कैसे की जाए। यह एक डेटा परिप्रेक्ष्य (या डेटा प्रवाह) भी उत्पन्न करता है जहां इंजीनियर यह समझना शुरू करते हैं कि डेटा को कैसे पढ़ा जाए, इसमें हेरफेर कैसे किया जाए और इसे कैसे बदला जाए, और उन नुकसानों से कैसे सावधान रहें जो भ्रामक परिणाम उत्पन्न कर सकते हैं, जैसे कि डेटा तत्वों के बीच कई-कई संबंध .
- डेटा कैप्चर: आपका डेटा कहां से आ रहा है? डेटा का स्रोत क्या है, और क्या यह सब एकत्र किया जा रहा है? इसमें आमतौर पर डेटा को कैप्चर करने और उसे डेटा लेक पर भेजने के लिए सत्यापन वर्कफ़्लो के कुछ उपकरण शामिल होते हैं। बदले में, इसका मतलब है कि आपको सही डेटा स्कीमा का पता लगाने की ज़रूरत है जो एनालिटिक्स का समर्थन करने के लिए आवश्यक सभी आवश्यक फ़ील्ड को कैप्चर करेगी। यह एक स्वचालित प्रक्रिया होनी चाहिए ताकि डेटा कैप्चर डिफ़ॉल्ट रूप से चालू रहे। डेटा कैप्चर करें, चाहे आपको बाद में एनालिटिक्स के लिए इसे फ़िल्टर करने और नमूना लेने की आवश्यकता हो या नहीं।
- डेटा की सफाई: अधिकांश कच्चे डेटा को शून्य या डुप्लिकेट को हटाने के लिए कुछ स्तर की सफाई या प्रसंस्करण की आवश्यकता होती है, उदाहरण के लिए, त्रुटियों या खराब प्रविष्टियों को सही करना या डेटा अंतराल को बैकफ़िल करना। यह इंटरैक्टिव तरीके से किया जा सकता है लेकिन जहां भी संभव हो इसे स्वचालित बैच प्रोसेसिंग तरीके से करना सबसे अच्छा है। डेटा सफ़ाई को पायथन के साथ स्क्रिप्ट किया जा सकता है Numpy और पांडा उदाहरण के लिए पुस्तकालय, जहां केवल कुछ चरणों के साथ डेटा फ्रेम पर शक्तिशाली डेटा संचालन किया जा सकता है। (कई सत्यापन इंजीनियर पहले से ही सत्यापन वर्कफ़्लो स्क्रिप्टिंग और प्रसंस्करण के लिए पायथन का उपयोग कर रहे होंगे, इसलिए इन डेटा विश्लेषण पुस्तकालयों और डेटा फ्रेम हेरफेर के आसपास की अवधारणाओं को जोड़ना एक कठिन कदम नहीं होना चाहिए)।
- डाटा इंजीनियरिंग: यह वह चरण है जहां डेटा को डेटा विज़ुअलाइज़ेशन के लिए उपयुक्त प्रारूप में परिवर्तित और हेरफेर किया जाता है। इसमें विभिन्न डेटा स्रोतों को जोड़ना और विलय करना शामिल हो सकता है ताकि महत्वपूर्ण सहसंबंध संभव हो जो डेटा से महत्वपूर्ण अंतर्दृष्टि प्रदान करेगा। चित्र 4 डेटा चुनौतियाँ देखें। कभी-कभी इसे डेटा मॉडल भी कहा जाता है, यह वह स्कीमा है जो नियंत्रित करती है कि विभिन्न डेटा तालिकाओं को कैसे जोड़ा जाता है, सामान्य तत्वों (प्राथमिक कुंजी) का उपयोग करके जो उन्हें एक साथ जोड़ते हैं। इसमें धुरी, एकत्रीकरण, सारांश, या व्युत्पन्न या गणना किए गए डेटा तत्वों की पीढ़ी भी शामिल हो सकती है। उदाहरण के लिए, सत्यापन दल यह समझने के लिए बग ट्रैकिंग डेटा के साथ सिमुलेशन टेस्टबेंच निष्पादन परिणाम डेटा को सहसंबंधित करना चाह सकते हैं कि आरटीएल में बग ढूंढने में विभिन्न टेस्टबेंच कितने प्रभावी हैं। इसके अतिरिक्त, डेटा इंजीनियरिंग क्षमता डेटाबेस तक विस्तारित हो सकती है - उदाहरण के लिए, MySQL जैसे संरचित डेटाबेस, या MongoDB या Hadoop जैसे असंरचित डेटाबेस (या डेटा लेक्स) कैसे सेट करें। इस डोमेन में सीखने के लिए बहुत कुछ है, और यह एक ऐसा क्षेत्र है जहां डेटा इंजीनियर और डेटा विश्लेषक विशेषज्ञ होंगे, इसलिए एक सत्यापन इंजीनियर या डिज़ाइन इंजीनियर के रूप में, इस अनुशासन को समझना अच्छा हो सकता है लेकिन डेटा इंजीनियरिंग कार्य को डेटा विशेषज्ञों को आउटसोर्स करना होगा।
- डेटा पूछताछ: यह एक डेटा इंजीनियरिंग कौशल सेट से अधिक हो सकता है, लेकिन पूर्ण डेटा विज़ुअलाइज़ेशन उपलब्ध होने से पहले, कुछ बुनियादी SQL क्षमता डेटासेट की शुरुआती खोज का समर्थन करने के लिए उपयोगी हो सकती है। जब नए डेटा के साथ प्रस्तुत किया जाता है और किसी भी स्वचालित विश्लेषण को स्थापित करने से पहले डेटासेट की खोज करना एक महत्वपूर्ण क्षमता है। अधिकांश डेटा विश्लेषकों के लिए SQL एक मुख्य योग्यता है।
- डेटा विज़ुअलाइज़ेशन: अंत में, वह बिट जो परिणाम और मुख्य अंतर्दृष्टि प्रदान करेगा वह वह जगह है जहां डेटा की कल्पना की जाती है, और अंतिम उपयोगकर्ता डेटा के साथ बातचीत कर सकता है। कभी-कभी इसे "बिजनेस इंटेलिजेंस" के रूप में जाना जाता है क्योंकि यह व्यवसाय की स्थिति (या उत्पाद विकास परियोजना की स्थिति) के बारे में खुफिया जानकारी या अंतर्दृष्टि प्रस्तुत करता है। अच्छे डेटा विज़ुअलाइज़ेशन कौशल सीखने के महत्व को कम नहीं आंका जाना चाहिए, और ऐसे कई अच्छे टूलींग विकल्प हैं जो सीखने में मज़ेदार हैं और बहुत तेज़ी से प्रभावशाली विज़ुअलाइज़ेशन प्रदान कर सकते हैं, उदाहरण के लिए, पावरबीआई या टेबलू। इन उपकरणों का प्रभावी ढंग से उपयोग करना सीखना डेटा के प्रति वास्तविक रुचि और उत्साह पैदा करता है, इसलिए डिज़ाइन या सत्यापन इंजीनियर के कौशल में जोड़ना एक सार्थक मुख्य कौशल है।
चरण2: उन्नत ईडीए टूलींग का उपयोग करें
ईडीए उद्योग कई वर्षों से अपने टूल की पेशकश को बढ़ाने के लिए एआई और एमएल का फायदा उठाने के तरीकों पर काम कर रहा है। यह कई ईडीए सत्यापन उपकरणों द्वारा उत्पन्न बड़ी मात्रा में डेटा और सामान्य एमएल एल्गोरिदम के उद्भव और परिपक्व होने से सक्षम है जो कई सत्यापन डेटा समस्याओं के लिए उपयुक्त हो सकता है। इन उपकरणों को अक्सर मौजूदा उपकरणों के नए संस्करणों के रूप में पेश किया जाता है जिन्हें लाइसेंस दिया जा सकता है, या मौजूदा उपकरणों के संवर्द्धन के रूप में पेश किया जाता है जहां एमएल अंडर-द-हुड के कारण प्रदर्शन और दक्षता में सुधार होता है। अंतिम उपयोगकर्ता को यह जानने की आवश्यकता नहीं हो सकती है कि टूल द्वारा एमएल का उपयोग किया जा रहा है, या वे टूल का उपयोग करने के तरीके को बदल सकते हैं, लेकिन उपकरण बेहतर प्रदर्शन करेंगे। यदि आप ऐसा करना चुनते हैं तो यह आपकी सत्यापन टीमों द्वारा अधिक उन्नत टूलींग अपनाने में कम बाधा प्रस्तुत करता है, और डेटा वैज्ञानिकों के रूप में प्रशिक्षित होने या एमएल सीखने की आवश्यकता के बिना। हम यहां ईडीए विक्रेताओं की विशिष्ट पेशकशों पर चर्चा नहीं करने जा रहे हैं या बाजार का सर्वेक्षण करने का प्रयास नहीं कर रहे हैं। हमारा कहना यह है:
सत्यापन टीमों को उपलब्ध पेशकशों का पता लगाने और उनका मूल्यांकन करने के लिए प्रोत्साहित किया जाना चाहिए...
...यह देखने के लिए कि क्या उनके कार्यप्रवाह और उनके उत्पाद विकास जीवनचक्र के लिए लागत-लाभ है। चूंकि ईडीए उद्योग लगातार विकसित हो रहा है, जो उपकरण उपलब्ध हैं और सत्यापन टूलिंग कुछ समय के लिए ईडीए उद्योग में उच्च नवाचार का क्षेत्र रहा है। यह सत्यापन टीम की जिम्मेदारी है कि वह नवीनतम विकासों से अवगत रहे और ईडीए विक्रेताओं के साथ जुड़कर यह सुनिश्चित करे कि उनकी वर्तमान और भविष्य की आवश्यकताओं को ईडीए विक्रेता के प्रौद्योगिकी रोडमैप द्वारा पूरा किया जा सके।
कुछ तरीके (लेकिन सभी नहीं) जिनसे एमएल ईडीए उपकरण की पेशकश को बढ़ा रहा है, निम्नलिखित क्षेत्रों में हैं: -
- स्वचालित विफलता क्लस्टरिंग और हस्ताक्षर विश्लेषण का उपयोग करके डिबग त्वरण।
- सिमुलेशन रन के लिए इष्टतम टूल सेटिंग्स का उपयोग सुनिश्चित करने के लिए निष्पादन अनुकूलन।
- औपचारिक सत्यापन के लिए औपचारिक इंजन चयन का अनुकूलन।
- परीक्षण चयन रैंकिंग और अनुकूलन द्वारा कवरेज समापन त्वरण।
आप सत्यापन वर्कफ़्लो के बारे में डेटा इनपुट और डेटा आउटपुट के एक सेट के रूप में सोच सकते हैं, जैसा कि नीचे दिखाया गया है। इनपुट डेटा सेट और जेनरेट किए गए आउटपुट डेटा सेट दोनों एमएल अवसरों के लिए उम्मीदवार हो सकते हैं। हम जानते हैं कि कवरेज विश्लेषण और परीक्षण परिणामों के विश्लेषण पर कितना प्रयास किया जा सकता है। इन प्रमुख क्षेत्रों में दक्षता और प्रभावशीलता में छोटे सुधार से भी लागत, गुणवत्ता और बाजार में आने के समय में सार्थक बचत हो सकती है।
ईडीए टूलींग के लिए चित्र 6 एमएल
चरण3: अपने इंजीनियरों को डेटा वैज्ञानिकों की तरह सोचने के लिए प्रशिक्षित करें
अब तक हमने सक्षम डेटा एनालिटिक्स करने के लिए आवश्यक मुख्य कौशल के बारे में बात की है, लेकिन निश्चित रूप से डेटा एनालिटिक्स की एक पूरी शाखा है जिसे अक्सर डेटा साइंस के रूप में जाना जाता है, जो रोमांचक और आकर्षक है क्योंकि यह हमें अपने डेटा का फायदा उठाने के अवसर प्रदान करता है। अलग-अलग तरीकों से और डेटा से अधिक अंतर्दृष्टि प्राप्त करते हैं जो अकेले डेटा विज़ुअलाइज़ेशन के साथ प्राप्त नहीं किया जा सकता है। अक्सर एमएल या मशीन लर्निंग के रूप में जाना जाता है, यह एक अच्छी तरह से स्थापित अनुशासन है जो थोड़े अधिक बुनियादी प्रशिक्षण के साथ सभी के लिए सुलभ है। तैयार एल्गोरिदम के पुस्तकालय उपलब्ध हैं; आप इनमें से कई को पायथन में आसानी से बंडल में पा सकते हैं scikit सीखने उदाहरण के लिए पुस्तकालय. जिज्ञासु सत्यापन इंजीनियरों को सत्यापन दक्षता और प्रभावशीलता के आसपास नवाचार करना और समस्या-समाधान करना पसंद है। ये आकर्षक और चुनौतीपूर्ण समस्याएं हैं और नए एमएल कौशल सीखकर और लागू करके इन्हें हल करना अत्यधिक प्रेरक हो सकता है। इन नए कौशलों को सीखना मज़ेदार और आनंददायक भी है और ऐसे कई उत्कृष्ट ऑनलाइन शिक्षण प्लेटफ़ॉर्म हैं जो आपको बहुत ही कम समय में शून्य से नायक बना सकते हैं, उदाहरण के लिए, डेटाक्वेस्ट, DataCamp, Udemy, Coursera, Codeacademy, कुछ नाम है।
यदि आपकी इंजीनियरिंग टीम ने बुनियादी डेटा एनालिटिक्स और विज़ुअलाइज़ेशन कौशल में महारत हासिल कर ली है, आपकी डेटा पाइपलाइन साफ और सटीक है, और आप पर्याप्त डेटा एकत्र कर रहे हैं, तो सत्यापन में कई अनुकूलन समस्याएं हैं जो एमएल दृष्टिकोण के लिए उपयुक्त हो सकती हैं - उदाहरण के लिए, प्रतिगमन सेट में कमी और अनुकूलन, संसाधन मांगों के लिए भविष्यवाणी मॉडलिंग, कवरेज समापन अनुकूलन आदि।
इसके अलावा, आज एआई के बारे में बहुत उत्साह है, विशेष रूप से टेस्ट जेनरेशन या कोड लेखन जैसी समस्याओं के लिए जेनरेटिव एआई का अनुप्रयोग। हम यहां उस विषय पर चर्चा नहीं करने जा रहे हैं, लेकिन, जब सत्यापन इंजीनियर डेटा वैज्ञानिकों की तरह सोचना और कार्य करना शुरू करते हैं, तो कम समय में कम संसाधनों का उपयोग करके जटिल डिजाइनों को सत्यापित करने के तरीके में ठोस सुधार करने के कई अवसर हो सकते हैं, और उच्च गुणवत्ता वाले उत्पाद वितरित करना।
सारांश
हार्डवेयर सत्यापन एक डेटा-भारी समस्या है।
सत्यापन इंजीनियर इसे कुछ समय से जानते हैं, और उनके दिन-प्रतिदिन के काम में कुछ बड़े डेटासेट एकत्र करना, प्रसंस्करण और रिपोर्टिंग शामिल है। यह डेटा-भारी समस्या होने का कारण यह है कि सत्यापन आंतरिक रूप से एक खुली समस्या है। इस ओपन-एंडेड प्रक्रिया को मापने योग्य और सीमित बनाने के लिए इंजीनियरिंग टीमों को व्यावहारिक विश्लेषण की आवश्यकता है। कुछ इंजीनियरिंग टीमें अभी भी स्प्रेडशीट स्तर के विश्लेषण और विज़ुअलाइज़ेशन के साथ काम कर रही हैं, जो अक्सर डेटा के स्थिर स्नैपशॉट और मैन्युअल डेटा हेरफेर का उपयोग करती हैं जिन्हें अपडेट करने में समय लगता है। कई अलग-अलग प्रणालियों में कई अलग-अलग डेटा स्रोत शामिल हो सकते हैं जिससे डेटा को जोड़ना और व्यावहारिक सहसंबंध बनाना मुश्किल हो जाता है।
कई लोगों के लिए, चुनौती यह है कि डेटा एनालिटिक्स के साथ सत्यापन डेटा का उपयोग कैसे किया जाए जो हार्डवेयर सत्यापन में सुधार के महत्वपूर्ण अवसर प्रकट करेगा।
इसमें सहायता के लिए परिपक्व अनुशासन उपलब्ध हैं, विशेष रूप से डेटा इंजीनियरिंग, डेटा एनालिटिक्स और डेटा विज़ुअलाइज़ेशन के क्षेत्रों में। इंजीनियरिंग टीमों को या तो आधुनिक डेटा एनालिटिक्स में कौशल बढ़ाने की जरूरत है, या इन क्षमताओं को उत्पाद विकास प्रक्रिया में लाने के लिए पेशेवर डेटा इंजीनियरों, डेटा विश्लेषकों, डेटा वैज्ञानिकों को शामिल करना होगा। अंतिम बिंदु इंटरैक्टिव और वास्तविक समय विश्लेषण का एक सेट है जो सहज, सुलभ, सटीक और स्वयं-सेवा है। एनालिटिक्स के उपभोक्ताओं को अब अद्यतन रिपोर्ट देखने के लिए अनुरोध करने की आवश्यकता नहीं होनी चाहिए। उन्हें स्वयं विज़ुअलाइज़ेशन तक पहुंचना चाहिए और यह समझना चाहिए कि जिस दृश्य की उन्हें आवश्यकता है, उसे कैसे ड्रिल-डाउन और फ़िल्टर करना है, जिसे वे पसंदीदा दृश्य के रूप में सहेज सकते हैं या एम्बेड कर सकते हैं, यह जानते हुए कि यह वास्तविक समय डेटा है, और भरोसा करना चाहिए कि डेटा सटीक है। जब आपकी उंगलियों पर लाइव एनालिटिक्स हो तो रिपोर्ट तैयार करना कम कठिन काम हो जाता है। बेहतर उपलब्धता और पहुंच का मतलब है कि विश्लेषण उन लोगों के लिए समर्पित है जिन्हें डेटा की आवश्यकता है, और इससे भी अधिक, जिज्ञासा को पहले से अज्ञात अंतर्दृष्टि प्रकट करनी चाहिए जब डेटा को देखना और अन्वेषण करना इतना आसान हो।
यदि आप और कुछ नहीं करते हैं, तो अपने बग डेटा कैप्चर व्यवहार और प्रक्रियाओं को परिष्कृत करें...
...क्योंकि बग विश्लेषण उन अंतर्दृष्टियों को प्रकट कर सकता है जिन पर निकट भविष्य में कार्रवाई की जा सकती है।
यह आधारभूत सत्यापन डेटा विश्लेषण है जिसका लक्ष्य है। पहले ये करो. एक स्वच्छ, सटीक और संपूर्ण डेटा पाइपलाइन स्थापित करें जहां अंतिम बिंदु शानदार खोज योग्य डेटा विज़ुअलाइज़ेशन हो। इसके अलावा, डेटासेट को अधिक गहराई से तलाशने और डेटा में पहले से अनदेखे पैटर्न को समझने और समय, प्रयास और लागत को अनुकूलित करने और कम करने के लिए प्रक्रियाओं और वर्कफ़्लो में फीडबैक लूप बनाने के लिए एमएल या एआई जैसी अधिक उन्नत तकनीकों का फायदा उठाने की और भी संभावनाएं हैं। हम ध्यान दें कि सभी मुख्यधारा ईडीए सत्यापन उपकरण विक्रेता पहले से ही अपने कई उन्नत टूल प्रस्तावों के लिए एमएल का निर्माण कर रहे हैं। आज आपके इंजीनियरों को डेटा वैज्ञानिकों के रूप में प्रशिक्षित किए बिना इनका उपयोग किया जा सकता है। अधिकांश सत्यापन गतिविधियों में परिणाम के लिए किसी प्रकार की पुनरावृत्ति या परिशोधन शामिल होता है। आप एमएल/एआई का उपयोग करके कुछ ही समय में स्वीकार्य% सटीकता के साथ वहां पहुंचने में सक्षम हो सकते हैं। अधिक उन्नत टीमें या टीमें जो प्रशिक्षित डेटा वैज्ञानिकों को शामिल कर रही हैं, वे इन लाभों को महसूस करने में सक्षम हो सकती हैं क्योंकि डेटा परिपक्वता बढ़ती है और इंजीनियरिंग टीमें एक मजबूत डेटा संस्कृति अपनाती हैं।
लेखक:
ब्रायन डिकमैन, वैलिटिक कंसल्टिंग लिमिटेड,
जो कॉन्वे, एक्यूर्डो लिमिटेड
यह भी पढ़ें:
कीड़े की खोज: "शिफ़्ट-बाएँ, दाएँ?"
कीड़े की खोज: "डिज़ाइन द्वारा सही!"
बग्स की खोज: हार्डवेयर सत्यापन की दुविधाएँ
इस पोस्ट को इसके माध्यम से साझा करें:
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://semiwiki.com/eda/335551-the-quest-for-bugs-verification-is-a-data-problem/
