परिचय

इस परियोजना का उद्देश्य विकसित करना है पायथन कार्यक्रम जो कई वेबसाइटों पर परिवर्तनों की निगरानी और ट्रैकिंग की प्रक्रिया को स्वचालित करता है। हमारा लक्ष्य पायथन का उपयोग करके वेब-आधारित सामग्री में संशोधनों का पता लगाने और दस्तावेज़ीकरण करने के सूक्ष्म कार्य को सुव्यवस्थित करना है। यह क्षमता वास्तविक समय समाचार ट्रैकिंग, तत्काल उत्पाद अपडेट और प्रतिस्पर्धी विश्लेषण करने के लिए अमूल्य है। जैसे-जैसे डिजिटल परिदृश्य तेजी से विकसित हो रहा है, निरंतर जागरूकता और समझ बनाए रखने के लिए वेबसाइट परिवर्तनों की पहचान करना आवश्यक है।

सीखने के मकसद

इस परियोजना के लिए हमारे सीखने के उद्देश्यों में निम्नलिखित घटक शामिल होंगे:

1. ब्यूटीफुलसूप और स्क्रैपी जैसी पायथन लाइब्रेरी का उपयोग करके वेब स्क्रैपिंग विधियों का ज्ञान बढ़ाएं। हमारा लक्ष्य वेबसाइटों से मूल्यवान डेटा को कुशलतापूर्वक निकालना, HTML संरचनाओं को नेविगेट करना, विशिष्ट तत्वों की पहचान करना और विविध सामग्री प्रकारों को संभालना है।
2. वेबसाइट सामग्री में सूक्ष्म परिवर्तनों की पहचान करने में कौशल में सुधार करें। हम सम्मिलन, निष्कासन या संशोधनों का पता लगाने के लिए मौजूदा संदर्भों के साथ नए स्क्रैप किए गए डेटा की तुलना करने की तकनीक सीखने की इच्छा रखते हैं। हमारा लक्ष्य इन तुलनाओं के दौरान सामने आने वाले विभिन्न डेटा प्रारूपों और संरचनाओं को संभालना भी है।
3. वेबसाइट अपडेट को ट्रैक करने के लिए पायथन की स्वचालन क्षमताओं का लाभ उठाएं। हम डेटा संग्रहण को बढ़ाने और दोहराए जाने वाले कार्यों को खत्म करने के लिए क्रॉन जॉब्स या पायथन शेड्यूलिंग लाइब्रेरी जैसे शेड्यूलिंग तंत्र को नियोजित करने की योजना बना रहे हैं।
4. HTML की वास्तुकला की व्यापक समझ विकसित करें। हमारा लक्ष्य HTML दस्तावेज़ों को कुशलतापूर्वक नेविगेट करना, डेटा निष्कर्षण के दौरान महत्वपूर्ण तत्वों की पहचान करना और वेबसाइट लेआउट और संरचनाओं में परिवर्तनों को प्रभावी ढंग से प्रबंधित करना है।
5. डेटा हेरफेर तकनीकों की खोज करके टेक्स्ट प्रोसेसिंग कौशल को बढ़ाएं। हम निकाले गए डेटा को साफ और परिष्कृत करना, डेटा एन्कोडिंग जटिलताओं का समाधान करना और व्यावहारिक विश्लेषण और बहुमुखी रिपोर्टिंग के लिए डेटा में हेरफेर करना सीखेंगे।

इस लेख के एक भाग के रूप में प्रकाशित किया गया था डेटा साइंस ब्लॉगथॉन।

परियोजना विवरण

हमारा लक्ष्य इस परियोजना में चुनिंदा वेबसाइटों पर परिवर्तनों की निगरानी और सूचीकरण के लिए एक पायथन एप्लिकेशन तैयार करना है। इस एप्लिकेशन में निम्नलिखित शामिल होंगे:

1. वेबसाइट जाँच: विशेष सामग्री या अनुभागों में अद्यतनों का पता लगाने के लिए निर्दिष्ट वेबसाइट का लगातार मूल्यांकन।
2. डेटा की पुनःप्राप्ति: वेबसाइट से टेक्स्ट, ग्राफिक्स या प्रासंगिक डेटा जैसे आवश्यक विवरण निकालने के लिए वेब स्क्रैपिंग विधियों का उपयोग करना।
3. पहचान बदलें: अंतर या संशोधन का पता लगाने के लिए ताज़ा स्क्रैप किए गए डेटा को पहले संग्रहीत डेटा से तुलना करना।
4. अधिसूचना तंत्र: परिवर्तन देखे जाने पर उपयोगकर्ता को सूचित रखने के लिए एक चेतावनी तंत्र लागू करना।
5. लॉगिंग: टाइमस्टैम्प और परिवर्तनों के बारे में जानकारी के साथ समय के साथ संशोधनों का विस्तृत रिकॉर्ड रखना। इस एप्लिकेशन को उपयोगकर्ता की प्राथमिकताओं के आधार पर किसी भी वेबसाइट और विशेष सामग्री की निगरानी के लिए तैयार किया जा सकता है। प्रत्याशित परिणामों में वेबसाइट परिवर्तनों के बारे में तत्काल अलर्ट और परिवर्तनों की प्रकृति और समय को समझने के लिए व्यापक परिवर्तन रिकॉर्ड शामिल हैं।

समस्या का विवरण

इस परियोजना का मुख्य उद्देश्य विशिष्ट वेबसाइटों पर नजर रखने की प्रक्रिया को सुव्यवस्थित करना है। पायथन एप्लिकेशन तैयार करके, हम रुचि की वेबसाइट पर परिवर्तनों को ट्रैक और सूचीबद्ध करने की योजना बनाते हैं। यह टूल समाचार लेखों, उत्पाद लिस्टिंग और अन्य वेब-आधारित सामग्री में हाल के संशोधनों के बारे में समय पर अपडेट प्रदान करेगा। इस ट्रैकिंग प्रक्रिया को स्वचालित करने से समय की बचत होगी और वेबसाइट में किए गए किसी भी संशोधन या परिवर्धन के बारे में तत्काल जागरूकता सुनिश्चित होगी।

दृष्टिकोण

इस परियोजना को सफलतापूर्वक लागू करने के लिए, हम एक उच्च-स्तरीय दृष्टिकोण का पालन करेंगे जिसमें निम्नलिखित शामिल हैं
कदम:

1. हमारा प्रोजेक्ट पायथन की शक्तिशाली लाइब्रेरीज़ का उपयोग करेगा सुंदरसुपर or बिखरा हुआ. ये लाइब्रेरी वेबसाइटों से जानकारी इकट्ठा करना और HTML सामग्री को छांटना आसान बनाती हैं।
2. हम शुरुआत में एक आधार रेखा बनाने के लिए वेबसाइट से जानकारी लेंगे। यह बेंचमार्क डेटा हमें बाद में किसी भी बदलाव की पहचान करने में मदद करेगा।
3. हम किसी भी नए परिवर्धन या परिवर्तन को ट्रैक करने के लिए आने वाले डेटा को एक निर्धारित बेंचमार्क के साथ मिलान कर सकते हैं। हमारी तकनीकों में पाठ की तुलना करना या HTML संरचनाओं में अंतर का विश्लेषण करना शामिल हो सकता है।
4. हम लॉग फ़ाइलों के माध्यम से अपने प्रोजेक्ट के संचालन पर नज़र रखेंगे। इन लॉग में रन टाइम, ट्रैक की गई वेबसाइट और पाए गए परिवर्तन जैसे उपयोगी विवरण होंगे। वे हमें अपडेट पर नज़र रखने और पैटर्न ढूंढने में मदद करेंगे।
5. सिस्टम के हिस्से के रूप में, एक अधिसूचना सुविधा एकीकृत की जाएगी। यदि किसी परिवर्तन का पता चलता है, तो उपयोगकर्ताओं को वास्तविक समय में अपडेट रखते हुए ईमेल, एसएमएस या अन्य तरीकों से अलर्ट भेजा जाएगा।

परिदृश्य

एक ऐसी कंपनी की कल्पना करें जो अनेक वेबसाइटों से बच्चों की गतिविधियों के बारे में जानकारी एकत्र करती है और उन्हें अपनी वेबसाइट पर समेकित करती है। हालाँकि, प्रत्येक वेबसाइट पर परिवर्तनों को मैन्युअल रूप से ट्रैक करना और उसके अनुसार अपने स्वयं के प्लेटफ़ॉर्म को अपडेट करना महत्वपूर्ण चुनौतियाँ पैदा करता है। यह वह जगह है जहां हमारा विशेष उपकरण दिन बचाने के लिए आता है, जो इन बाधाओं पर काबू पाने के लिए एक कुशल समाधान प्रदान करता है।

निगरानी की गई वेबसाइटों के उदाहरण:

हम बच्चों की गतिविधियों के बारे में जानकारी एकत्र करने के लिए विभिन्न वेबसाइटों की निगरानी करते हैं। कुछ उदाहरण निम्नलिखित हैं:

सुपर डुपर टेनिस

यह संगठन 2 से 7 वर्ष की आयु के बच्चों को टेनिस की दुनिया से परिचित कराने के लिए पाठ, शिविर और पार्टियों जैसे आकर्षक कार्यक्रम पेश करता है। उनका ध्यान टेनिस के बुनियादी सिद्धांतों को सिखाना, फिटनेस और समन्वय को बढ़ावा देना और अच्छे खेल कौशल को बढ़ावा देना है।

अगला कदम ब्रॉडवे

जर्सी सिटी का यह प्रदर्शन कला विद्यालय उच्च गुणवत्ता वाली नृत्य, आवाज और अभिनय कक्षाएं प्रदान करता है। वे सभी कौशल स्तरों के छात्रों की सेवा करते हैं, एक सहायक और प्रेरक वातावरण में उनकी रचनात्मकता और आत्मविश्वास का पोषण करते हैं।

निम्बस का स्कूल

जर्सी सिटी में प्रसिद्ध, यह संस्थान सभी उम्र और कौशल स्तरों के लिए नृत्य शिक्षा प्रदान करता है। नृत्य शैलियों की एक विविध श्रृंखला और प्रदर्शन और सामुदायिक आउटरीच कार्यक्रमों के संगठन के साथ, वे स्थानीय कला परिदृश्य में योगदान करते हैं और नृत्य के प्रति सराहना को बढ़ावा देते हैं।

हमने एक पायथन-आधारित समाधान विकसित किया है जो उपयोग करता है वेब स्क्रैपिंग तकनीक प्रक्रिया को स्वचालित करने के लिए. हमारा टूल बच्चों की गतिविधियों के बारे में जानकारी में बदलाव का पता लगाने के लिए समय-समय पर चयनित वेबसाइटों की निगरानी करता है। एक बार परिवर्तन की पहचान हो जाने के बाद, टूल कंपनी की वेबसाइट को निर्बाध रूप से अपडेट करता है, लगातार नवीनतम जानकारी को दर्शाता है।

वेबसाइट को अपडेट करने के अलावा, हमारा टूल परिवर्तनों का एक विस्तृत लॉग रखता है, जो विश्लेषण और संदर्भ उद्देश्यों के लिए मूल्यवान डेटा प्रदान करता है। इसे वास्तविक समय में सूचनाएं भेजने के लिए भी कॉन्फ़िगर किया जा सकता है, जिससे कंपनी की टीम को किसी भी परिवर्तन के बारे में सूचित किया जा सकेगा। हमारे टूल का उपयोग करने से कंपनी को अपने परिचालन को सुव्यवस्थित करने की अनुमति मिलती है, जिससे यह सुनिश्चित होता है कि उसकी वेबसाइट हमेशा कई स्रोतों से नवीनतम जानकारी प्रदर्शित करती है।

वेब स्क्रैपिंग पर चेतावनी

यह ध्यान रखना महत्वपूर्ण है कि वेब स्क्रैपिंग गतिविधियों के कानूनी और नैतिक निहितार्थ हो सकते हैं। किसी भी स्क्रैपिंग गतिविधियों में संलग्न होने से पहले, यह सत्यापित करना आवश्यक है कि क्या लक्षित वेबसाइटें स्क्रैपिंग की अनुमति देती हैं या वेबसाइट मालिकों से आवश्यक अनुमति प्राप्त करती हैं। वेबसाइटों की सेवा की शर्तों का पालन करना और उनकी नीतियों का सम्मान करना महत्वपूर्ण है। इसके अतिरिक्त, अनुरोधों की आवृत्ति के प्रति सचेत रहना और उन प्रथाओं से बचना महत्वपूर्ण है जो वेबसाइट के संचालन को बाधित कर सकती हैं। वेब स्क्रैपिंग को हमेशा सावधानी से करें और सकारात्मक और अनुपालन अनुभव सुनिश्चित करने के लिए सर्वोत्तम प्रथाओं का पालन करें।

निगरानी के लिए वांछित वेबलिंक प्राप्त करना

लक्ष्य वेबसाइट के होम पेज से पेज लिंक निकालने के लिए एक परिष्कृत दृष्टिकोण नियोजित किया जाता है। यहां एक कोड स्निपेट है जहां हम सुपर डुपर टेनिस के होम पेज से पेज लिंक निकालने के लिए पायथन की ब्यूटीफुलसूप लाइब्रेरी का उपयोग करेंगे:

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import pandas as pd # URL of the home page
url = 'https://www.superdupertennis.com/' # Retrieve the HTML content via a GET request
response = requests.get(url)
html_content = response.text # Parse the HTML content with BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser') # Extract the page links from anchor tags (<a>)
links = soup.find_all('a') # Create a list to store the data
data = []
for link in links: page_name = link.text.strip() # Remove leading/trailing whitespace # and format the page name properly web_link = link.get('href') # Use get() method to retrieve #the 'href' attribute if web_link: # Check if 'href' #attribute exists before adding to table complete_link = urljoin(url, web_link) # Construct the complete web link using urljoin data.append({ 'Service Provider': 'Super Duper Tennis', # Update with the actual service provider name 'Page Name': page_name, 'Complete Web Link': complete_link }) # Create a pandas DataFrame from the data
df = pd.DataFrame(data)

• हम अनुरोध, ब्यूटीफुलसूप और पांडा लाइब्रेरी जैसे आवश्यक उपकरण लाते हैं। हम वह वेबसाइट भी चुनते हैं जिसे हम एक्सप्लोर करना चाहते हैं, उदाहरण के लिए, 'https://www.superdupertennis.com/'।
• अनुरोध लाइब्रेरी के माध्यम से इस URL पर एक GET अनुरोध भेजा जाता है। मुखपृष्ठ से परिणामी HTML सामग्री 'html_content' में सहेजी जाती है।
• ब्यूटीफुलसूप HTML सामग्री की समीक्षा करता है और ' ' टैग की पहचान करता है। इन टैगों में आमतौर पर वे लिंक होते हैं जिनमें हमारी रुचि होती है।
• प्रत्येक ' ' टैग को पृष्ठ का नाम और 'href' मान, वास्तविक लिंक निकालने के लिए संसाधित किया जाता है। हमने अतिरिक्त रिक्त स्थान हटाकर निकाले गए डेटा को भी व्यवस्थित किया।
• Urllib.parse के urljoin() फ़ंक्शन की सहायता से, हम पूर्ण URL बनाने के लिए आधार URL और प्रत्येक संबंधित लिंक को एक साथ जोड़ते हैं।
• फिर सभी साफ़ और तैयार डेटा को 'डेटा' सूची में डाल दिया जाता है। इस सूची में सेवा प्रदाता का नाम, साफ़ पृष्ठ का नाम और पूर्ण URL वाले शब्दकोश शामिल हैं।
• अंत में, हम पांडा का उपयोग करके 'डेटा' सूची को डेटाफ़्रेम में बदलते हैं। यह डेटाफ़्रेम तीन कॉलमों में विभाजित है: 'सेवा प्रदाता', 'पेज नाम', और 'संपूर्ण वेब लिंक'।

आरंभिक डेटा कैप्चर

भविष्य की तुलनाओं के लिए आधार रेखा स्थापित करने के लिए, वांछित को स्क्रैप करके प्रारंभिक डेटा कैप्चर करें
वेबसाइट से सामग्री प्राप्त करना और उसे डेटाबेस या फ़ाइल जैसी डेटा संरचना में संग्रहीत करना। यहां पिछले कोड की निरंतरता है:

for a,b,c in zip(df['Service Provider'].to_list(), df['Page Name'].to_list(),df['Web link'].to_list()): url = c headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'} time.sleep(60) # page download response = requests.get(url, headers=headers) # parsed downloaded homepage soup = BeautifulSoup(response.text, "lxml") # discard scripts and styles for script in soup(["script", "style"]): script.extract() soup = soup.get_text() current_ver = soup.splitlines() with open(r"PATH{}{}{}_{}_{}.txt". format(a,b,a,b,date.today().strftime ('%Y-%m-%d')),"a",encoding="utf-8") as file: file.write("n".join(current_ver)) file.close()

पांडा डेटाफ़्रेम का उपयोग करके, हम सेवा प्रदाता, पृष्ठ नाम और वेब लिंक तक पहुंचने के लिए पंक्तियों पर पुनरावृत्ति करते हैं। ये चर क्रमशः a, b, और c को निर्दिष्ट हैं।

हम वेब लिंक (सी) पर पुनरावृत्ति के भीतर यूआरएल वैरिएबल सेट करते हैं। इसके अतिरिक्त, हम अनुरोध लाइब्रेरी के लिए हेडर वेरिएबल को परिभाषित करते हैं।

अनुरोधों के बीच उचित विलंब लाने के लिए, हम 60 सेकंड के लिए रुकने के लिए time.sleep() फ़ंक्शन का उपयोग करते हैं।

इसके बाद, हम निर्दिष्ट यूआरएल और हेडर का उपयोग करके पृष्ठ की सामग्री को डाउनलोड करने के लिए एक GET अनुरोध भेजते हैं। प्रतिक्रिया प्रतिक्रिया चर में संग्रहीत है।

"एलएक्सएमएल" पार्सर के साथ ब्यूटीफुलसूप का उपयोग करके, हम डाउनलोड किए गए होमपेज को पार्स करते हैं और टेक्स्ट निकालते हैं
संतुष्ट। पार्स की गई सामग्री से स्क्रिप्ट और शैलियाँ हटा दी जाती हैं।

निकाले गए टेक्स्ट को लाइनों में विभाजित किया गया है और current_ver वेरिएबल को सौंपा गया है।

अंत में, हम राइट मोड में एक फ़ाइल खोलते हैं और current_ver टेक्स्ट सामग्री लिखते हैं। हम सेवा प्रदाता, पृष्ठ नाम और वर्तमान तिथि के आधार पर फ़ाइल नाम बना सकते हैं। यह कैप्चर किया गया डेटा वेबसाइट निगरानी परियोजना में भविष्य की तुलनाओं के लिए आधार रेखा के रूप में काम करेगा।

तुलना और परिवर्तन का पता लगाना

बाद के निष्पादन के दौरान, हम अद्यतन वेबपेज सामग्री को पुनः प्राप्त करते हैं और किसी भी विचलन या परिवर्तन की पहचान करने के लिए इसे हमारे संग्रहीत बेसलाइन डेटा के साथ तुलना करते हैं। यहां पिछली स्क्रिप्ट की निरंतरता है:

change_logs = pd.DataFrame() for provider, page, link in zip(df['Service Provider'].
to_list(), df['Page Name'].to_list(), df['Web link'].to_list()):
files = glob.glob(r"PATH{}{}*.txt".format(provider, page))
files_sorted = sorted(files, key=os.path.getctime, reverse=True)
current_content = open(files_sorted[0], 'r', encoding="utf-8").readlines()
prior_content = open(files_sorted[1], 'r', encoding="utf-8").readlines() comparison = difflib.context_diff(current_content, prior_content, n=3, lineterm='n') compared_text = "n".join([line.rstrip() for line in'n'.join(comparison).splitlines() if line.strip()])
if compared_text == '': change_description = 'No alterations detected on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0]
else: if "We couldn't find the page you were looking for" in compared_text: change_description = 'URL modified on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0] else: change_description = 'Alterations detected on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0] temp_log = pd.DataFrame({'Service Provider': pd.Series(provider), 'Section': pd.Series(page), 'Changes': pd.Series (change_description), 'Link': pd.Series(link)})
change_logs = change_logs.append(temp_log) comparison = difflib.context_diff(current_content, prior_content, n=3, lineterm='n') compared_text = "n".join([line.rstrip() for line in'n'.join(comparison).splitlines() if line.strip()])
if compared_text == '': change_description = 'No alterations detected on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0]
else: if "We couldn't find the page you were looking for" in compared_text: change_description = 'URL modified on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0] else: change_description = 'Alterations detected on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0] temp_log = pd.DataFrame({'Service Provider': pd.Series(provider), 'Section': pd.Series(page), 'Changes': pd.Series(change_description), 'Link': pd.Series(link)})
change_logs = change_logs.append(temp_log)

हम किसी भी पहचाने गए परिवर्तनों का विवरण संग्रहीत करने के लिए चेंज_लॉग्स नामक एक खाली डेटाफ़्रेम बनाते हैं। पांडा डेटाफ़्रेम का उपयोग करके, हम सेवा प्रदाता, पृष्ठ नाम और वेबपेज लिंक लाने के लिए पंक्तियों पर पुनरावृति करते हैं। इन्हें प्रदाता, पृष्ठ और लिंक के रूप में निरूपित करें।

लूप के अंदर, हम पहले से सहेजी गई फ़ाइलों के पैटर्न से मेल खाने वाली फ़ाइलों का एक संग्रह इकट्ठा करते हैं। इस संग्रह को फ़ाइल निर्माण समय के अनुसार क्रमबद्ध किया गया है, सबसे हाल की फ़ाइल पहले आती है।

फिर हम तुलना के लिए वर्तमान और पूर्व फ़ाइलों की सामग्री को पढ़ते हैं। Difflib.context_diff() फ़ंक्शन तुलना करता है, परिणाम को तुलना चर में संग्रहीत करता है।

Compare_text की सामग्री के आधार पर, हम यह निर्धारित कर सकते हैं कि क्या कोई परिवर्तन हैं या यदि विशिष्ट संदेश इंगित करते हैं कि पृष्ठ गायब है या URL बदल गया है।

इसके बाद, हम तुलना के लिए पिछली फ़ाइल की तारीख और संदर्भ तिथि को नोट करते हुए, चेंज_डिस्क्रिप्शन वैरिएबल का निर्माण करते हैं। पुनर्प्राप्त डेटा का उपयोग करके, हम एक अस्थायी डेटाफ़्रेम, temp_log उत्पन्न करते हैं, जिसमें सेवा प्रदाता, पृष्ठ का नाम, परिवर्तन विवरण और वेबपेज लिंक शामिल होता है।

अंत में, हम Change_logs डेटाफ़्रेम में temp_log जोड़ते हैं, जो सभी ज्ञात परिवर्तनों का विवरण एकत्र करता है।

अधिसूचना तंत्र

परिवर्तनों का पता चलने पर उपयोगकर्ता को सचेत करने के लिए एक अधिसूचना तंत्र नियोजित करें। आप अधिसूचना वितरण के लिए पायथन लाइब्रेरी या बाहरी एपीआई का उपयोग कर सकते हैं। सबसे पहले, सूचनाएं भेजने के लिए आवश्यक लाइब्रेरी आयात करें, और आपके द्वारा चुनी गई विधि के आधार पर, आपको अतिरिक्त लाइब्रेरी या एपीआई स्थापित करने की आवश्यकता हो सकती है।

ईमेल सूचनाओं के लिए, हम SMTP सर्वर के माध्यम से ईमेल भेजने के लिए smtplib लाइब्रेरी का उपयोग करेंगे। सुनिश्चित करें कि आप अपना ईमेल क्रेडेंशियल और एसएमटीपी सर्वर विवरण प्रदान करें।

नीचे एक कोड स्निपेट है जो एक ईमेल अधिसूचना प्रदर्शित करता है:

import smtplib def send_email_notification(subject, message, recipient): sender = '[email protected]' password = 'your-email-password' smtp_server = 'smtp.example.com' smtp_port = 587 email_body = f'Subject: {subject}nn{message}' with smtplib.SMTP(smtp_server, smtp_port) as server: server.starttls() server.login(sender, password) server.sendmail(sender, recipient, email_body) # Usage:
subject = 'Website Change Notification'
message = 'Changes have been detected on the website. Please review.'
recipient = '[email protected]'
send_email_notification(subject, message, recipient)

एसएमएस सूचनाओं के लिए, आप ट्विलियो या नेक्समो जैसे बाहरी एपीआई को एकीकृत कर सकते हैं। ये एपीआई प्रोग्रामेटिक एसएमएस संदेश भेजने में सक्षम बनाते हैं। एक खाते के लिए पंजीकरण करें, आवश्यक एपीआई क्रेडेंशियल प्राप्त करें, और संबंधित पायथन लाइब्रेरी स्थापित करें।

नीचे एक उदाहरण कोड स्निपेट है जो ट्विलियो एपीआई का उपयोग करके एसएमएस अधिसूचना प्रदर्शित करता है:

from twilio.rest import Client def send_sms_notification(message, recipient): account_sid = 'your-account-sid' auth_token = 'your-auth-token' twilio_number = 'your-twilio-phone-number' client = Client(account_sid, auth_token) message = client.messages.create( body=message, from_=twilio_number, to=recipient ) # Usage:
message = 'Changes have been detected on the website. Please review.'
recipient = '+1234567890'
send_sms_notification(message, recipient)

लॉगिंग और रिपोर्टिंग

चूंकि संगठन परिवर्तनों को ट्रैक करने के लिए इस स्क्रिप्ट को बार-बार चलाएगा, इसलिए प्रत्येक रन के आउटपुट का रिकॉर्ड बनाए रखना आवश्यक है। समय, अवधि और पाए गए परिवर्तनों सहित प्रत्येक निष्पादन को लॉग करना, इस प्रक्रिया को सुविधाजनक बना सकता है। हम इस डेटा का उपयोग सारांश रिपोर्ट तैयार करने के लिए कर सकते हैं जो समय के साथ रुझान दिखाती है और वेबसाइट अपडेट की आवृत्ति और प्रकृति को समझने में सहायता करती है।

हम उपयुक्त पुस्तकालयों को आयात करके प्रक्रिया शुरू करते हैं, जिसमें पायथन में लॉगिंग लाइब्रेरी शामिल है। साथ ही, हमें लॉगिंग स्तर और लॉग फ़ाइल स्वरूप भी सेट करना होगा।

import logging # Configure logging settings
logging.basicConfig(filename='website_monitoring.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') # Log an informational message
logging.info('Website monitoring started.') # Log the detected changes
logging.info('Changes detected on {date}: {details}'
.format(date='2023-06-15', details='Updated content on homepage.')) # Log an error message
logging.error('Error occurred while retrieving website content.')

लॉगिंग डेटा से एक रिपोर्ट तैयार करने के लिए, हम समय के साथ परिवर्तनों को सारांशित करने वाले विज़ुअलाइज़ेशन बनाने के लिए matplotlib या Seaborn जैसी लाइब्रेरीज़ को नियोजित कर सकते हैं। रिपोर्ट और विज़ुअलाइज़ेशन का चुनाव ट्रैक किए गए परिवर्तनों पर निर्भर करेगा।

समय के साथ परिवर्तन की आवृत्ति को दर्शाने के लिए एक सरल लाइन प्लॉट तैयार करने के लिए यहां एक उदाहरण कोड स्निपेट दिया गया है:

import matplotlib.pyplot as plt
import pandas as pd # Read the log file into a pandas DataFrame
log_data = pd.read_csv('website_monitoring.log', delimiter=' - ', header=None, names=['Timestamp', 'Level', 'Message']) # Convert the Timestamp column to datetime format
log_data['Timestamp'] = pd.to_datetime(log_data
['Timestamp'], format='%Y-%m-%d %H:%M:%S') # Group the data by date and count the number of changes per day
changes_per_day = log_data[log_data['Level'] == 'INFO']
.groupby(log_data['Timestamp'].dt.date).size() # Plot the changes over time
plt.plot(changes_per_day.index, changes_per_day.values)
plt.xlabel('Date')
plt.ylabel('Number of Changes')
plt.title('Website Content Changes Over Time')
plt.xticks(rotation=45)
plt.show()

सीमाओं

परियोजना कार्यान्वयन के दौरान कई चुनौतियाँ उत्पन्न हो सकती हैं, जिन पर सावधानीपूर्वक विचार करने की आवश्यकता है। इन
सीमाओं में वेबसाइट संरचना परिवर्तन, कानूनी या नैतिक बाधाएं, और वेब स्क्रैपिंग या डेटा तुलना प्रक्रियाओं में त्रुटियां शामिल हैं।

वेबसाइट संरचना परिवर्तन: डायनामिक वेबसाइटें अक्सर संशोधनों से गुजरती हैं, जिससे वेब स्क्रैपिंग प्रक्रिया प्रभावित होती है। इन परिवर्तनों को समायोजित करने के लिए स्क्रैपिंग कोड को अपनाना आवश्यक हो जाता है। स्क्रैपिंग कोड की नियमित निगरानी और अद्यतन करने से विकसित हो रही वेबसाइट संरचनाओं के साथ अनुकूलता सुनिश्चित की जा सकती है।

कानूनी और नैतिक बाधाएँ: वेब स्क्रैपिंग के लिए कानूनी और नैतिक दिशानिर्देशों का पालन करना महत्वपूर्ण है। वेबसाइटों में सेवा की शर्तें हो सकती हैं जो स्क्रैपिंग पर रोक लगाती हैं या डेटा संग्रह पर प्रतिबंध लगाती हैं। इन शर्तों का सम्मान करना और स्क्रैप किए गए डेटा का जिम्मेदारी से उपयोग करना अनुपालन सुनिश्चित करने के लिए आवश्यक है।

वेब स्क्रैपिंग और डेटा तुलना में त्रुटियाँ: वेब स्क्रैपिंग में बाहरी वेबसाइटों के साथ इंटरेक्शन शामिल होता है, जिससे त्रुटियों की संभावना उत्पन्न होती है। स्क्रैपिंग के दौरान कनेक्शन विफलता, टाइमआउट या सर्वर समस्याएँ हो सकती हैं। ऐसी स्थितियों को शालीनता से संभालने के लिए मजबूत त्रुटि-हैंडलिंग तंत्र को नियोजित करना महत्वपूर्ण है। इसके अतिरिक्त, डेटा तुलना प्रक्रियाओं की सटीकता सुनिश्चित करना और क्षमता का लेखा-जोखा करना
विश्वसनीय परिणामों के लिए गलत सकारात्मक या नकारात्मक जैसी त्रुटियाँ महत्वपूर्ण हैं।

अनुमतियाँ और वेबसाइट नीतियाँ: वेब स्क्रैपिंग शुरू करने से पहले यह सत्यापित करना आवश्यक है कि लक्ष्य वेबसाइट स्क्रैपिंग की अनुमति देती है या वेबसाइट मालिक से आवश्यक अनुमति प्राप्त करती है। वेबसाइट की robots.txt फ़ाइल का अनुपालन करना, उनकी सेवा की शर्तों का सम्मान करना और अनुरोधों की आवृत्ति के प्रति सचेत रहना नीति उल्लंघन से बचने के लिए महत्वपूर्ण विचार हैं।

निष्कर्ष

अंत में, इस प्रोजेक्ट ने वेब स्क्रैपिंग के माध्यम से वेबसाइट अपडेट को ट्रैक करने के लिए एक शक्तिशाली पायथन टूल सफलतापूर्वक बनाया है। हमने वेब स्क्रैपिंग, डेटा तुलना, नोटिफिकेशन, लॉगिंग और रिपोर्टिंग जैसी आवश्यक सुविधाओं के साथ एक टूल सफलतापूर्वक विकसित किया है।

इस पूरे प्रोजेक्ट के दौरान, हमने HTML की अपनी समझ को गहरा किया है, टेक्स्ट प्रोसेसिंग में अपने कौशल को निखारा है और डेटा हेरफेर की कला में महारत हासिल की है। ब्यूटीफुलसूप और अनुरोधों की क्षमताओं का लाभ उठाते हुए, हम पायथन का उपयोग करके वेब स्क्रैपिंग और स्वचालित कार्यों में कुशल हो गए हैं। इसके अलावा, हमने एक मजबूत त्रुटि-हैंडलिंग तंत्र विकसित किया है और डेटा विश्लेषण और रिपोर्टिंग विशेषज्ञता हासिल की है।

हमारा टूल समाचार लेखों, उत्पाद लिस्टिंग और अन्य वेब सामग्री में परिवर्तनों पर नज़र रखने के लिए एक विश्वसनीय समाधान है। प्रक्रिया को स्वचालित करने से मैन्युअल अपडेट की आवश्यकता समाप्त हो जाती है, जिससे यह सुनिश्चित होता है कि जानकारी नवीनतम और सटीक बनी रहे।

इस पूरी यात्रा के दौरान, हमने बहुमूल्य ज्ञान और कौशल प्राप्त किए हैं, जिनमें शामिल हैं:

1. ब्यूटीफुलसूप और अनुरोधों का उपयोग करके वेब स्क्रैपिंग तकनीक।
2. HTML संरचनाओं से बहुमूल्य जानकारी का प्रभावी निष्कर्षण।
3. प्रक्रियाओं को सुव्यवस्थित करने के लिए कार्यों का स्वचालन।
4. वेब स्क्रैपिंग प्रक्रियाओं में मजबूत त्रुटि प्रबंधन।
5. परिवर्तनों की पहचान करने के लिए उन्नत डेटा विश्लेषण और तुलना।
6. कुशल ट्रैकिंग और व्यावहारिक विश्लेषण के लिए व्यापक सूचनाएं, लॉग और रिपोर्ट का निर्माण।

आम सवाल-जवाब

इस लेख में दिखाया गया मीडिया एनालिटिक्स विद्या के स्वामित्व में नहीं है और इसका उपयोग लेखक के विवेक पर किया जाता है।

सम्बंधित

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. ऑटोमोटिव/ईवीएस, कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• BlockOffsets. पर्यावरणीय ऑफसेट स्वामित्व का आधुनिकीकरण। यहां पहुंचें।
• स्रोत: https://www.analyticsvidhya.com/blog/2023/07/website-monitoring-using-python/