बइगुलो
Google Apps Script
अध्याय 11। HTML और वेब
वेब पेज डाउनलोड करना

Google Apps Script:
वेब पेज डाउनलोड करना

कैसे करें:

Google Apps Script में, UrlFetchApp सेवा वेब सामग्री को डाउनलोड करने के लिए महत्वपूर्ण है। नीचे एक वेबपेज की HTML सामग्री को प्राप्त करने और लॉग करने का एक कदम-दर-कदम मार्गदर्शन और एक सरल उदाहरण दिया गया है:

  1. मूल फेच ऑपरेशन:
function downloadWebPage() {
  var url = "http://example.com";
  var response = UrlFetchApp.fetch(url);
  var content = response.getContentText();
  Logger.log(content);
}
  • यह कोड example.com की HTML सामग्री को प्राप्त करता है और उसे लॉग करता है। यह किसी अतिरिक्त पैरामीटर के बिना वेब पेज के स्रोत को प्राप्त करने का एक सीधा प्रदर्शन है।
  1. रीडायरेक्ट्स और HTTPS को संभालना:

HTTPS या रीडायरेक्ट्स को संभालने के लिए, कोड बड़े पैमाने पर वही रहता है, लेकिन रीडायरेक्ट्स के लिए त्रुटि संभालने या विशिष्ट विकल्पों पर विचार करना चाहिए:

function downloadSecureWebPage() {
  var options = {
    'followRedirects': true, // स्वचालित रूप से रीडायरेक्ट्स का पालन करें
    'muteHttpExceptions': true // संभवतः अपवादों को म्यूट करें ताकि उन्हें सुव्यवस्थित रूप से संभाला जा सके
  };
  
  var url = "https://example.com";
  var response = UrlFetchApp.fetch(url, options);
  Logger.log(response.getContentText());
}
  1. रेट लिमिट्स और कोटा:

Google Apps Script के कोटा का ध्यान रखें; भारी उपयोग के लिए रेट लिमिट्स के लिए त्रुटि संभालने की आवश्यकता हो सकती है।

गहन अध्ययन

ऐतिहासिक रूप से, वेब सामग्री डाउनलोड और हेरफेर सरल HTTP अनुरोधों के साथ आरंभ हुआ, स्क्रिप्टिंग भाषाओं के आगमन के साथ काफी विकसित हुआ। Google Apps Script G Suite पारिस्थितिकी तंत्र के भीतर इस तरह के कार्यों का सरल निष्पादन अनुमति देती है, Google के मजबूत अवसंरचना का लाभ उठाती है। UrlFetchApp सेवा इस कार्यक्षमता का एक मूल तत्व है, जटिल HTTP/S अनुरोधों को एक सरल अनुप्रयोग-स्तरीय इंटरफ़ेस में समेकित करती है।

हालांकि इसकी सुविधा के लिए, Google Apps Script हमेशा भारी-ड्यूटी वेब स्कैपिंग के लिए या जब प्राप्त डाटा की जटिल पोस्ट-प्रोसेसिंग की आवश्यकता होती है तो सर्वोत्तम उपकरण नहीं हो सकता है क्योंकि Google द्वारा लगाए गए निष्पादन समय सीमा और कोटा के कारण। ऐसे मामलों में, समर्पित वेब स्क्रेपिंग फ्रेमवर्क्स या असिंक्रोनस I/O ऑपरेशनों के लिए डिज़ाइन की गई भाषाएँ, जैसे कि Node.js के साथ Puppeteer या Cheerio जैसे पुस्तकालयों के साथ, अधिक लचीलापन और शक्ति प्रदान कर सकते हैं।

इसके अलावा, जबकि Google Apps Script Google Services (जैसे Sheets, Docs, और Drive) के साथ एकीकरण करने और हल्के डाटा फेच ऑपरेशन्स को प्रदर्शन करने के लिए एक उत्कृष्ट उपकरण है, इसके निष्पादन वातावरण की सीमाओं को ध्यान में रखना महत्वपूर्ण है। गहन कार्यों के लिए, Google Cloud Functions या Apps Script की उन्नत सेवाओं का उपयोग करके बाहरी कंप्यूट संसाधनों के साथ प्रोसेसिंग के विचार पर विचार करें।

HTML पार्स करना