Boeken
Google Apps Script
Hoofdstuk 11. HTML en het Web
Een webpagina downloaden

Google Apps Script:
Een webpagina downloaden

Hoe te:

In Google Apps Script is de UrlFetchApp-service cruciaal voor het downloaden van webinhoud. Hieronder staat een stap-voor-stap handleiding en een eenvoudig voorbeeld dat demonstreert hoe je de HTML-inhoud van een webpagina kunt ophalen en loggen:

  1. Basis Fetch-bewerking:
function downloadWebPage() {
  var url = "http://example.com";
  var response = UrlFetchApp.fetch(url);
  var content = response.getContentText();
  Logger.log(content);
}
  • Deze code haalt de HTML-inhoud van example.com op en logt deze. Het is een eenvoudige demonstratie van het verkrijgen van de bron van een webpagina zonder extra parameters.
  1. Omgaan met Redirects en HTTPS:

Voor HTTPS of het omgaan met redirects blijft de code grotendeels hetzelfde, maar overweeg foutafhandeling te implementeren of specifieke opties voor redirects:

function downloadSecureWebPage() {
  var options = {
    'followRedirects': true, // Volg automatisch redirects
    'muteHttpExceptions': true // Dempt mogelijke uitzonderingen om ze sierlijk te behandelen
  };
  
  var url = "https://example.com";
  var response = UrlFetchApp.fetch(url, options);
  Logger.log(response.getContentText());
}
  1. Limieten en Quota’s:

Let op de quota’s van Google Apps Script; intensief gebruik kan foutafhandeling voor limieten vereisen.

Diepgaande Verkenning

Historisch gezien begon het downloaden en manipuleren van webinhoud met eenvoudige HTTP-verzoeken, aanzienlijk evoluerend met de komst van scripttalen. Google Apps Script maakt eenvoudige uitvoering van dergelijke taken mogelijk binnen het G Suite-ecosysteem, gebruikmakend van de robuuste infrastructuur van Google. De UrlFetchApp-service is een kernonderdeel van deze functionaliteit, die complexe HTTP/S-verzoeken inkapselt in een eenvoudigere applicatieniveau-interface.

Ondanks het gemak is Google Apps Script mogelijk niet altijd het beste gereedschap voor intensieve webscraping of wanneer complexe nabewerking van opgehaalde gegevens vereist is vanwege de uitvoeringstijdlimieten en quota’s opgelegd door Google. In dergelijke gevallen kunnen specifiek voor webscraping ontworpen frameworks of talen ontworpen voor asynchrone I/O-bewerkingen, zoals Node.js met bibliotheken zoals Puppeteer of Cheerio, meer flexibiliteit en kracht bieden.

Verder is Google Apps Script een uitstekend gereedschap voor integratie met Google Services (zoals Sheets, Docs en Drive) en voor het uitvoeren van lichtgewicht gegevensophaalbewerkingen, maar het is cruciaal om de beperkingen van zijn uitvoeringsomgeving in gedachten te houden. Voor intensieve taken, overweeg het gebruik van Google Cloud Functions of de geavanceerde diensten van Apps Script met externe rekencapaciteit voor verwerking.

HTML Parsen