Boeken
JavaScript
Hoofdstuk 11. HTML en het Web
Een webpagina downloaden

JavaScript:
Een webpagina downloaden

Hoe te:

Hier is een snelle manier om een pagina te downloaden met Node.js en node-fetch:

const fetch = require('node-fetch'); // je moet dit misschien eerst installeren!

async function downloadPage(url) {
    try {
        const response = await fetch(url);
        const body = await response.text();
        console.log(body); // Geeft de HTML-bron van de pagina weer
    } catch (error) {
        console.error(error);
    }
}

downloadPage('https://example.com');

Voorbeelduitvoer:

<!doctype html>
<html>
<head>
    <title>Voorbeeld Domein</title>
...
</html>

Diepere Duik

Historisch gezien werd het downloaden van een webpagina gedaan met XMLHTTPRequest in de browser of http module in Node.js. Echter, na ES6, werd de fetch API de moderne standaard vanwege de eenvoudigere syntaxis en promise-gebaseerde aard.

Alternatieven zijn onder meer axios, een populair npm-pakket, dat verzoeken afhandelt met iets meer functionaliteit dan de native fetch. Voor complexe gebruiksscenario’s zou je puppeteer kunnen gebruiken om de pagina daadwerkelijk te renderen in een headless browser, nuttig voor het omgaan met JavaScript-gerenderde inhoud.

Bij het implementeren van paginadownloads, let op aspecten zoals het respecteren van robots.txt, het afhandelen van User-Agent om blokkering te voorkomen, en het zorgvuldig managen van asynchrone afhandeling om potentiële valkuilen te vermijden zoals serveroverbelasting of racecondities.

Zie Ook

HTML Parsen