Boeken
Fish Shell
Hoofdstuk 11. HTML en het Web
Een webpagina downloaden

Fish Shell:
Een webpagina downloaden

Hoe te:

Hier is de snelle en vuile manier om een webpagina te downloaden met Fish Shell met het curl commando:

curl -O http://example.com/

Dit commando haalt de inhoud van de webpagina op en slaat het op met dezelfde naam als de bestandsnaam op de server (index.html in de meeste gevallen).

Stel nu dat je het onder een andere naam wilt opslaan:

curl -o my_page.html http://example.com/

Wil je zien wat je ophaalt? Zo print je het naar de console:

curl http://example.com/

Een voorbeelduitvoer kan er zo uitzien:

<!doctype html>
<html>
<head>
    <title>Voorbeeld Domein</title>
...

Diepere Duik

Terug in de vroege dagen was het ophalen van webpagina’s meer tovenarij op de commandolijn dan iets anders. Hulpmiddelen zoals wget en curl werden basisbenodigdheden. curl, al rond sinds ‘97, heeft de tand des tijds doorstaan voor het leveren van gegevens met URL-syntax.

Waarom curl boven wget? curl is meer een Zwitsers zakmes voor gegevensoverdracht, omgaand met een reeks protocollen en gegevensformaten. Hoewel beide webpagina’s kunnen downloaden, kan curl ook gegevens uploaden, en het ondersteunt meer protocollen en wordt vaak gebruikt als een back-end tool door andere software.

Fish Shell zelf downloadt geen webpagina’s; het is slechts de interface. Maar combineer het met curl, en je hebt een krachtige maar eenvoudige eenregels web-ophaalinstallatie.

Sommigen zouden kunnen opwerpen dat het gebruik van meer moderne hulpmiddelen zoals httpie of browsergebaseerde automatisering met tools zoals Selenium voor complexere taken zoals omgaan met Javascript-zware pagina’s. Echter, voor de snelle en eenvoudige download, houdt curl nog steeds stand.

Zie Ook

HTML Parsen