Haskell:
Webseite herunterladen

So geht’s:

Installiere die http-conduit Bibliothek mit Cabal oder Stack. Dann kannst du mit wenigen Zeilen Code eine Webseite herunterladen. Beispiel:

import Network.HTTP.Simple

main :: IO ()
main = do
    response <- httpLBS "http://example.com"
    let body = getResponseBody response
    putStrLn $ "The first 60 characters of the response are: " ++ take 60 (unpack body)

Starte dein Programm. Die erste Zeile des Outputs sollte in etwa so aussehen:

The first 60 characters of the response are: <!doctype html>...

Tiefergehende Einblicke:

http-conduit ist Teil des größeren Conduit-Bibliothekenpaketes, das auf Streams und ressourceneffizienten Datenfluss ausgerichtet ist. Alternativen wie wreq oder curl sind ebenfalls populär, haben aber ihre eigenen Stärken und Schwächen. Beim Herunterladen einer Webseite geht es nicht nur darum, die Daten zu erhalten – es muss auch der Statuscode geprüft, Fehler behandelt und oft auch mit Headers oder Cookies gearbeitet werden.

http-conduit macht vieles unter der Haube: es handhabt Netzwerkverbindungen, SSL-Verschlüsselung und bietet einfache Funktionen für häufige HTTP-Operationen. Es ist eine gute Mischung aus Einfachheit und Kontrolle – perfekt für Skripte und auch größere Anwendungen.

Siehe auch: