Haskell:
Webseite herunterladen
So geht’s:
Installiere die http-conduit
Bibliothek mit Cabal oder Stack. Dann kannst du mit wenigen Zeilen Code eine Webseite herunterladen. Beispiel:
import Network.HTTP.Simple
main :: IO ()
main = do
response <- httpLBS "http://example.com"
let body = getResponseBody response
putStrLn $ "The first 60 characters of the response are: " ++ take 60 (unpack body)
Starte dein Programm. Die erste Zeile des Outputs sollte in etwa so aussehen:
The first 60 characters of the response are: <!doctype html>...
Tiefergehende Einblicke:
http-conduit
ist Teil des größeren Conduit-Bibliothekenpaketes, das auf Streams und ressourceneffizienten Datenfluss ausgerichtet ist. Alternativen wie wreq
oder curl
sind ebenfalls populär, haben aber ihre eigenen Stärken und Schwächen. Beim Herunterladen einer Webseite geht es nicht nur darum, die Daten zu erhalten – es muss auch der Statuscode geprüft, Fehler behandelt und oft auch mit Headers oder Cookies gearbeitet werden.
http-conduit
macht vieles unter der Haube: es handhabt Netzwerkverbindungen, SSL-Verschlüsselung und bietet einfache Funktionen für häufige HTTP-Operationen. Es ist eine gute Mischung aus Einfachheit und Kontrolle – perfekt für Skripte und auch größere Anwendungen.