Téléchargement d'une page web

Bash:
Téléchargement d'une page web

How to:

On utilise curl ou wget. Simple, rapide :

curl https://www.exemple.com -o ma_page.html

Ça sauvegarde la page d’accueil de exemple.com dans ma_page.html.

Ou avec wget, c’est presque pareil :

wget https://www.exemple.com -O ma_page.html

Pour voir le contenu sans le sauvegarder :

curl https://www.exemple.com

Sortie attendue :

<!DOCTYPE html>
<html>
<head>
    <title>Exemple Home Page</title>
</head>
<body>
    <p>Bienvenue sur exemple.com</p>
</body>
</html>

Deep Dive

Avant curl et wget, on utilisait ftp ou telnet. Pas très pratiques. curl est sorti en 1997, wget en 1996. Pourquoi deux outils ? curl est pour les requêtes complexes. wget est pour télécharger en récursif.

curl gère plus de protocoles et d’options d’authentification. wget, lui, est top pour récupérer tout un site. curl offre aussi une librairie (libcurl) pour intégrer la fonctionnalité dans d’autres logiciels.

Pourquoi ne pas utiliser un navigateur web classique ? Automatisation. En programmation, on préfère des outils qui font bien une chose sans intervention humaine. curl et wget sont stables et puissants pour ça.

See Also