Historiquement, télécharger des pages web était plus laborieux, souvent fait avec de grosses bibliothèques Java ou par des commandes comme wget.
wget
Historiquement, l’analyse HTML était ardue.
Historiquement, les requêtes HTTP étaient manuelles et complexes.
L’authentification basique HTTP a été une méthode standard depuis les débuts du web pour protéger les accès.