Bash:
Hämta en webbsida
Så här gör du:
Enkel nedladdning med curl
:
curl https://www.example.com -o example_page.html
Så här ser resultatet ut:
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1270 100 1270 0 0 6350 0 --:--:-- --:--:-- --:--:-- 6350
För att tysta output använd -s
flaggan:
curl -s https://www.example.com -o example_page.html
För att använda wget
:
wget https://www.example.com
Filen sparas som index.html
av default.
Djupdykning
Historiskt sett har wget
varit standardverktyget för att ladda ned och spegla hela webbsidor eller webbplatser, medan curl
växte fram som det flexiblare verktyget för dataöverföringar av alla slag. wget
är rekursiv, vilket betyder att den kan ladda ned hela webbplatser genom att följa länkar, medan curl
hanterar enstaka filer effektivt.
Alternativ till dessa inkluderar mer specialiserade verktyg som HTTrack
eller att skriva anpassade skript med hjälp av Python
och bibliotek som Requests
och BeautifulSoup
för webbskrapning.
Implementationen av filnedladdning i Bash kan variera beroende på operativsystemet. MacOS till exempel levereras med curl
, men inte wget
som default. Såväl curl
som wget
hanterar HTTP-protokollet, men curl
stöder även ett stor antal andra protokoll som FTP, SMTP och LDAP.
Se även
- Curl projektets officiella webbplats: https://curl.se/
- Wget manualen: https://www.gnu.org/software/wget/manual/wget.html
- Web scraping med Python: https://docs.python-requests.org/en/latest/ samt https://www.crummy.com/software/BeautifulSoup/