Книги
Bash
Розділ 11. HTML та веб
Завантаження веб-сторінки

Bash:
Завантаження веб-сторінки

Як це зробити:

Скачайте сторінку за допомогою curl або wget:

# За допомогою curl
curl http://example.com -o example.html

# За допомогою wget
wget http://example.com

Вивід команд виглядатиме приблизно так:

# Для curl
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  1270  100  1270    0     0   5733      0 --:--:-- --:--:-- --:--:--  5733

# Для wget
--2023-04-14 12:35:47--  http://example.com/
Resolving example.com (example.com)... 93.184.216.34
Connecting to example.com (example.com)|93.184.216.34|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 648 [text/html]
Saving to: ‘index.html’

index.html          100%[===================>]     648  --.-KB/s    in 0s      

2023-04-14 12:35:47 (94.7 MB/s) - ‘index.html’ saved [648/648]

Поглиблений аналіз

curl і wget - інструменти командного рядка, з’явились у 90-их. curl підтримує більше протоколів, але wget - ідеальний для рекурсивного завантаження. Обидва вони дозволяють налаштовувати запити HTTP, на кшталт добавлення заголовків або відправки POST-запитів. Сучасні альтернативи включають GUI-додатки та скриптові мови, але curl і wget залишаються популярними через свою простоту та гнучкість.

Додатково

Аналіз HTML