Книги
Fish Shell
Глава 11. HTML и веб
Загрузка веб-страницы

Fish Shell:
Загрузка веб-страницы

Как это сделать:

Вот быстрый и простой способ загрузки веб-страницы с использованием Fish Shell и команды curl:

curl -O http://example.com/

Эта команда извлекает содержимое веб-страницы и сохраняет его под тем же именем, что и имя файла на сервере (index.html в большинстве случаев).

Теперь, если вы хотите сохранить его под другим именем:

curl -o my_page.html http://example.com/

Хотите видеть, что вы загружаете? Вот как это напечатать в консоли:

curl http://example.com/

Пример вывода может выглядеть так:

<!doctype html>
<html>
<head>
    <title>Example Domain</title>
...

Подробнее

В старые времена, извлечение веб-страниц было больше магией командной строки, чем чем-то еще. Инструменты вроде wget и curl стали основными. curl, существующий с ‘97 года, выдержал испытание временем, доставляя данные с использованием синтаксиса URL.

Почему curl, а не wget? curl - это своего рода армейский нож для передачи данных, работающий с различными протоколами и форматами данных. Хотя оба инструмента могут загружать веб-страницы, curl также может загружать данные, поддерживает больше протоколов и часто используется в качестве инструмента для другого программного обеспечения.

Fish Shell сам по себе не загружает веб-страницы; это всего лишь интерфейс. Но объедините его с curl, и вы получите мощный, но простой инструмент для загрузки веб-страниц одной строкой.

Некоторые люди могут предложить использовать более современные инструменты вроде httpie или автоматизацию на основе браузера с помощью таких инструментов, как Selenium, для более сложных задач, связанных с обработкой страниц, где много JavaScript. Однако для быстрой и простой загрузки curl все еще держит оборону.

Смотрите также

  • веб-сайт проекта curl для получения дополнительной информации: https://curl.se/
  • Для более подробного изучения операций HTTP с помощью curl см. страницу руководства: man curl
  • httpie как альтернатива дружественного клиента HTTP: https://httpie.org/
  • Документация Fish Shell для выполнения других задач, связанных с оболочкой: https://fishshell.com/docs/current/index.html
Разбор HTML