Книги
JavaScript
Глава 11. HTML и веб
Загрузка веб-страницы

JavaScript:
Загрузка веб-страницы

Как:

Вот быстрый способ скачать страницу с использованием Node.js и node-fetch:

const fetch = require('node-fetch'); // сначала вам может потребоваться установить этот пакет!

async function downloadPage(url) {
    try {
        const response = await fetch(url);
        const body = await response.text();
        console.log(body); // Выводит исходный HTML код страницы
    } catch (error) {
        console.error(error);
    }
}

downloadPage('https://example.com');

Пример вывода:

<!doctype html>
<html>
<head>
    <title>Пример домена</title>
...
</html>

Подробнее

Ранее скачивание веб-страницы осуществлялось с использованием XMLHTTPRequest в браузере или модуля http в Node.js. Однако после введения ES6, fetch API стал современным стандартом благодаря более простому синтаксису и основанной на промисах природе.

К альтернативам относится axios, популярный npm пакет, который обрабатывает запросы с немного большей функциональностью, чем родной fetch. Для сложных случаев использования может потребоваться puppeteer для рендеринга страницы в бесголовом браузере, что полезно для работы с содержимым, отрисованным с помощью JavaScript.

При реализации загрузки страниц обращайте внимание на аспекты, такие как уважение к robots.txt, управление User-Agent для избежания блокировки, и тщательное управление асинхронностью, чтобы избежать потенциальных проблем с перегрузкой сервера или условиями гонки.

Смотрите также

Разбор HTML