Книги
Google Apps Script
Глава 11. HTML и веб
Загрузка веб-страницы

Google Apps Script:
Загрузка веб-страницы

Как это сделать:

В Google Apps Script служба UrlFetchApp имеет ключевое значение для скачивания веб-контента. Ниже представлена пошаговая инструкция и простой пример, демонстрирующие, как получить и зарегистрировать HTML-содержимое веб-страницы:

  1. Базовая операция получения данных:
function downloadWebPage() {
  var url = "http://example.com";
  var response = UrlFetchApp.fetch(url);
  var content = response.getContentText();
  Logger.log(content);
}
  • Этот код получает HTML-содержимое example.com и регистрирует его. Это простая демонстрация получения исходного кода веб-страницы без каких-либо дополнительных параметров.
  1. Обработка перенаправлений и HTTPS:

Для HTTPS или обработки перенаправлений код остается в основном тем же, но стоит рассмотреть реализацию обработки ошибок или специальные параметры для перенаправлений:

function downloadSecureWebPage() {
  var options = {
    'followRedirects': true, // Автоматически следовать перенаправлениям
    'muteHttpExceptions': true // Отключить возможные исключения для их корректной обработки
  };
  
  var url = "https://example.com";
  var response = UrlFetchApp.fetch(url, options);
  Logger.log(response.getContentText());
}
  1. Лимиты и квоты:

Будьте внимательны к квотам Google Apps Script; интенсивное использование может потребовать обработки ошибок из-за ограничений скорости.

Подробнее

Исторически загрузка и манипуляция веб-контентом началась с простых HTTP-запросов, которые существенно эволюционировали с появлением языков сценариев. Google Apps Script позволяет просто выполнять такие задачи в экосистеме G Suite, используя надежную инфраструктуру Google. Служба UrlFetchApp является ключевым элементом этой функциональности, упаковывая сложные HTTP/S-запросы в более простой интерфейс на уровне приложения.

Несмотря на своё удобство, Google Apps Script может не всегда быть лучшим инструментом для интенсивного веб-скрепинга или когда требуется сложная последующая обработка полученных данных из-за ограничений времени выполнения и квот, наложенных Google. В таких случаях, специализированные фреймворки для веб-скрепинга или языки, предназначенные для асинхронных операций ввода-вывода, такие как Node.js с библиотеками вроде Puppeteer или Cheerio, могут предложить большую гибкость и мощность.

Более того, хотя Google Apps Script - отличный инструмент для интеграции с сервисами Google (такими как Sheets, Docs и Drive) и выполнения легковесных операций по получению данных, важно помнить о ограничениях среды исполнения. Для интенсивных задач рассмотрите использование Google Cloud Functions или продвинутых сервисов Apps Script с внешними ресурсами вычислений для обработки.

Анализ HTML