Книги
Google Apps Script
Розділ 11. HTML та веб
Завантаження веб-сторінки

Google Apps Script:
Завантаження веб-сторінки

Як це зробити:

У Google Apps Script служба UrlFetchApp є ключовою для завантаження веб-вмісту. Нижче наведено поетапний посібник та простий приклад, який демонструє, як отримати вміст HTML сторінки та зареєструвати його:

  1. Основна операція завантаження:
function downloadWebPage() {
  var url = "http://example.com";
  var response = UrlFetchApp.fetch(url);
  var content = response.getContentText();
  Logger.log(content);
}
  • Цей код отримує HTML вміст example.com та реєструє його. Це просте демонстрування отримання вихідного коду веб-сторінки без будь-яких додаткових параметрів.
  1. Обробка переадресацій та HTTPS:

Для HTTPS або обробки переадресацій код залишається майже таким самим, але варто розглянути реалізацію обробки помилок або специфічні опції для переадресацій:

function downloadSecureWebPage() {
  var options = {
    'followRedirects': true, // Автоматично слідувати за переадресаціями
    'muteHttpExceptions': true // Придушити можливі виключення для їх красивого оброблення
  };
  
  var url = "https://example.com";
  var response = UrlFetchApp.fetch(url, options);
  Logger.log(response.getContentText());
}
  1. Ліміти частоти та квоти:

Будьте уважними до квот Google Apps Script; інтенсивне використання може вимагати обробки помилок для обмежень частоти.

Поглиблений огляд

Історично, завантаження та маніпуляція веб-вмістом починалися з простих HTTP запитів, які істотно еволюціонували з появою скриптових мов. Google Apps Script дозволяє просто виконувати такі завдання в екосистемі G Suite, використовуючи міцну інфраструктуру Google. Служба UrlFetchApp є ключовим елементом цієї функціональності, упаковуючи складні HTTP/S запити в простіший інтерфейс на рівні додатків.

Незважаючи на зручність, Google Apps Script може не завжди бути кращим інструментом для інтенсивного веб-скрапінгу або коли потрібна складна постобробка отриманих даних через обмеження часу виконання та квоти, накладені Google. У таких випадках, спеціалізовані рамки для веб-скрапінгу або мови, розроблені для асинхронних I/O операцій, такі як Node.js з бібліотеками на кшталт Puppeteer або Cheerio, можуть пропонувати більше гнучкості та потужності.

Більше того, хоча Google Apps Script є відмінним інструментом для інтеграції з Google службами (такими як Sheets, Docs та Drive) та виконання операцій легкого збору даних, важливо пам’ятати про обмеження середовища виконання. Для інтенсивних завдань розгляньте використання Google Cloud Functions або розширених служб Apps Script з зовнішніми ресурсами обробки.

Розбір HTML