Ruby:
Webseite herunterladen
How-to:
Zum Herunterladen einer Webseite in Ruby nutzen wir die Bibliothek ‘net/http’. Hier ist ein einfaches Beispiel:
require 'net/http'
require 'uri'
uri = URI('http://example.com')
response = Net::HTTP.get_response(uri)
puts response.body if response.is_a?(Net::HTTPSuccess)
Ergebnis:
<!doctype html>
<html>
<head>
<title>Example Domain</title>
...
</html>
Deep Dive:
Früher waren Optionen zum Herunterladen von Webinhalten in Ruby begrenzt. Mit der Zeit wurden spezialisierte Bibliotheken entwickelt. ‘Open-uri’ ist eine solche Bibliothek, die einfach zu nutzen ist, aber ‘net/http’ bietet mehr Kontrolle. Überlegungen zur Implementierung umfassen das Handling von Weiterleitungen, HTTPS und Cookies. Asynchrone HTTP-Bibliotheken wie ‘httparty’ oder ‘faraday’ bieten alternative Ansätze mit mehr Funktionen.
See Also:
- Ruby-Dokumentation für
net/http
: https://ruby-doc.org/stdlib-3.0.0/libdoc/net/http/rdoc/Net/HTTP.html - Ruby-Dokumentation für
uri
: https://ruby-doc.org/stdlib-3.0.0/libdoc/uri/rdoc/URI.html httparty
GitHub: https://github.com/jnunemaker/httpartyfaraday
GitHub: https://github.com/lostisland/faraday