Livros
Bash
Capítulo 11. HTML e a Web
Baixando uma página da web

Bash:
Baixando uma página da web

How to:

Para baixar uma página da web com o Bash, podemos usar o curl ou wget. Aqui estão os exemplos:

# Usando curl
curl http://example.com -o example.html

# Saída esperada: Nenhuma, se tudo correr bem, o arquivo example.html será criado com o conteúdo da página.

# Usando wget
wget http://example.com

# Saída esperada: O wget irá mostrar o progresso do download e salvará a página como index.html por padrão.

Deep Dive

Historicamente, o wget está por aí desde 1996, com a ideia de ser uma ferramenta para recuperar conteúdo da web via linha de comando. O curl veio logo depois, em 1997, oferecendo mais protocolos e uma biblioteca (libcurl) para os desenvolvedores.

Existem alternativas. Por exemplo, você pode usar o lynx -dump -nolist http://example.com > example.html para baixar o texto de uma página web com o navegador de texto Lynx.

Implementar o download de uma página web também pode envolver cuidados com a etiqueta da internet, como respeitar o arquivo robots.txt de um site, e lidar com as questões de segurança, como a validação de certificado SSL.

See Also

Analisando HTML