Baixar páginas da web é fundamental desde que a internet entrou em uso.
Para analisar HTML em Rust, você normalmente usará o crate scraper, que fornece uma interface de alto nível para percorrer e manipular documentos HTML.
scraper
Para enviar uma requisição HTTP em Rust, você pode usar a crate reqwest, que simplifica a maioria das tarefas de networking.
reqwest
A autenticação básica HTTP é um método clássico, parte do HTTP desde os seus primeiros dias.