책들
Kotlin
제11장. HTML과 웹
웹 페이지 다운로드하기

Kotlin:
웹 페이지 다운로드하기

How to: (어떻게 하나요?)

Kotlin에서 URL 클래스와 readText 함수를 사용해서 웹 페이지의 HTML을 가져올 수 있습니다. 간단하게 만들어본 예제 코드와 출력 결과를 보여드릴게요.

import java.net.URL

fun downloadWebPage(pageUrl: String): String {
    return URL(pageUrl).readText(charset = Charsets.UTF_8)
}

fun main() {
    val webpageContent = downloadWebPage("http://example.com")
    println(webpageContent) // 웹 페이지 내용 출력
}

이 작은 코드 조각은 “http://example.com"에서 HTML 콘텐츠를 다운로드하고 출력합니다. Kotlin에서는 한 줄로 웹 페이지를 가져올 수 있으니 편리하죠!

Deep Dive (깊이 알아보기)

웹 페이지 다운로드 기능은 90년대 초반 인터넷이 대중화되며 필요해졌다. 조기 버전의 웹 브라우저가 페이지를 로컬로 저장할 수 있게 되면서, 자동화된 웹 페이지 다운로드 수요가 생겼다. java.net.URL 클래스는 자바 초기 버전부터 있었으며, Kotlin에서도 이를 사용할 수 있다.

다운로드 방법은 여러 가지가 있다. HttpURLConnection, OkHttp, Retrofit 같은 라이브러리를 사용하는 방법도 있다. 각 방법은 그 상황의 요구에 맞게 선택될 수 있다.

readText는 내부적으로 스트림을 열어 데이터를 읽는다. 큰 파일이나 느린 연결에서는 readText 대신 readBytes를 사용하는 것이 좋을 수 있고, 스트림을 직접 처리하여 성능을 최적화할 수도 있다.

See Also (더 보기)

HTML 파싱