หนังสือ
Fish Shell
บทที่ 11. HTML และเว็บ
การดาวน์โหลดหน้าเว็บ

Fish Shell:
การดาวน์โหลดหน้าเว็บ

วิธีการ:

นี่เป็นวิธีที่รวดเร็วและง่ายโดยใช้ Fish Shell กับคำสั่ง curl ในการดาวน์โหลดหน้าเว็บ:

curl -O http://example.com/

คำสั่งนี้จะดึงเนื้อหาของหน้าเว็บและบันทึกโดยใช้ชื่อไฟล์เดียวกับที่เซิร์ฟเวอร์ (index.html สำหรับกรณีส่วนใหญ่)

ตอนนี้, สมมติว่าคุณต้องการบันทึกด้วยชื่ออื่น:

curl -o my_page.html http://example.com/

ต้องการเห็นว่าคุณกำลังดึงอะไรมาบ้าง? นี่คือวิธีแสดงผลลัพธ์ในคอนโซล:

curl http://example.com/

ผลลัพธ์ตัวอย่างอาจมีลักษณะดังนี้:

<!doctype html>
<html>
<head>
    <title>Example Domain</title>
...

การทำความเข้าใจลึกซึ้ง

ย้อนกลับไปในวันแรก ๆ การดึงข้อมูลจากเว็บเพจมีมากกว่าเพียงแค่ความมหัศจรรย์ของบรรทัดคำสั่ง เครื่องมืออย่าง wget และ curl กลายเป็นสิ่งจำเป็น curl ที่มีมาตั้งแต่ปี ‘97 ยังคงอยู่จนถึงปัจจุบันในการส่งข้อมูลโดยใช้รูปแบบ URL

ทำไมถึงเลือก curl มากกว่า wget? curl เป็นดั่งมีดพกสวิสสำหรับการถ่ายโอนข้อมูล, จัดการกับช่วงของโพรโทคอลและรูปแบบข้อมูล ในขณะที่ทั้งสองสามารถดาวน์โหลดหน้าเว็บได้, curl ยังสามารถอัปโหลดข้อมูล, และรองรับโพรโทคอลมากขึ้น และบ่อยครั้งที่ถูกใช้เป็นเครื่องมือหลังบ้านโดยซอฟต์แวร์อื่น ๆ

Fish Shell เองไม่มีฟังก์ชั่นดาวน์โหลดเว็บเพจ; มันเป็นเพียงอินเทอร์เฟส แต่เมื่อจับคู่กับ curl, คุณจะได้ระบบดึงข้อมูลจากเว็บที่ทั้งมีพลังและง่ายดายด้วยคำสั่งเพียงแค่หนึ่งบรรทัด

บางคนอาจเสนอการใช้เครื่องมือสมัยใหม่เช่น httpie หรือการทำงานอัตโนมัติบนเบราว์เซอร์ด้วยเครื่องมืออย่าง Selenium สำหรับงานที่ซับซ้อนมากกว่า เช่น การจัดการกับหน้าที่มีการใช้ Javascript อย่างหนัก อย่างไรก็ตาม, สำหรับการดาวน์โหลดที่รวดเร็วและตรงไปตรงมา, curl ยังคงครองความนิยม

ดูเพิ่มเติม

  • เว็บไซต์โปรเจค curl สำหรับรายละเอียดเพิ่มเติม: https://curl.se/
  • สำหรับการดำดิ่งลงไปในการดำเนินการ HTTP ด้วย curl, ดูที่ man page: man curl
  • httpie ซึ่งเป็นตัวเลือกไคลเอนต์ HTTP ที่เป็นมิตรกับผู้ใช้: https://httpie.org/
  • เอกสารข้อมูล Fish Shell สำหรับการจัดการกับงานที่เกี่ยวข้องกับ shell อื่น ๆ: https://fishshell.com/docs/current/index.html
การวิเคราะห์ HTML