Cookbooks
C
Kapitel 11. HTML und das Web
HTML parsen

C:
HTML parsen

Wie geht das:

HTML zu parsen kann aufgrund der Komplexität von HTML und seiner häufigen Abweichungen von sauberen, wohlgeformten Strukturen entmutigend erscheinen. Die Verwendung einer Bibliothek wie libxml2, insbesondere ihres HTML-Parsing-Moduls, vereinfacht jedoch den Prozess. Dieses Beispiel zeigt, wie libxml2 verwendet wird, um HTML zu parsen und Informationen zu extrahieren.

Zunächst stellen Sie sicher, dass libxml2 in Ihrer Umgebung installiert ist. In vielen Linux-Distributionen können Sie es über den Paketmanager installieren. Zum Beispiel auf Ubuntu:

sudo apt-get install libxml2 libxml2-dev

Schreiben wir nun ein einfaches C-Programm, das libxml2 verwendet, um einen HTML-String zu parsen und den Text in einem bestimmten Element auszugeben:

#include <stdio.h>
#include <libxml/HTMLparser.h>

void parseHTML(const char *html) {
    htmlDocPtr doc = htmlReadDoc((const xmlChar *)html, NULL, NULL, HTML_PARSE_RECOVER | HTML_PARSE_NOERROR | HTML_PARSE_NOWARNING);
    
    // Angenommen, wir suchen Inhalte innerhalb von <p>-Tags
    xmlNode *root_element = xmlDocGetRootElement(doc);
    for (xmlNode *current_node = root_element; current_node; current_node = current_node->next) {
        if (current_node->type == XML_ELEMENT_NODE && strcmp((const char *)current_node->name, "p") == 0) {
            printf("Gefundenen Absatz: %s\n", xmlNodeGetContent(current_node));
        }
    }
    
    xmlFreeDoc(doc);
    xmlCleanupParser();
}

int main() {
    const char *html = "<html><body><p>Hallo, Welt!</p></body></html>";
    parseHTML(html);
    return 0;
}

Beispielausgabe:

Gefundenen Absatz: Hallo, Welt!

Dieses Beispiel konzentriert sich auf das Extrahieren von Text innerhalb von Absatz-Tags, aber libxml2 bietet robuste Unterstützung für das Navigieren und Abfragen verschiedener Teile eines HTML-Dokuments.

Vertiefung

HTML in C zu parsen reicht zurück bis in die Anfangstage der Webentwicklung. Anfangs mussten sich Entwickler auf benutzerdefinierte, oft rudimentäre Parsing-Lösungen verlassen, aufgrund des Mangels an standardisierten Bibliotheken und dem chaotischen Zustand von HTML im Web. Die Einführung von Bibliotheken wie libxml2 markierte einen signifikanten Fortschritt, der standardisierte, effiziente und widerstandsfähigere Ansätze zum Parsen von HTML bot.

Obwohl C für seine unübertroffene Geschwindigkeit und Kontrolle bekannt ist, ist es erwähnenswert, dass C nicht immer das beste Werkzeug für das Parsen von HTML ist, insbesondere für Aufgaben, die schnelle Entwicklungszyklen erfordern oder mit außergewöhnlich fehlerhaftem HTML umgehen müssen. Sprachen mit High-Level-HTML-Parsing-Bibliotheken, wie Python mit Beautiful Soup, bieten abstraktere, benutzerfreundlichere Schnittstellen auf Kosten einiger Leistung.

Dennoch bleibt das Parsen von HTML in C für leistungskritische Anwendungen oder in ressourcenbeschränkten Umgebungen eine praktikable und oft bevorzugte Methode. Der Schlüssel liegt darin, robuste Bibliotheken wie libxml2 zu verwenden, um die Feinheiten von HTML zu bewältigen, sodass Entwickler sich auf das Extrahieren der Daten konzentrieren können, die sie benötigen, ohne sich in den Details der Parsing-Mechanik zu verlieren.

Herunterladen einer WebseiteEine HTTP-Anforderung senden