Draco gør web-scraping hurtigere og lettere
Draco er et open source-alternativ til Firecrawl, der kører som en enkelt fil og kræver ingen Node eller headless Chrome.
Hurtig scraping uden tung browserinfrastruktur
Det nye værktøj Draco er en open source-løsning til web-scraping, der er skrevet i Rust og designet til at køre som en enkelt, selvstændig fil. Det er et alternativ til tjenester som Firecrawl, men kan hostes helt på egen maskine.
Hvor mange scrapingværktøjer kræver Node.js og en fleet af headless Chrome-browsere, klarer Draco sig med en enkelt binær fil. Værktøjet bruger et »browser-faithful« TLS/JA4-fingeraftryk til at nå sider, der blokerer almindelige klienter, og kan typisk hente en standard HTML-side på omkring 300 millisekunder uden at starte en browser.
Ren Markdown og metadata
Når du peger Draco på en URL, får du to ting tilbage: ren Markdown af hovedindholdet og detaljeret metadata.
Markdown-udtrækket inkluderer overskrifter, links (der er gjort til absolutte adresser), lister, citater, kodestykker med sprog og tabeller. Alt unødvendigt som navigation, header, footer og annoncer bliver fjernet.
Metadata inkluderer titel, beskrivelse, sprog, canonical link, favicon og diverse Open Graph og Twitter-tags. Du får også kilde-URL, statuskode og en timing-log, der viser, hvor millisekunderne gik under scraping.
Installation og brug
Installationen på Linux eller macOS kan gøres med en enkelt kommando, der henter den rigtige binærfil og tilføjer den til din shell-konfiguration. Bagefter kan du køre `draco scrape https://example.com` og få Markdown ud på kommandolinjen.
Hvis du vil bygge det fra kilden, kræver det en række afhængigheder som cmake, en C/C++-compiler og libclang. For den valgfri JavaScript-funktion (til klient-renderede sider) er der desuden behov for V8.
Draco er tilgængeligt på GitHub.