Browsertrix Crawler
Run a high-fidelity browser-based web archiving crawler in a single Docker container
Web CrawlingOpen Source Developer ToolsOpen Source
About
Browsertrix Crawler è un sistema di crawling autonomo basato su browser ad alta fedeltà, progettato per eseguire un crawl complesso e personalizzabile basato su browser in un singolo contenitore Docker. Browsertrix Crawler utilizza Puppeteer per controllare una o più finestre del browser Brave in parallelo. I dati vengono catturati tramite il Chrome Devtools Protocol (CDP) nel browser.
Open Source Health
- Stars
- 1,134
- Forks
- 151
- License
- AGPL-3.0
- Last commit
- 1 months ago
TypeScript
Alternative a Browsertrix Crawler
Deep Researchby David ZhangUn assistente alla ricerca potenziato dall'IA che esegue ricerche iterative e approfondite su qualsiasi argomento combinando motori di ricerca, web scraping e modelli di linguaggio di grandi dimensioni. L'obiettivo di questo repository è fornire l'implementazione più semplice di un agente di ricerca approfondita - ad esempio, un agente che può affinare...- select.rsby Utkarsh KukretiUna libreria Rust per estrarre dati utili da documenti HTML, adatta per il web scraping.
Scrapelyby ScrapyUna libreria di screen-scraping HTML in Python puro- Faster Than Requestsby Juan CarlosRichieste più veloci su Python 3
MechanicalSoupby MechanicalSoupUna libreria Python per automatizzare l'interazione con i siti web.
Resources & Links
Related Categories
Usi Browsertrix Crawler?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Webrecorder
Publisher of ArchiveWeb.page and Browsertrix Crawler
