Browsertrix Crawler
Run a high-fidelity browser-based web archiving crawler in a single Docker container
Web CrawlingOpen Source Developer ToolsOpen Source
About
Browsertrix Crawler est un système de crawling autonome basé sur un navigateur à haute fidélité, conçu pour exécuter un crawl complexe et personnalisable basé sur un navigateur dans un seul conteneur Docker. Browsertrix Crawler utilise Puppeteer pour contrôler une ou plusieurs fenêtres du navigateur Brave en parallèle. Les données sont capturées via le Chrome Devtools Protocol (CDP) dans le navigateur.
Open Source Health
- Stars
- 1,134
- Forks
- 151
- License
- AGPL-3.0
- Last commit
- 1 months ago
TypeScript
Alternatives à Browsertrix Crawler
Deep Researchby David ZhangUn assistant de recherche alimenté par l'IA qui effectue des recherches approfondies et itératives sur n'importe quel sujet en combinant moteurs de recherche, web scraping et grands modèles de langage.- select.rsby Utkarsh KukretiUne bibliothèque Rust pour extraire des données utiles à partir de documents HTML, adaptée au web scraping.
Scrapelyby ScrapyUne bibliothèque de screen-scraping HTML en Python pur- Faster Than Requestsby Juan CarlosRequêtes plus rapides sur Python 3
MechanicalSoupby MechanicalSoupUne bibliothèque Python pour automatiser l'interaction avec les sites Web.
Resources & Links
Related Categories
Tu utilises Browsertrix Crawler ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Webrecorder
Publisher of ArchiveWeb.page and Browsertrix Crawler
