Grab Site
The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns
Web CrawlingOpen Source Developer ToolsOpen Source
About
grab-site est un crawler web préconfiguré facile à utiliser, conçu pour sauvegarder des sites web. Donne à grab-site une URL et il va crawler le site de manière récursive et écrire des fichiers WARC. En interne, grab-site utilise un fork de wpull pour le crawling.
Open Source Health
- Stars
- 1,611
- Forks
- 157
- License
- Not stated
- Last commit
- 1 years ago
Python
Alternatives à Grab Site
Deep Researchby David ZhangUn assistant de recherche alimenté par l'IA qui effectue des recherches approfondies et itératives sur n'importe quel sujet en combinant moteurs de recherche, web scraping et grands modèles de langage.- select.rsby Utkarsh KukretiUne bibliothèque Rust pour extraire des données utiles à partir de documents HTML, adaptée au web scraping.
Scrapelyby ScrapyUne bibliothèque de screen-scraping HTML en Python pur- Faster Than Requestsby Juan CarlosRequêtes plus rapides sur Python 3
MechanicalSoupby MechanicalSoupUne bibliothèque Python pour automatiser l'interaction avec les sites Web.
Resources & Links
Related Categories
Tu utilises Grab Site ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Archive Team
We Are Going To Rescue Your Shit