Grab Site
The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns
Web CrawlingOpen Source Developer ToolsOpen Source
About
grab-site es un rastreador web fácil de configurar diseñado para respaldar sitios web. Dale a grab-site una URL y rastreará el sitio de forma recursiva y escribirá archivos WARC. Internamente, grab-site utiliza un fork de wpull para rastrear.
Open Source Health
- Stars
- 1,611
- Forks
- 157
- License
- Not stated
- Last commit
- 1 years ago
Python
Alternativas a Grab Site
Deep Researchby David ZhangUn asistente de investigación impulsado por IA que realiza investigaciones profundas e iterativas sobre cualquier tema combinando motores de búsqueda, web scraping y modelos de lenguaje grandes.- select.rsby Utkarsh KukretiUna biblioteca de Rust para extraer datos útiles de documentos HTML, adecuada para web scraping.
Scrapelyby ScrapyUna biblioteca de screen-scraping HTML en Python puro- Faster Than Requestsby Juan CarlosSolicitudes más rápidas en Python 3
MechanicalSoupby MechanicalSoupUna biblioteca de Python para automatizar la interacción con sitios web.
Resources & Links
Related Categories
¿Usas Grab Site?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Archive Team
We Are Going To Rescue Your Shit