Linkcrawler
bySchollz
Cross-platform persistent and distributed web crawler :link:
Web CrawlingOpen Source Developer ToolsOpen Source
About
linkcrawler es persistente porque la cola se almacena en una base de datos remota que se reinicializa automáticamente si se interrumpe. linkcrawler es distribuido porque múltiples instancias de linkcrawler trabajarán en la cola almacenada remotamente, así que puedes iniciar tantos rastreadores como desees en máquinas separadas para acelerar el proceso. linkcrawler también es rápido porque es multihilo y utiliza grupos de conexiones.
Open Source Health
- Stars
- 113
- Forks
- 9
- License
- MIT
- Last commit
- 9 years ago
Go
Alternativas a Linkcrawler
Deep Researchby David ZhangUn asistente de investigación impulsado por IA que realiza investigaciones profundas e iterativas sobre cualquier tema combinando motores de búsqueda, web scraping y modelos de lenguaje grandes.- select.rsby Utkarsh KukretiUna biblioteca de Rust para extraer datos útiles de documentos HTML, adecuada para web scraping.
Scrapelyby ScrapyUna biblioteca de screen-scraping HTML en Python puro- Faster Than Requestsby Juan CarlosSolicitudes más rápidas en Python 3
MechanicalSoupby MechanicalSoupUna biblioteca de Python para automatizar la interacción con sitios web.
Resources & Links
Related Categories
¿Usas Linkcrawler?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Schollz
Publisher of Hostyoself, e2ecp and PAKE
