Linkcrawler
bySchollz
Cross-platform persistent and distributed web crawler :link:
Web CrawlingOpen Source Developer ToolsOpen Source
About
linkcrawler est persistant car la file d'attente est stockée dans une base de données distante qui est automatiquement réinitialisée si elle est interrompue. linkcrawler est distribué car plusieurs instances de linkcrawler travailleront sur la file d'attente stockée à distance, donc tu peux démarrer autant de crawlers que tu veux sur des machines séparées pour accélérer le processus. linkcrawler est également rapide car il est multithread et utilise des pools de connexions.
Open Source Health
- Stars
- 113
- Forks
- 9
- License
- MIT
- Last commit
- 9 years ago
Go
Alternatives à Linkcrawler
Deep Researchby David ZhangUn assistant de recherche alimenté par l'IA qui effectue des recherches approfondies et itératives sur n'importe quel sujet en combinant moteurs de recherche, web scraping et grands modèles de langage.- select.rsby Utkarsh KukretiUne bibliothèque Rust pour extraire des données utiles à partir de documents HTML, adaptée au web scraping.
Scrapelyby ScrapyUne bibliothèque de screen-scraping HTML en Python pur- Faster Than Requestsby Juan CarlosRequêtes plus rapides sur Python 3
MechanicalSoupby MechanicalSoupUne bibliothèque Python pour automatiser l'interaction avec les sites Web.
Resources & Links
Related Categories
Tu utilises Linkcrawler ?
Suis son coût avec le reste de ton stack et reçois un rappel avant son renouvellement.
Ajouter à mon stackVendor
Schollz
Publisher of Hostyoself, e2ecp and PAKE
