Linkcrawler
vonSchollz
Cross-platform persistent and distributed web crawler :link:
Web-CrawlingOpen Source Entwickler-ToolsOpen Source
Über
linkcrawler ist persistent, weil die Warteschlange in einer entfernten Datenbank gespeichert wird, die automatisch neu initialisiert wird, wenn sie unterbrochen wird. linkcrawler ist verteilt, weil mehrere Instanzen von linkcrawler an der remote gespeicherten Warteschlange arbeiten, sodass du so viele Crawler wie gewünscht auf separaten Maschinen starten kannst, um den Prozess zu beschleunigen. linkcrawler ist auch schnell, weil es multithreaded ist und Verbindungspools verwendet.
Open Source Health
- Stars
- 113
- Forks
- 9
- License
- MIT
- Last commit
- 9 years ago
Go
Alternativen zu Linkcrawler
Deep Researchvon David ZhangEin KI-gestützter Forschungsassistent, der iterative, tiefgehende Recherchen zu jedem Thema durch Kombination von Suchmaschinen, Web-Scraping und großen Sprachmodellen durchführt.- select.rsvon Utkarsh KukretiEine Rust-Bibliothek zur Extraktion nützlicher Daten aus HTML-Dokumenten, geeignet für Web-Scraping.
Scrapelyvon ScrapyEine reine Python HTML-Screen-Scraping-Bibliothek- Faster Than Requestsvon Juan CarlosSchnellere Anfragen auf Python 3
MechanicalSoupvon MechanicalSoupEine Python-Bibliothek zur Automatisierung der Interaktion mit Websites.
Ressourcen & Links
Verwandte Kategorien
Nutzt du Linkcrawler?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Schollz
Publisher of Hostyoself, e2ecp and PAKE
