Linkcrawler
bySchollz
Cross-platform persistent and distributed web crawler :link:
Web CrawlingOpen Source Developer ToolsOpen Source
About
linkcrawler è persistente perché la coda è memorizzata in un database remoto che viene automaticamente reinizializzato se viene interrotto. linkcrawler è distribuito perché più istanze di linkcrawler lavoreranno sulla coda memorizzata remotamente, quindi puoi avviare quanti più crawler desideri su macchine separate per accelerare il processo. linkcrawler è anche veloce perché è multithreaded e utilizza pool di connessioni.
Open Source Health
- Stars
- 113
- Forks
- 9
- License
- MIT
- Last commit
- 9 years ago
Go
Alternative a Linkcrawler
Deep Researchby David ZhangUn assistente alla ricerca potenziato dall'IA che esegue ricerche iterative e approfondite su qualsiasi argomento combinando motori di ricerca, web scraping e modelli di linguaggio di grandi dimensioni. L'obiettivo di questo repository è fornire l'implementazione più semplice di un agente di ricerca approfondita - ad esempio, un agente che può affinare...- select.rsby Utkarsh KukretiUna libreria Rust per estrarre dati utili da documenti HTML, adatta per il web scraping.
Scrapelyby ScrapyUna libreria di screen-scraping HTML in Python puro- Faster Than Requestsby Juan CarlosRichieste più veloci su Python 3
MechanicalSoupby MechanicalSoupUna libreria Python per automatizzare l'interazione con i siti web.
Resources & Links
Related Categories
Usi Linkcrawler?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Schollz
Publisher of Hostyoself, e2ecp and PAKE
