Grab Site
The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns
Web CrawlingOpen Source Developer ToolsOpen Source
About
grab-site è un crawler web preconfigurato facile da usare, progettato per eseguire il backup dei siti web. Dai a grab-site un URL e crawlerà ricorsivamente il sito e scriverà file WARC. Internamente, grab-site utilizza un fork di wpull per il crawling.
Open Source Health
- Stars
- 1,611
- Forks
- 157
- License
- Not stated
- Last commit
- 1 years ago
Python
Alternative a Grab Site
Deep Researchby David ZhangUn assistente alla ricerca potenziato dall'IA che esegue ricerche iterative e approfondite su qualsiasi argomento combinando motori di ricerca, web scraping e modelli di linguaggio di grandi dimensioni. L'obiettivo di questo repository è fornire l'implementazione più semplice di un agente di ricerca approfondita - ad esempio, un agente che può affinare...- select.rsby Utkarsh KukretiUna libreria Rust per estrarre dati utili da documenti HTML, adatta per il web scraping.
Scrapelyby ScrapyUna libreria di screen-scraping HTML in Python puro- Faster Than Requestsby Juan CarlosRichieste più veloci su Python 3
MechanicalSoupby MechanicalSoupUna libreria Python per automatizzare l'interazione con i siti web.
Resources & Links
Related Categories
Usi Grab Site?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Archive Team
We Are Going To Rescue Your Shit