Corpuscrawler
byGoogle
Crawler for linguistic corpora
Web CrawlingOpen Source Developer ToolsOpen Source
About
Il Corpus Crawler è progettato per ricercatori linguistici e sviluppatori che lavorano su software di elaborazione del linguaggio. Scansiona pagine web accessibili al pubblico in lingue specifiche, rimuove il markup HTML e restituisce il testo in file di testo semplice. Lo strumento rispetta il Robots Exclusion Standard ed è ottimizzato per ridurre al minimo il carico del server, rendendolo adatto per raccogliere dati per lingue minoritarie.
Open Source Health
- Stars
- 218
- Forks
- 53
- License
- Not stated
- Last commit
- 1 years ago
Python
Alternative a Corpuscrawler
Deep Researchby David ZhangUn assistente alla ricerca potenziato dall'IA che esegue ricerche iterative e approfondite su qualsiasi argomento combinando motori di ricerca, web scraping e modelli di linguaggio di grandi dimensioni. L'obiettivo di questo repository è fornire l'implementazione più semplice di un agente di ricerca approfondita - ad esempio, un agente che può affinare...- select.rsby Utkarsh KukretiUna libreria Rust per estrarre dati utili da documenti HTML, adatta per il web scraping.
Scrapelyby ScrapyUna libreria di screen-scraping HTML in Python puro- Faster Than Requestsby Juan CarlosRichieste più veloci su Python 3
MechanicalSoupby MechanicalSoupUna libreria Python per automatizzare l'interazione con i siti web.
Resources & Links
Related Categories
Usi Corpuscrawler?
Tieni traccia del suo costo insieme al resto del tuo stack e ricevi un promemoria prima del rinnovo.
Aggiungi al mio stackVendor
Organize the world's information and make it universally accessible.
