Grab Site
vonArchive Team
The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns
Web-CrawlingOpen Source Entwickler-ToolsOpen Source
Über
grab-site ist ein einfach vorkonfigurierter Web-Crawler, der zum Sichern von Websites entwickelt wurde. Gib grab-site eine URL und es wird die Seite rekursiv crawlen und WARC-Dateien schreiben. Intern verwendet grab-site einen Fork von wpull zum Crawlen.
Open Source Health
- Stars
- 1,611
- Forks
- 157
- License
- Not stated
- Last commit
- 1 years ago
Python
Alternativen zu Grab Site
Deep Researchvon David ZhangEin KI-gestützter Forschungsassistent, der iterative, tiefgehende Recherchen zu jedem Thema durch Kombination von Suchmaschinen, Web-Scraping und großen Sprachmodellen durchführt.- select.rsvon Utkarsh KukretiEine Rust-Bibliothek zur Extraktion nützlicher Daten aus HTML-Dokumenten, geeignet für Web-Scraping.
Scrapelyvon ScrapyEine reine Python HTML-Screen-Scraping-Bibliothek- Faster Than Requestsvon Juan CarlosSchnellere Anfragen auf Python 3
MechanicalSoupvon MechanicalSoupEine Python-Bibliothek zur Automatisierung der Interaktion mit Websites.
Ressourcen & Links
Verwandte Kategorien
Nutzt du Grab Site?
Behalte die Kosten neben dem Rest deines Stacks im Blick und lass dich vor der Verlängerung erinnern.
Zu meinem Stack hinzufügenAnbieter
Archive Team
We Are Going To Rescue Your Shit