Robots Txt
bySpatie
Determine if a page may be crawled from robots.txt, robots meta tags and robot headers
Web CrawlingOpen Source Developer ToolsOpen Source
About
Determina si una página puede ser rastreada desde robots.txt, etiquetas meta de robots y encabezados de robots.
Open Source Health
- Stars
- 258
- Forks
- 44
- License
- MIT
- Last commit
- 4 months ago
PHP
Alternativas a Robots Txt
Deep Researchby David ZhangUn asistente de investigación impulsado por IA que realiza investigaciones profundas e iterativas sobre cualquier tema combinando motores de búsqueda, web scraping y modelos de lenguaje grandes.- select.rsby Utkarsh KukretiUna biblioteca de Rust para extraer datos útiles de documentos HTML, adecuada para web scraping.
Scrapelyby ScrapyUna biblioteca de screen-scraping HTML en Python puro- Faster Than Requestsby Juan CarlosSolicitudes más rápidas en Python 3
MechanicalSoupby MechanicalSoupUna biblioteca de Python para automatizar la interacción con sitios web.
Resources & Links
Related Categories
¿Usas Robots Txt?
Controla su coste junto al resto de tu stack y recibe un recordatorio antes de que se renueve.
Añadir a mi stackVendor
Spatie
Publisher of Laravel Route Discovery, dnsrecords.io and Laravel Dashboard
