Crawling y recoleccion de URL: gospider, gau, qsreplace

Cuando ya sabes que hosts estan vivos, la siguiente capa son las URL: paginas, endpoints, parametros y rutas viejas. Dos tipos de herramienta la arman. Los mineros de archivo leen URL que fueron publicas en el pasado sin tocar al objetivo. Los crawlers recorren el sitio vivo. Unes ambos, guardas las URL con parametro y entregas la pila ruidosa a la chat de NotHoly para que agrupe por endpoint y senale los parametros que valen una prueba.

#Mina los archivos primero

Las fuentes de archivo nunca mandan una peticion al objetivo; leen lo que buscadores y la Wayback Machine ya guardaron.

waybackurls lee la Wayback Machine.

echo example.com | waybackurls | anew urls.txt

gau, de getallurls, trae de varios archivos a la vez.

gau --subs example.com | anew urls.txt

Ambos pueden devolver decenas de miles de URL viejas, incluidas rutas que ya no aparecen en la navegacion del sitio pero aun responden en el servidor. Esta es la capa pasiva mas rica y no le cuesta nada al objetivo.

#Rastrea los hosts vivos

Los crawlers mandan peticiones, asi que corre solo contra hosts dentro del alcance y cuida la tasa.

gospider sigue enlaces, formularios y JavaScript.

gospider -S live.txt -d 2 -c 10 --other-source | anew urls.txt

hakrawler es un crawler mas chico y rapido que lee una lista en stdin.

cat live.txt | hakrawler -d 2 | anew urls.txt

Manten la profundidad baja al principio. Profundidad dos en diez hosts ya produce mas de lo que puedes leer de una, y un crawl profundo de una app grande puede mandar miles de peticiones antes de que lo notes.

#Filtra hasta los parametros

Una URL con query string es donde empieza la mayoria de las pruebas. qsreplace reescribe cada valor de parametro para que normalices y quites duplicados.

cat urls.txt | grep '=' | qsreplace FUZZ | anew params.txt

Ahora params.txt tiene una linea por forma unica de parametro en vez de miles de casi duplicados. gf agrega patrones de grep guardados para clases como redirect, ssrf y xss.

gf redirect < urls.txt | anew redirect-candidates.txt

#Deja que la chat agrupe el ruido

Pega una muestra de params.txt en la chat de NotHoly y deja que agrupe los endpoints.

Estos son patrones de URL con FUZZ en cada parametro.
Agrupalos por endpoint, di que parametros parecen
ruta, URL, ID o redirect, y dime que cinco
probar primero y por que.

El modelo agrupa endpoints parecidos y senala los parametros que merecen una mirada de cerca. Lee texto, no el sitio, asi que trata la salida como una lista de lectura que confirmas a mano con tus peticiones.

#Alcance y privacidad

Los datos de archivo pueden incluir URL de hosts fuera de tu alcance o de otros inquilinos, asi que filtra a tus raices antes de rastrear nada. Las URL viejas a veces cargan tokens o correos en la query string. Tratalos como sensibles, no los reenvies contra el sitio vivo y dejalos fuera de las notas compartidas.

#Preguntas frecuentes

#Por que minar archivos en vez de solo rastrear?

Los archivos guardan rutas que salieron del sitio pero aun funcionan en el servidor, que un crawler del sitio actual nunca ve. Las dos fuentes solo se solapan en parte, asi que corres ambas y unes con anew.

#Como evito martillar al objetivo?

Baja la concurrencia y la profundidad de gospider, rastrea un host por vez y deja la mineria de archivo, que nunca toca al objetivo, como el grueso de la recoleccion. Manda peticiones vivas solo cuando tengas motivo.

Con URL y parametros mapeados, amplia el cuadro pasivo con certificate transparency e historial de DNS. Vuelve a enumeracion de subdominios.