Crawling e coleta de URLs: gospider, gau, qsreplace

Depois de saber quais hosts estao vivos, a proxima camada sao as URLs: paginas, endpoints, parametros e caminhos antigos. Dois tipos de ferramenta montam isso. Mineradores de arquivo leem URLs que ja foram publicas sem tocar no alvo. Crawlers andam pelo site vivo. Voce junta os dois, guarda as URLs com parametro e entrega a pilha baguncada para a chat da NotHoly agrupar por endpoint e apontar os parametros que valem teste.

#Minere os arquivos primeiro

Fontes de arquivo nunca mandam requisicao ao alvo; elas leem o que buscadores e a Wayback Machine ja guardaram.

O waybackurls le a Wayback Machine.

echo example.com | waybackurls | anew urls.txt

O gau, de getallurls, puxa de varios arquivos de uma vez.

gau --subs example.com | anew urls.txt

Os dois podem devolver dezenas de milhares de URLs antigas, incluindo caminhos que nao aparecem mais na navegacao do site mas ainda respondem no servidor. Esta e a camada passiva mais rica e nao custa nada ao alvo.

#Rastreie os hosts vivos

Crawlers mandam requisicoes, entao rode so contra hosts dentro do escopo e cuide da taxa.

O gospider segue links, formularios e JavaScript.

gospider -S live.txt -d 2 -c 10 --other-source | anew urls.txt

O hakrawler e um crawler menor e mais rapido que le uma lista na stdin.

cat live.txt | hakrawler -d 2 | anew urls.txt

Mantenha a profundidade baixa no comeco. Profundidade dois em dez hosts ja produz mais do que da para ler de uma vez, e um crawl fundo de um app grande pode mandar milhares de requisicoes antes de voce notar.

#Filtre ate os parametros

Uma URL com query string e onde a maioria dos testes comeca. O qsreplace reescreve cada valor de parametro para voce normalizar e tirar duplicatas.

cat urls.txt | grep '=' | qsreplace FUZZ | anew params.txt

Agora o params.txt tem uma linha por forma unica de parametro em vez de milhares de quase duplicatas. O gf adiciona padroes de grep salvos para classes como redirect, ssrf e xss.

gf redirect < urls.txt | anew redirect-candidates.txt

#Deixe a chat agrupar o ruido

Cole uma amostra do params.txt na chat da NotHoly e deixe agrupar os endpoints.

Estes sao padroes de URL com FUZZ em cada parametro.
Agrupe por endpoint, diga quais parametros parecem
caminho, URL, ID ou redirect, e me diga quais cinco
testar primeiro e por que.

O modelo agrupa endpoints parecidos e aponta os parametros que merecem um olhar de perto. Ele le texto, nao o site, entao trate a saida como uma lista de leitura que voce confirma na mao com suas requisicoes.

#Escopo e privacidade

Dados de arquivo podem incluir URLs de hosts fora do escopo ou de outros inquilinos, entao filtre para suas raizes antes de rastrear qualquer coisa. URLs antigas as vezes carregam tokens ou e-mails na query string. Trate como sensiveis, nao reenvie contra o site vivo e deixe fora das notas compartilhadas.

#Perguntas frequentes

#Por que minerar arquivos em vez de so rastrear?

Arquivos guardam caminhos que sairam do site mas ainda funcionam no servidor, que um crawler do site atual nunca ve. As duas fontes so se sobrepoem em parte, entao rode as duas e junte com anew.

#Como evito martelar o alvo?

Baixe a concorrencia e a profundidade do gospider, rastreie um host por vez e deixe a mineracao de arquivo, que nunca toca o alvo, como o grosso da coleta. Mande requisicoes vivas so quando tiver motivo.

Com URLs e parametros mapeados, amplie o quadro passivo com certificate transparency e historico de DNS. Volte para enumeracao de subdominios.