Crawling e raccolta URL: gospider, gau, qsreplace

Una volta che sai quali host sono vivi, lo strato successivo sono gli URL: pagine, endpoint, parametri e percorsi vecchi. Due tipi di strumento lo costruiscono. I minatori di archivio leggono URL che furono pubblici in passato senza toccare il bersaglio. I crawler percorrono il sito vivo. Unisci entrambi, tieni gli URL con parametro e passi il mucchio rumoroso alla chat di NotHoly per raggrupparli per endpoint e indicare i parametri che vale la pena testare.

#Mina prima gli archivi

Le fonti di archivio non inviano mai una richiesta al bersaglio; leggono cio che motori di ricerca e la Wayback Machine hanno gia salvato.

waybackurls legge la Wayback Machine.

echo example.com | waybackurls | anew urls.txt

gau, da getallurls, attinge da piu archivi in una volta.

gau --subs example.com | anew urls.txt

Entrambi possono restituire decine di migliaia di URL vecchi, inclusi percorsi che non compaiono piu nella navigazione del sito ma rispondono ancora sul server. Questo e lo strato passivo piu ricco e non costa nulla al bersaglio.

#Percorri gli host vivi

I crawler inviano richieste, quindi eseguili solo contro host dentro l'ambito e bada alla frequenza.

gospider segue link, form e JavaScript.

gospider -S live.txt -d 2 -c 10 --other-source | anew urls.txt

hakrawler e un crawler piu piccolo e veloce che legge una lista da stdin.

cat live.txt | hakrawler -d 2 | anew urls.txt

Tieni la profondita bassa all'inizio. Profondita due su dieci host produce gia piu di quanto tu possa leggere in una seduta, e un crawl profondo di un'app grande puo inviare migliaia di richieste prima che tu te ne accorga.

#Filtra fino ai parametri

Un URL con query string e dove inizia gran parte dei test. qsreplace riscrive ogni valore di parametro cosi normalizzi e togli i duplicati.

cat urls.txt | grep '=' | qsreplace FUZZ | anew params.txt

Ora params.txt tiene una riga per forma unica di parametro invece di migliaia di quasi duplicati. gf aggiunge pattern grep salvati per classi come redirect, ssrf e xss.

gf redirect < urls.txt | anew redirect-candidates.txt

#Lascia che la chat raggruppi il rumore

Incolla un campione di params.txt nella chat di NotHoly e lascia che raggruppi gli endpoint.

Questi sono pattern di URL con FUZZ in ogni parametro.
Raggruppali per endpoint, indica quali parametri sembrano
un percorso, un URL, un ID o un redirect, e dimmi
quali cinque testare per primi e perche.

Il modello raggruppa endpoint simili e indica i parametri che meritano uno sguardo ravvicinato. Legge testo, non il sito, quindi tratta l'output come una lista di lettura che confermi a mano con le tue richieste.

#Ambito e privacy

I dati di archivio possono includere URL di host fuori dal tuo ambito o di altri tenant, quindi filtra alle tue radici prima di percorrere qualsiasi cosa. Gli URL vecchi a volte portano token o email nella query string. Trattali come sensibili, non rigiocarli contro il sito vivo e tienili fuori dalle note condivise.

#Domande frequenti

#Perche minare archivi invece di solo percorrere?

Gli archivi tengono percorsi rimossi dal sito ma ancora funzionanti sul server, che un crawler del sito attuale non vedra mai. Le due fonti si sovrappongono solo in parte, quindi esegui entrambe e unisci con anew.

#Come evito di martellare il bersaglio?

Abbassa concorrenza e profondita di gospider, percorri un host alla volta e tieni la mina di archivio, che non tocca mai il bersaglio, come grosso della raccolta. Invia richieste vive solo quando hai un motivo.

Con URL e parametri mappati, allarga il quadro passivo con certificate transparency e storia DNS. Torna a enumerazione dei sottodomini.