קראולינג ואיסוף URL: gospider, gau, qsreplace

אחרי שאתה יודע אילו מארחים חיים, השכבה הבאה היא כתובות URL: עמודים, endpoints, פרמטרים ונתיבים ישנים. שני סוגי כלים בונים אותה. כורי ארכיון קוראים URL שהיו פומביות בעבר בלי לגעת ביעד. קראולרים הולכים על האתר החי. אתה ממזג את שניהם, שומר את ה-URL עם הפרמטרים, ומוסר את הערימה הרועשת לצ'אט של NotHoly כדי לקבץ לפי endpoint ולהצביע על הפרמטרים ששווים בדיקה.

#כרה את הארכיונים קודם

מקורות ארכיון לעולם אינם שולחים בקשה ליעד; הם קוראים את מה שמנועי חיפוש וה-Wayback Machine כבר שמרו.

waybackurls קורא את ה-Wayback Machine.

echo example.com | waybackurls | anew urls.txt

gau, קיצור של getallurls, מושך מכמה ארכיונים בבת אחת.

gau --subs example.com | anew urls.txt

שניהם יכולים להחזיר עשרות אלפי URL ישנות, כולל נתיבים שכבר לא מופיעים בניווט האתר אבל עדיין עונים בשרת. זו השכבה הפסיבית העשירה ביותר והיא לא עולה ליעד דבר.

#רחף על המארחים החיים

קראולרים שולחים בקשות, אז הרץ אותם רק מול מארחים שבתוך ההיקף ושים לב לקצב.

gospider עוקב אחרי קישורים, טפסים ו-JavaScript.

gospider -S live.txt -d 2 -c 10 --other-source | anew urls.txt

hakrawler הוא קראולר קטן ומהיר יותר שקורא רשימה ב-stdin.

cat live.txt | hakrawler -d 2 | anew urls.txt

שמור עומק נמוך בהתחלה. עומק שתיים על עשרה מארחים כבר מייצר יותר ממה שאפשר לקרוא בישיבה אחת, וקראול עמוק של אפליקציה גדולה יכול לשלוח אלפי בקשות לפני שתשים לב.

#סנן עד הפרמטרים

URL עם query string הוא המקום שבו רוב הבדיקות מתחילות. qsreplace כותב מחדש כל ערך פרמטר כדי שתנרמל ותסיר כפילויות.

cat urls.txt | grep '=' | qsreplace FUZZ | anew params.txt

עכשיו params.txt מחזיק שורה אחת לכל צורת פרמטר ייחודית במקום אלפי כפילויות קרובות. gf מוסיף תבניות grep שמורות למחלקות כמו redirect, ssrf ו-xss.

gf redirect < urls.txt | anew redirect-candidates.txt

#תן לצ'אט לקבץ את הרעש

הדבק דגימה מ-params.txt בצ'אט של NotHoly ותן לו לקבץ את ה-endpoints.

אלה תבניות URL עם FUZZ בכל פרמטר.
קבץ לפי endpoint, ציין אילו פרמטרים נראים
כמו נתיב, URL, מזהה או redirect, ואמור לי
אילו חמישה לבדוק קודם ולמה.

המודל מקבץ endpoints דומים ומצביע על הפרמטרים ששווים מבט מקרוב. הוא קורא טקסט, לא את האתר, אז התייחס לפלט כרשימת קריאה שאתה מאשר ביד עם הבקשות שלך.

#היקף ופרטיות

נתוני ארכיון יכולים לכלול URL ממארחים מחוץ להיקף או מדיירים אחרים, אז סנן לשורשים שלך לפני שאתה מרחף על משהו. URL ישנות לפעמים נושאות אסימונים או כתובות דוא"ל ב-query string. התייחס אליהן כרגישות, אל תשחזר אותן מול האתר החי והשאר אותן מחוץ להערות המשותפות.

#שאלות נפוצות

#למה לכרות ארכיונים ולא רק לרחף?

ארכיונים מחזיקים נתיבים שהוסרו מהאתר אבל עדיין עובדים בשרת, שקראולר של האתר הנוכחי לעולם לא יראה. שני המקורות חופפים רק בחלקם, אז הרץ את שניהם ומזג עם anew.

#איך נמנעים מלמחוץ את היעד?

הורד את המקביליות והעומק של gospider, רחף על מארח אחד בכל פעם, והשאר את כריית הארכיון, שלא נוגעת ביעד, כעיקר האיסוף. שלח בקשות חיות רק כשיש סיבה.

עם URL ופרמטרים ממופים, הרחב את התמונה הפסיבית עם certificate transparency והיסטוריית DNS. חזרה אל אנומרציית תתי דומיין.