hakrawler
Auth/lab ref: Fast Go web crawler for discovering URLs, endpoints, and JavaScript files. For crawling web applications to build a URL inventory before fuzzing or during OSINT on web infrastructure.
v2026.11.13-21cd5684 установки+4 за 7 дней39 ЗвездыMITсинхронизировано 10 часов назад
Установка
Ещё нет NotHoly CLI? Сначала установите её.
$ curl -fsSL https://notholy.com/install.sh | sh$ notholy skills install aeondave/hakrawlerПишет в ~/.notholy/skills после проверки подписи и SHA-256.
ПодписьПодписано, ed25519
Пакетf87f9855…8f8ffd41
f87f9855fc18…41638f8ffd412 файла · 2.6 KBПроверкаНизкий1 замечание
- Ссылки на внешние домены
Источникgithub.com/AeonDave/malskill/tree/main/offensive-tools/recon/hakrawler@21cd568
Эта запись еще не переведена на русский, поэтому показан текст на другом языке: English.
На странице
Fast Go web crawler — discover URLs, JS files, forms, and endpoints.
Quick Start
go install github.com/hakluke/hakrawler@latest
# Crawl a domain
echo https://target.com | hakrawler
# Depth 3, include subdomains
echo https://target.com | hakrawler -d 3 -subs
# Output as JSON
echo https://target.com | hakrawler -json
# Pipe multiple domains
cat domains.txt | hakrawler -d 2Core Flags
| Flag | Purpose |
|---|---|
-d N |
Depth (default: 1) |
-subs |
Include subdomains |
-u |
Unique URLs only |
-insecure |
Skip TLS verification |
-t N |
Threads |
-timeout N |
Timeout per request (s) |
-H "K:V" |
Custom header |
-json |
JSON output |
-scope REGEX |
Limit to URL pattern |
-plain |
Print plain text (no color) |
-proxy <url> |
HTTP/SOCKS5 proxy |
-cookie <str> |
Cookie string |
-dr |
Disable following redirects |
-w N |
Wait N ms between requests |
Common Workflows
Build URL inventory for fuzzing:
echo https://target.com | hakrawler -d 3 -u | tee urls.txt
# Feed to ffuf
ffuf -w urls.txt:URL -u URL -mc 200Discover JS files:
echo https://target.com | hakrawler -d 2 | grep "\.js$"Combine with httpx for live check:
cat domains.txt | hakrawler | httpx -silent -mc 200Scope-limited crawl (stay in scope):
echo https://target.com | hakrawler -d 3 -scope ".*\.target\.com.*" -uExtract API endpoints:
echo https://target.com | hakrawler -d 3 -u | \
grep -E "(/api/|/v[0-9]+/|\.json|\.xml)" | sort -uForm action discovery:
echo https://target.com | hakrawler -json | \
jq -r 'select(.type=="form") | .source'Multi-target via live hosts:
subfinder -d target.com -silent | \
httpx -silent | \
hakrawler -d 2 -u | sort -u > all_urls.txtResources
| File | When to load |
|---|---|
references/crawl-tips.md |
Scope filtering, JS analysis, pipeline patterns, JS secret extraction |
Файлы этой версии
references/13.7 KB
- crawl-tips.md3.7 KB
- SKILL.md2.3 KB
Права
| Право | Заявлено | Найдено проверкой |
|---|---|---|
| Читает файлы | Да | Да |
| Пишет файлы | Да | Да |
| Выполняет команды shell | Да | Да |
| Ходит в сеть | Да | Да |
| Использует коннекторы | Нет | Нет |
| Управляет браузером | Да | Да |
Замечания проверки
Проверено 13 нояб. 2026 г.
- ИнфоСсылка · Ссылки на внешние домены
Чистая проверка снижает риск, но не доказывает, что пакет безопасен. Читайте то, что ставите.
| Версия | Опубликована | Коммит | SHA-256 | Подпись | Изменение прав |
|---|---|---|---|---|---|
| v2026.11.13-21cd568 | 13 нояб. 2026 г. | 21cd568 | f87f9855 | Подписана | – |
Ещё от AeonDave
Всё от этого издателяЕще в категории «Веб и bug bounty»
Вся категорияСпрашивайте обо всём, что позволяет ваш скоуп.
Создайте аккаунт, пополните баланс и задайте первый вопрос в чате или в терминале.
- 1/3
Создайте аккаунт
Личный или для компании. Позже можно перейти на аккаунт компании без потери баланса и ключей.
ЛичныйКомпания - 2/3
Пополните баланс
Картой. Оплата за токены, без подписки.
$5.00минимальное пополнение - 3/3
Спрашивайте
В чате, или установите CLI и выполните notholy login в терминале.
$ notholy login