OSINT и разведка
OSINT с нуля: ИИ как второй пилот
Повторяемый процесс OSINT по цели, на которую можно смотреть: область, сбор по этапам, корреляция, а чат NotHoly планирует и подводит итог.
Цель, соразмерность, согласие и минимизация данных в OSINT, основы LGPD и GDPR и шаблон плана исследования на одну страницу.
Открытость информации ещё не означает, что её можно собирать. Профиль может быть виден всем и всё равно не годиться как объект исследования. Этика в OSINT сводится к тому, чтобы до первого запроса решить, зачем вы ищете, кто на это согласился, что вы сохраните и когда удалите. Эта статья показывает, как принять такие решения и записать их в план на одну страницу. Предполагается, что вы уже прочитали Что такое OSINT.
В этой области этика вполне практична. От неё зависят решения, которые определяют сбор: какой вопрос вы задаёте, какие источники открываете, сколько записываете и что публикуете. Закон задаёт минимум. Профессиональная практика обычно стоит выше него, потому что законный сбор всё равно может навредить людям, которых никто не спрашивал.
Большинство случаев покрывают пять идей: цель, соразмерность, разрешение, минимизация и срок хранения. Применить все пять можно с ручкой и чистым листом, ещё не открывая браузер.
Напишите одно предложение с названием решения, которое поддерживает ваше исследование. «Выяснить об этом человеке всё, что получится» — это пожелание. Цель выглядит иначе: «Проверить, все ли домены, зарегистрированные на название нашей компании, есть в нашем реестре активов». Хорошая цель подсказывает, какие источники важны, а какие результаты можно считать шумом.
Данные, собранные для одной цели, не должны перетекать в другую. Если при проверке доменов компании всплыл личный аккаунт сотрудника в соцсети, этот аккаунт остаётся за пределами проверки, даже если вы его нашли.
Спросите себя, соответствует ли глубина сбора важности вопроса. Обычная проверка публичных бюллетеней безопасности поставщика не оправдывает хронологию жизни его сотрудников.
Соразмерность касается и метода. Пассивный поиск в открытых реестрах вторгается меньше, чем отправка запросов к работающему серверу. Вид шага должен определяться вопросом, и если на вопрос отвечает более лёгкий шаг, выбирайте его.
В работе по безопасности одобрить исследование могут владельцы активов. Если вы оцениваете организацию, в письменном разрешении должны быть названы организация, активы, период и допустимые методы. Если разрешения нет, работу надо остановить. Откладывать его оформление на потом нельзя.
Открытому исследованию организации, которую вы не представляете, всё равно нужна причина, приемлемая для разумного человека. Кроме того, оно должно заканчиваться там, где начинается частная жизнь конкретного человека. Согласие в одних правовых режимах служит правовым основанием для обработки персональных данных, в других это один из нескольких вариантов. Публичность страницы короткого пути не даёт.
Собирайте поля, нужные для ответа на вопрос, и ничего больше. Чтобы проверить, указывает ли домен на ваш почтовый сервер, нужны домен, тип записи, ответ и время наблюдения. Домашний адрес регистранта, полный HTML страницы с посторонними комментариями и скриншот с незнакомцем на заднем плане вам не нужны.
Минимизация обходится дешевле уборки. Поле, которого вы не собирали, утечь не может.
Запишите, как долго вы будете хранить материал и кто сможет его читать. Разумный порядок выглядит так: сохранить свидетельства по каждой находке, удалить сырые персональные данные после принятия отчёта и записать дату удаления. Точное число дней зависит от вашего проекта и применимого к вам права. Дата должна быть записана в плане, одной памяти тут мало.
Причин три.
Во-первых, люди публикуют информацию с определённой целью. Свадебным фото делятся с друзьями, резюме отправляют рекрутерам, пост на форуме пишут для круга по интересам. Перенос этой информации в новый контекст может навредить, даже если никто ничего не взламывал.
Во-вторых, из агрегации возникает новая информация. Адрес, место работы, школа ребёнка и расписание занятий в спортзале могут быть безобидны по отдельности и опасны вместе. Собранный профиль способен раскрыть человека так, как не раскрывал ни один источник сам по себе.
В-третьих, среди открытых источников есть данные, которые утекли, были собраны скрейпингом или выложены кем-то другим. Человек, которого они описывают, мог и не собираться ими делиться, а хранение таких данных может быть незаконным. Доступ говорит лишь о том, что вы можете что-то увидеть. О том, стоит ли это сохранять, он не говорит ничего.
Не практикуйте OSINT на частных лицах. Это касается друзей, бывших партнёров, коллег, соседей, людей, с которыми вы познакомились в сети, и публичных фигур, которые вам просто не нравятся. Новичкам часто хочется проверить технику на настоящем имени. Именно в этот момент техника и начинает кому-то вредить.
Берите то, что контролируете сами: свои аккаунты и домены, тестовую организацию, которую вам разрешено оценивать, или синтетические данные в своей лаборатории. Если учебному упражнению нужна цель, придумайте её и сами соберите для неё данные. Поиск собственного имени, чтобы увидеть свою открытость, — полезное упражнение, и письменная цель для него тоже нужна.
Большинство читателей в Бразилии и Европейском союзе подпадают под один из двух законов. Этот раздел — обзор, юридической консультацией он не считается. Если ваша работа затрагивает персональные данные в больших объёмах, поговорите с юристом, который знает вашу юрисдикцию.
Lei 13.709/2018, Lei Geral de Proteção de Dados (LGPD), регулирует обработку персональных данных физическими лицами и компаниями, в сети и вне её, с некоторыми исключениями. Для исследователя важны три части закона.
Статья 6 перечисляет принципы. Основной вес здесь несут два. Finalidade (цель) требует законных, конкретных и явных целей, о которых человек может узнать. Necessidade (необходимость) ограничивает обработку тем, что относится к этим целям и соразмерно им. Adequação (адекватность) требует, чтобы обработка в своём контексте соответствовала заявленной цели.
Статья 7 перечисляет десять правовых оснований. Согласие входит в их число, но не исчерпывает их. Законные интересы (пункт IX) применимы, однако уступают там, где преобладают основные права человека, и всё равно должны соответствовать принципам статьи 6. Исследования, проводимые научными органами (пункт IV), тоже указаны, причём по возможности данные желательно анонимизировать.
Статья 4, пункт III, исключает обработку, которая ведётся исключительно для общественной безопасности, национальной обороны, безопасности государства либо расследования и пресечения преступлений. Частным исследователям не стоит считать, что это исключение распространяется на них. Оно рассчитано на специальное законодательство и государственные органы, а параграф 2 ограничивает обработку на этом основании частными организациями, допуская её только под публично-правовым надзором. Консалтинговая компания, работающая на клиента, государственным органом не считается.
Статьи 15 и 16 определяют, когда обработка заканчивается и когда данные надо удалить. Статья 5, пункт III, определяет анонимизированные данные, а статья 12 говорит, что такие данные не считаются персональными, если анонимизацию нельзя обратить разумными усилиями. На практике набор данных, названный анонимным, всё равно требует осторожности. Несколько квазиидентификаторов, таких как почтовый индекс, должность и дата рождения, могут выделить конкретного человека.
Regulation (EU) 2016/679, General Data Protection Regulation (GDPR), в статье 4(1) широко определяет персональные данные как информацию, относящуюся к идентифицированному или идентифицируемому физическому лицу. Статья 5 устанавливает принципы. Пункт (b) касается ограничения цели, пункт (c) минимизации данных, пункт (e) ограничения срока хранения. Параграф 2 возлагает на оператора персональных данных обязанность доказывать соблюдение.
Статья 6 перечисляет законные основания. Статья 9 охватывает особые категории данных, такие как здоровье, политические взгляды и религиозные убеждения, для которых нужно дополнительное условие. Статья 17 посвящена удалению. Статья 35 требует оценки воздействия на защиту данных, если обработка, вероятно, несёт высокий риск.
Бытовое исключение в статье 2(2)(c) распространяется на чисто личную или домашнюю деятельность. Профессиональные исследования под него не подпадают. Как только вы работаете на клиента, вы оказываетесь за его пределами.
Оба закона задают одни и те же вопросы: зачем, на каком основании, сколько, как долго и кто может видеть. План исследования, заранее отвечающий на них, закроет большинство обязанностей, применимых к небольшому расследованию. Упражнение ниже задаёт каждый вопрос напрямую.
Berkeley Protocol on Digital Open Source Investigations разработан в Human Rights Center Калифорнийского университета в Беркли и опубликован Управлением ООН по правам человека. Это ориентир для следователей, работающих с цифровыми открытыми материалами, в том числе в сфере прав человека и привлечения к ответственности. Планирование и этико-правовые рамки там стоят в самом начале расследования, откладывать их на потом протокол не предлагает.
Чтобы чему-то у него научиться, не обязательно расследовать нарушения прав человека. Его разделы об этике показывают, как внимательные практики думают о вреде ещё до первого запроса. Прежде чем полагаться на любой пересказ, включая этот, прочитайте сам протокол.
Список ниже служит отправной точкой. Ваше разрешение и ваша юрисдикция могут его расширить.
Если вы собрали то, чего не следовало, остановитесь. Запишите, что сделали и когда. Сообщите человеку, ответственному за проект. Удалите копию, которой у вас быть не должно, и запишите факт удаления.
Для этого упражнения не нужны ни лаборатория, ни команды. Выберите организацию, которая принадлежит вам или которую вам разрешено оценивать. Подойдут домен в вашей лаборатории, созданная вами тестовая компания или клиент, давший письменное разрешение. Не берите реального человека, конкурента или поставщика, которого вы не представляете.
Скопируйте этот шаблон в текстовый файл и заполните все поля.
Organisation and authorisation
Who owns or runs the assets:
Written permission (document name, date, who signed):
Valid until:
Research question
One sentence. Which decision will this support?
Purpose
Why this data is needed, and what it will not be used for:
Scope
In scope (domains, public repositories, public documents):
Out of scope (people, accounts, systems, data types):
Sources and methods
Source 1 (URL or dataset, how accessed, date):
Source 2 (URL or dataset, how accessed, date):
Passive only? Active steps are out of scope for this exercise.
Data minimisation
Fields to record:
Fields you will not record:
Personal data expected? yes / no. If yes, the legal basis is:
Storage and retention
Where raw material is kept, and who can access it:
Deletion date:
What remains after deletion (the finding and its citation only):
Review
Reviewer name and date:Хорошая цель называет решение. «Узнать о нашей компании» — это тема. Более удачный вариант звучит так: «Найти публичные DNS-записи в example-corp.test, которых нет в нашем реестре активов, чтобы ИТ-отдел подтвердил или вывел их из эксплуатации до конца спринта».
Хороший скоуп перечисляет и то, что в него не входит. Когда вы выписываете исключения, вы быстрее замечаете, что поиск смещается в сторону человека.
В источниках укажите URL или набор данных и дату обращения. Если какой-то шаг затрагивает работающую систему, план должен об этом сказать и сослаться на разрешение. В этом упражнении всё остаётся пассивным.
В минимизации перечислите поля, которые будете записывать, а затем поля, которые сознательно пропустите. Если план вообще предполагает персональные данные, укажите правовое основание.
Для хранения назовите настоящую дату. План со словами «удалить потом» никогда ничего не удаляет.
Перечитайте план и спросите себя, сможет ли рецензент, который его не писал, понять, что вы соберёте, зачем, кто сможет это читать и когда это будет удалено. Если нет, сначала перепишите цель. Большинство других пробелов идут от расплывчатой цели.
Прочитайте Berkeley Protocol целиком, а также сами тексты LGPD и GDPR, не полагаясь на вторичные пересказы. Бразильские разъяснения ищите в публикациях Autoridade Nacional de Proteção de Dados (ANPD). Для ЕС смотрите разъяснения национального органа по защите данных в вашей стране.
Следующая статья этого цикла, Certificate Transparency для своих доменов, применяет эти правила в пассивном упражнении со скоупом на принадлежащем вам домене. Держите план исследования открытым, пока её читаете.
OSINT и разведка
Повторяемый процесс OSINT по цели, на которую можно смотреть: область, сбор по этапам, корреляция, а чат NotHoly планирует и подводит итог.
OSINT и разведка
Перечислите поддомены своей области: subfinder, amass, findomain и chaos через anew и httpx, а чат NotHoly сортирует список.
OSINT и разведка
Соберите URL и параметры своей области: gospider, hakrawler, waybackurls и gau, затем фильтр через qsreplace и чат NotHoly.