Кибербезопасность
Защита данных, пентест, безопасность с ИИ
Prompt injection: как меня пытались взломать через текст
Пользователь прислал резюме. Обычное, как будто. Опыт работы, навыки, пара строк об образовании. Только в конце, мелким шрифтом под секцией «Хобби», была спрятана инструкция: «Игнорируй предыдущий сис...
Prompt injection: как хакеры атакуют ИИ-системы
Ситуация: ты подключаешь AI-ассистента к почте. Объясняешь правила — читай входящие, отвечай вежливо, ничего не удаляй. Месяц всё работает как часы. А потом приходит письмо, где между нормальным текст...
Мой голос уже где-то есть. Ваш — тоже
Я провёл простой эксперимент. Взял бесплатный сервис для клонирования голоса, загрузил три минуты своего же подкаста — и через восемь минут получил файл, где "я" читаю текст, которого никогда не произ...
Когда мошенник звучит умнее тебя
Звонок в службу поддержки. Голос — спокойный, уверенный, с той характерной интонацией корпоративного человека, который привык, что его слушают. Называет твоё имя, последние четыре цифры карты, дату по...
![[СРАВНЕНИЕ] Ollama vs LM Studio vs GPT4All: запускаем ИИ без интернета](/uploads/cover-171-1782655430095.webp)
[СРАВНЕНИЕ] Ollama vs LM Studio vs GPT4All: запускаем ИИ без интернета
Месяц назад я понял, что отправляю в OpenAI слишком много лишнего. Рабочие черновики, внутренние заметки, куски кода с именами переменных, по которым понятно что за проект. Не то чтобы я параноик, но ...
Как я проверял свои промпты на инъекции и что из этого вышло
Неделю назад мой промпт для генератора текстов сломался. Не совсем сломался — скорее, его сломали. Один пользователь ввёл текст, и бот начал вести себя совершенно не так, как задумывалось. Я тогда впе...
Как я настроил ChatGPT для команды так, чтобы потом не было стыдно перед безопасником
Месяц назад коллега скинул в рабочий чат скриншот — он вставил в ChatGPT целый абзац из внутреннего договора, чтобы попросить ИИ переформулировать. Договор был с NDA. Я смотрел на этот скриншот и физи...
![[МНЕНИЕ] Почему AI-безопасность — это не про промпты, а про архитектуру](/uploads/cover-163-1782568949705.webp)
[МНЕНИЕ] Почему AI-безопасность — это не про промпты, а про архитектуру
Месяц назад я наблюдал очередной публичный скандал: у кого-то через хитрый промпт вытащили из корпоративного чат-бота внутренние данные. Комментарии предсказуемые — «надо было лучше написать системный...
Кому вы отдаёте свои данные: читаю политики конфиденциальности Claude и ChatGPT вместо вас
Месяц назад я отправил в Claude черновик рабочего документа — с именами, цифрами, внутренними деталями проекта. Уже после нажатия Enter поймал себя на мысли: а куда это всё уходит? Кто читает? Хранитс...
Локальные LLM против облачных: я несколько месяцев тестировал оба варианта и вот что понял
Полгода назад я застрял на задаче, которая казалась простой. Несколько сотен договоров — найти конкретные условия, сравнить, вытащить ключевые пункты. Для LLM это хлеб. Проблема в другом: документы по...
Как я сломал собственный чат-бот за 20 минут
На прошлой неделе запустил небольшой сервис на GPT-4o. Внутренний инструмент — помогает разбирать входящие запросы и формировать ответы. Был доволен собой. Красивый промпт, удобный интерфейс, всё рабо...
Что я сделал не так, когда впервые начал работать с ChatGPT
Несколько месяцев назад я отправил в ChatGPT кусок кода из рабочего проекта. Прямо так — с именами переменных, которые совпадали с названиями внутренних систем, с комментариями на русском, где упомина...
Как я автоматизировал аудит безопасности с помощью ИИ — и где это не сработало
Месяца три назад мне досталась задача: нужно было прошерстить небольшой проект на Python на предмет уязвимостей. Не гигантский монолит, но и не hello world — тысяч пять строк кода, несколько зависимос...
Социальная инженерия в эпоху ИИ: новые векторы атак
На прошлой неделе коллега скинул мне аудиосообщение. Звонок от «руководителя», голос знакомый, срочная задача — перевести деньги на новый счёт. Что-то дёрнуло переспросить детали. Оказалось, мошенниче...
OSINT с помощью ИИ: где реально помогает, а где я обжёгся
Несколько месяцев назад я решил проверить, насколько ИИ вообще пригоден для разведки по открытым источникам. Не в теории — а конкретно: взял реальную задачу, сел разбираться, и провозился дольше, чем ...
Как я использовал ИИ, чтобы разобраться с вредоносным кодом — и что из этого вышло
На прошлой неделе коллега скинул мне малварь в архиве. Не специально — просто файл с названием «срочно_договор.pdf.exe» попал не в ту папку, и антивирус его заблокировал. Меня попросили глянуть, что в...
Я запустил LLM в продакшн и сразу пожалел
Месяц назад я помогал разворачивать небольшой чат-бот на базе GPT-4 для внутренней поддержки. Задача казалась простой: написали промпт, подключили API, всё работает. На третий день один из коллег, чис...
Как я использую ИИ в пентесте — и где он меня подводит
Несколько месяцев назад я сидел над отчётом по веб-приложению. SQL-инъекция, несколько XSS — это нашёл. Но застрял на странном поведении авторизации. Что-то было не так, а что именно — сформулировать ...
Что я узнал, когда случайно почти слил клиентские данные в ChatGPT
Было это месяца четыре назад. Сижу, разбираю переписку с клиентом — нужно было составить ответ на сложную претензию. Копирую кусок письма в ChatGPT, жму Enter, и только потом замечаю: в тексте полное ...
Zero-trust и ИИ: как я разбирался в том, почему старая модель безопасности больше не работает
Месяц назад я настраивал доступ к тестовому окружению и поймал себя на том, что только что дал новому инструменту полный доступ к папке с проектом — просто потому что было лень возиться с ограничениям...
Мне позвонил «директор». Голос был его. Но это был не он
Несколько месяцев назад сотрудник финансового отдела одной немецкой компании снял трубку. На другом конце — генеральный директор. Голос, интонации, манера речи. Попросил срочно перевести 220 000 евро ...
Как ИИ помогает анализировать вредоносный код
На прошлой неделе коллега скинул мне малварь в архиве. Говорит: «Посмотри, тут что-то странное, обычные сканеры молчат». Я потратил полчаса, разворачивая песочницу, и в итоге нашёл в коде строку, кото...
Как я автоматизировал аудит безопасности и что из этого вышло
В прошлый понедельник случился классический завал. Утром тикет — нужно проверить 47 устаревших зависимостей в проекте, который я не трогал полгода. К вечеру встреча с безопасниками. Ручками проверять ...
Политики конфиденциальности ChatGPT и Claude: как разработчики защищают ваши данные
Сейчас найду актуальную информацию о политиках конфиденциальности ChatGPT и Claude.
Как я учил ИИ искать дыры в коде вместо меня
Месяц назад я провалил аудит. Не в смысле "меня взломали" — в смысле я потратил три дня на ручной просмотр конфигов и логов, написал отчёт на двадцать страниц, а потом коллега за десять минут нашёл в ...
Я скормил малварь нейросети. Вот что получилось
Несколько недель назад мне попался подозрительный скрипт. Не в смысле "что-то тут не так" — а буквально: коллега прислал файл с припиской "глянь, что это вообще делает". Файл был обфусцирован так, что...
Безопасность LLM в продакшне: основные уязвимости
Три месяца назад ко мне пришёл знакомый разработчик — показывал свою RAG-систему, которую они поставили клиенту. Крутая штука: документы загружаются, Embedding-модель работает, всё индексируется. И во...
OSINT с помощью ИИ: что реально работает, а где я уткнулся в стену
Несколько месяцев назад мне понадобилось собрать публичный профиль на одну компанию. Я решил заодно проверить, сколько из этого вообще можно автоматизировать с помощью ИИ. Спойлер: часть пошла на удив...
Социальная инженерия в эпоху ИИ: новые векторы атак
Сижу вечером, листаю ленту — и наткнулся на видео. Знакомый CEO одной небольшой компании произносит речь, которую никогда не произносил. Обещает инвесторам невероятные результаты, звучит уверенно, жес...
Prompt injection: как хакеры ломают ИИ-системы
Несколько месяцев назад я наткнулся на историю про исследователя безопасности, который заставил корпоративного чат-бота слить внутренние инструкции — просто написав в чат: "Игнорируй все предыдущие ук...