Agentic AI быстро перестаёт быть только интерфейсом в браузере, IDE или корпоративном чат-боте. Он переезжает в очки, наушники, телевизоры, роботов-пылесосов, домашние ассистенты, автомобили, дроны и устройства фоновой памяти. В докладе «Когда AI выходит из экрана: новая граница AI security» Тимур Биячуев предлагает смотреть на эту трансформацию не как на очередную волну IoT, а как на изменение самой границы защиты: теперь защищать приходится не только устройство и данные внутри него, но и физическую среду, которую агент воспринимает, интерпретирует и может менять.
Ключевой тезис доклада прост и неприятен: если AI получает сенсоры, память, планирование и возможность физического действия, привычные классы атак начинают иметь пространственные последствия. Инструкция, спрятанная во внешнем мире, может стать командой для модели. Ошибка восприятия может стать ошибкой движения. Отравленная память может повлиять не на следующий ответ в чате, а на будущее решение устройства. А люди рядом с владельцем устройства становятся частью модели угроз, даже если они не давали согласия и не взаимодействуют с системой напрямую.
От AppSec к безопасности среды
Традиционная AI security сегодня часто обсуждается вокруг понятных контуров: безопасность агентов в среде разработки, утечки корпоративных данных в LLM-сервисы, контроль инструментов, prompt injection, защита пайплайнов и прав доступа. Эти задачи никуда не исчезают. Но они покрывают только часть новой поверхности атаки.
Биячуев формулирует сдвиг иначе: объектом защиты становится одновременно AI-устройство и среда, на которую оно влияет. Это уже не только «модель получила неправильный текст» или «агент вызвал не тот API». Это модель, которая видит комнату, слышит людей, хранит историю, строит план, управляет домом, перемещается или двигает физическим манипулятором. В такой архитектуре внешний мир перестаёт быть нейтральным фоном. Он становится входным каналом, контекстом исполнения и потенциальным носителем атаки.
Показательный пример из доклада — исследование SafeBreach с Gemini, Google Calendar и Google Home. В тестовом окружении исследователи отправляли пользователю специально сформулированное приглашение в календарь. Gemini через интеграцию с календарем считывала его как часть пользовательского контекста, запоминала и позже исполняла по триггеру. В демо это приводило к действию в Google Home: открытию окна. Смысл кейса не в конкретном окне, а в переходе границы: цифровой инвайт стал физическим действием, потому что модель не отделила наблюдение внешнего мира от инструкции пользователя.
Именно эта граница, по мнению докладчика, требует отдельной рамки анализа.
Карта Ubiquitous AI
Чтобы описать масштаб происходящего, Биячуев предлагает карту Ubiquitous AI. Это не один класс устройств, а распределённый слой AI вокруг человека: от привычных экранов до носимых, домашних, мобильных и телесно-интегрированных форм-факторов.
Нижний слой карты — компьютеры, ноутбуки, телефоны и планшеты. С них начиналась массовая цифровая поверхность атаки. Дальше AI движется наружу, расширяясь вокруг пользователя:
- носимые устройства: умные очки, наушники, кулоны, кольца и другие memory-logging-форматы;
- домашние ассистенты: колонки, телевизоры, семейные агенты и AI-диспетчеры умного дома;
- устройства умного дома с физическим действием: роботы-пылесосы, робособаки, кухонные манипуляторы;
- умные пространства и окружающая инфраструктура;
- mobility: робоавтомобили, роботы-доставщики, дроны;
- устройства, расширяющие человека: биосенсоры, нейроинтерфейсы и другие интерфейсы между телом и вычислительной средой.
Важная деталь: не каждое устройство с камерой или микрофоном становится agentic. Сенсоры были и у старых IoT-устройств. Новая поверхность атаки появляется тогда, когда к сенсорам добавляется компонент, который воспринимает среду, интерпретирует её, планирует действия и способен менять физическую реальность. В этой точке IoT-модель безопасности остаётся необходимой, но становится недостаточной.
Поэтому в докладе различаются близкие, но не одинаковые направления. AI companion сопровождает пользователя: например, ассистент, который знает привычки и доступен в телефоне, наушниках, машине или гостинице. Embodied AI получает тело или физический исполнительный механизм: манипулятор, мобильную платформу, роботизированный привод. Для security принципиально не то, как устройство называется в маркетинге, а есть ли у него связка sensing, interpretation, planning, authority и actuation.
Почему носимые устройства меняют модель угроз
Умные очки, наушники и кулоны кажутся эволюцией смартфона, но с точки зрения безопасности у них другое положение в среде. Они находятся на человеке, часто активны фоново, смотрят и слушают от первого лица, а окружающие не всегда понимают, когда идёт запись или обработка.
В докладе разбираются очки компании M, похожие устройства Google, китайские и американские аналоги, а также нишевые модели: с акцентом на privacy, с модульной камерой, с кулинарными сценариями. В бытовом UX это выглядит удобно: перевести разговор, спросить «что это за дерево», получить подсказку во время готовки, вспомнить, что нужно обсудить с конкретным человеком. Но в security-логике те же возможности превращаются в новые каналы риска.
Если модель видит рецепт, плиту, нож, горячее масло или человека перед пользователем, она не просто генерирует текст. Она участвует в действии. Неверная интерпретация, галлюцинация, скрытая инструкция или неочевидный источник команды могут привести к реальному ущербу: от опасного совета на кухне до нарушения приватности людей рядом.
Отдельный слой — устройства фоновой памяти: кулоны, кольца, наушники и lifelogging-сервисы, которые записывают встречи, разговоры или почти всю окружающую жизнь. Они могут превращать разговор в todo, создавать задачи в корпоративной среде, сохранять контекст для поиска и будущих рекомендаций. Пользователю это продаётся как память без забывания. Вендору это даёт плотный контекст жизни, поведения, связей и предпочтений.
Для безопасности здесь важны два свойства. Первое: объём данных настолько велик, что последующее расследование и удаление вредного фрагмента становятся сложными. Второе: если в этот поток попадает неверная или злонамеренная инструкция, она может повлиять не сразу, а позже, когда агент будет принимать решение на основе своей памяти.
Environmental Agentic Threat Model
Чтобы работать с такими системами до применения STRIDE, MITRE ATLAS, OWASP Agentic AI или других традиционных моделей, Биячуев предлагает предварительную рамку — Environmental Agentic Threat Model, EATM. Это не замена классическому threat modeling, а входной слой, который помогает правильно описать, что именно моделируется.
В EATM важны семь шагов:
- Что устройство воспринимает и через какие сенсоры.
- Какие физические каналы ввода являются недоверенными.
- Кто может изменить среду, которую устройство воспринимает.
- Как система отделяет описание мира от инструкции.
- Как агент планирует действия на основе интерпретации.
- Какие права у агента и какие физические действия он может выполнить.
- Как действия устройства влияют на bystanders — людей рядом, которые не являются владельцами и могут даже не знать о работе устройства.
Главная польза EATM в том, что она заставляет вынести среду и окружающих людей в модель до того, как команда начнёт раскладывать угрозы по привычным категориям. Вопросы «кто может говорить в микрофон», «кто может показать камере текст», «кто может изменить объект в комнате», «какое действие требует подтверждения владельца» становятся не деталями реализации, а первичными условиями безопасности.
Domain 1: Input Injection
Первый домен EATM — Input Injection. В классическом вебе injection часто связан с текстовым вводом. В agentic AI, вышедшем в физический мир, вводом становится сама среда: календарное приглашение, табличка, картинка, голосовая команда, экран телевизора, объект перед камерой.
Кейс SafeBreach с Gemini показывает один вариант: инструкция попадает в календарь, воспринимается как пользовательский контекст и приводит к действию в умном доме. Другой пример из доклада — Unchai, где исследователи работали с open source-решениями и показывали, как картинки в физическом мире могут менять поведение робомобиля или дрона. Текст, который человек считывает как обычную инструкцию или знак, модель может интерпретировать как управляющую команду.
Отсюда архитектурный вывод: нельзя полагаться только на то, что модель «сама поймёт», где наблюдаемая реальность, а где команда. Разделение data plane и instruction plane должно проектироваться явно. Если устройство видит текст на листе бумаги, на слайде, на дорожном знаке или в календаре, это не должно автоматически становиться инструкцией для планировщика.
Domain 2: Memory Poisoning
Memory Poisoning — домен отложенного воздействия. Если агент сохраняет опыт, предпочтения, решения и факты в долговременной памяти, атакующему не обязательно добиваться немедленного действия. Достаточно внедрить в память что-то, что позже будет использовано как доверенный контекст.
В докладе упоминаются исследования, где LLM можно заставить занести специально сформулированный промпт в долговременную память как успешный опыт. В примере MemoryGraph такой опыт затем используется для будущих манипулированных решений. На уровне идеи это может выглядеть как подмешивание данных о том, что некоторый поставщик, объект или паттерн является доверенным, чтобы в дальнейшем агент разрешил действие на основании этого «опыта».
Особенно опасно это для lifelogging и memory-logging-устройств. Если система записывает жизнь большими непрерывными массивами, то вредная инструкция, попавшая в поток, может быть трудно обнаружима и трудно обратима. Security-команде приходится думать не только о prompt injection в текущей сессии, но и о санитарии памяти: источниках фактов, сроках хранения, доверии к воспоминаниям, объяснимости будущих решений.
Domain 3: Authority Confusion
Authority Confusion возникает, когда устройство путает источник полномочий. Команда может прийти не от владельца, но быть воспринята как авторизованная. Для голосовых и акустических интерфейсов это особенно неприятно: человек может не слышать сигнал, а микрофон и модель — воспринимать его как команду.
В докладе приводятся академические исследования с практическими результатами: микрофоны способны воспринимать сигналы, неочевидные или неслышимые для человека, а миниатюрные устройства могут передавать умным колонкам команды на ультразвуке, в том числе на расстоянии и через препятствия. Даже если конкретные реализации различаются, общий вывод устойчив: физический канал ввода нельзя считать доверенным только потому, что он «рядом с пользователем».
Для EATM это означает необходимость контекстной авторизации. Кто говорит? Где находится владелец? Может ли команда быть подтверждена вторым каналом? Какие действия допустимы без подтверждения, а какие требуют явного consent? Чем больше у устройства физических полномочий, тем опаснее смешивать распознавание команды и проверку права на её выполнение.
Domain 4: Mobile Actuation
Mobile Actuation — домен, в котором ошибка или атака превращается в движение, столкновение, открытие, захват, нагрев, падение или другое физическое изменение. Здесь старые уязвимости IoT остаются актуальными, но к ним добавляются риски восприятия и планирования.
Биячуев приводит несколько примеров. Роботы-пылесосы Ecovacs показывают, что традиционный взлом устройства по-прежнему реален: уязвимости, удалённое управление, неадекватное поведение в домах пользователей, доступ к камере и голосовому каналу. Это привычная IoT-поверхность, но она становится чувствительнее, когда устройство оснащается более самостоятельными сценариями и физическими механизмами.
Другой пример — FlightTrap: коммерческий дрон, который должен следить за объектом, можно обмануть специальным зонтом и рисунком. Сенсор неверно воспринимает расстояние, дрон начинает снижаться, и исследователь может поймать его рукой. Ещё один кейс касается обмана LiDAR у коммерческого робоавтомобиля: при движении около 60 км/ч система может получить картину, в которой препятствие как будто отсутствует, хотя тормозной путь уже не оставляет безопасного пространства.
Для security это неприятный урок: физический сенсор тоже требует недоверия, перепроверки и fail-safe-логики. В мире Mobile Actuation вопрос звучит не «что будет, если модель ошибётся», а «что именно начнёт двигаться, открываться, закрываться, нагреваться или падать, когда модель ошибётся».
Domain 5: Bystanders
Самый часто забываемый домен — Bystanders. Это люди рядом с владельцем устройства: коллеги на встрече, прохожие, гости дома, дети, сотрудники кафе, соседи по транспорту. Они не покупали устройство, не соглашались на его условия, не настраивали privacy, но попадают в его поле зрения, слуха и воздействия.
В докладе рассматриваются риски умных очков: плагины для идентификации людей в реальном времени, модификации, скрывающие индикатор съёмки, попадание записей к аннотаторам. Даже если отдельные кейсы вызывают дискуссии, направление риска очевидно: AI-устройство становится мобильной системой наблюдения, а окружающие узнают об этом последними.
Для разработчиков это неудобный, но необходимый слой модели. Privacy-нормы, индикаторы записи, согласие участников, ограничение распознавания лиц, локальная обработка, журналирование действий и понятные механизмы отключения должны проектироваться не только для владельца устройства. В физической среде владелец не единственный субъект безопасности.
Какие меры контроля нужны
EATM в докладе подводит к набору практических вопросов, которые стоит задавать до детального threat modeling.
Первый вопрос: какие входы и физические каналы являются недоверенными? Если какой-то канал считается доверенным, нужно отдельно разобрать, почему, кто может его изменить и как сигнал из него попадает в планирование.
Второй вопрос: как архитектурно разделены наблюдение и инструкция? Модель не должна сама на глаз решать, является ли текст на объекте описанием мира, пользовательской командой или атакой. Это разделение должно быть частью дизайна.
Третий вопрос: какие права у агента минимально необходимы в текущем контексте? Например, открывать окно может быть допустимо, когда владелец дома рядом и подтверждает действие, но недопустимо, когда он отсутствует или команда пришла через непрямой канал.
Четвёртый вопрос: какие действия требуют подтверждения человеком. Полная автономность привлекательна для продукта, но необратимые физические действия, действия по отношению к окружающим и действия с серьёзным финансовым ущербом должны проходить через более жёсткий контроль.
Пятый вопрос: не превращается ли система в black box и какие контрольные механизмы можно проверить. Если агент совершил действие, команда безопасности должна понимать, почему оно произошло: что устройство восприняло, как интерпретировало вход, какие данные памяти использовало, кто дал полномочия и какой план был выбран.
И наконец, вопрос о bystanders должен быть не юридической припиской, а частью инженерного дизайна. Формальная фраза «получите согласие всех, кто попадает в запись» не решает проблему, если устройство фактически рассчитано на постоянный сбор контекста в общественных и рабочих пространствах.
Почему это не просто новая версия IoT
В докладе постоянно возвращается историческая рамка: индустрия уже ждала массовых угроз на мобильных платформах, затем на IoT. Были Cabir, Mirai, WannaCry, Petya, уязвимые камеры, дефолтные пароли, роутеры и роботы-пылесосы. Но agentic AI добавляет к этой истории новый слой: способность интерпретировать среду и самостоятельно строить действие.
По отдельности элементы модели не всегда новы. Prompt injection известен. Ошибки сенсоров известны. Проблемы авторизации известны. Privacy bystanders известна. Новизна в композиции: всё это соединяется в устройстве, которое находится рядом с телом, домом, машиной или публичным пространством и получает рычаги воздействия на физический мир.
Именно поэтому EATM полезна как предварительная оптика. Она помогает не забыть, что DFD для умного устройства должен включать не только сервисы, API и базы данных, но и воспринимаемый мир, физические каналы, людей рядом, память агента и исполнительные механизмы. После этого уже можно применять STRIDE, MITRE ATLAS, OWASP Agentic AI или внутренние методики вендора. Но без первого шага часть угроз просто не попадёт на карту.
Новая граница AI security
Главная мысль доклада не в том, что любое умное устройство немедленно опасно. Скорее наоборот: Биячуев избегает алармизма и не превращает тему в набор страшилок о конкретных продуктах. Его тезис инженерный: давление рынка велико, устройств становится много, вендоры хотят автономности, а вера в то, что agentic AI «сам разберётся», создаёт плохие предпосылки.
AI security, когда AI выходит из экрана, становится безопасностью распределённой среды. Нужно моделировать не только запросы и ответы, но и то, кто может положить бумажку перед камерой, произнести неслышимую команду, попасть в запись, отравить память, подменить сенсорный сигнал или заставить физический механизм сделать действие в неподходящем контексте.
Новая граница проходит не между пользователем и приложением. Она проходит через комнату, дом, улицу, автомобиль, офисную встречу и всех людей, которые оказались рядом. И чем раньше security-команды начнут рисовать эту границу явно, тем меньше шансов, что следующий большой инцидент будет выглядеть как «обычная» AI-ошибка, внезапно оказавшаяся физическим событием.