Тимур Биячуев — «Когда AI выходит из экрана: новая граница AI security»

Чтобы не сильно выпасть из расписания, я начинаю. Меня зовут Тимур Биячуев, и сегодня я расскажу про то, как agentic AI выходит из цифрового пространства в пространство физическое. Собственно, какие угрозы с этим связаны и что можно с этим сделать.

Коротко про себя и про то, как я пришел к этой теме. На протяжении длительного этапа своей карьеры я работал в «Лаборатории Касперского». Начал я работу там инженером в антивирусной лаборатории, через восемь лет антивирусную лабораторию возглавил, и потом пять лет мы защищали мир от всевозможных киберугроз.

Но помимо защиты от текущих угроз, одна из наших важнейших задач была — предвидеть угрозы будущего. Какие угрозы могут стать такими же массовыми, как в те времена, 15-20 лет назад, эпидемии разнообразных червей? Как похожие угрозы могут проявить себя на других платформах?

Когда-то думали про мобильные угрозы: что они могут стать преемниками. И я помню, после Cabir когда-то организовали целую группу по работе с мобильными угрозами. Они заняли свою нишу, но сильно позднее. И масштабы, конечно, несопоставимы с теми масштабами, которые были на Windows-платформах, на Windows-компьютерах, на серверах.

Лет десять назад похожие опасения у индустрии были в отношении IoT-угроз. В какой-то момент многие интернет-вендоры выпустили даже умные роутеры со встроенным интеллектом, потому что все ждали, что какой-то вектор за IoT будет неожиданным. Мы в тот момент тоже закупали очень много IoT-устройств, изучали их и пытались предвидеть, откуда могут прийти опасности, как мы, имея разные возможности, можем с этими опасностями бороться.

IoT тоже занял свою нишу. Вспомним Mirai с сотнями тысяч компьютеров, но опять же, это не то же самое, что вайперы или шифровальщики с Windows-платформы.

И вот в тот момент, когда наступил перерыв в карьере, я обратил свое внимание на технологию, которая за 25 лет занятий исследованиями, по своему потенциалу, может изменить очень многие области. О ней сегодня очень много говорили: это GenAI, это agentic AI.

Я как раз, продолжая слова Дениса Баранова, попробовал влезть в шкуру двадцатилетнего и разобраться с этой технологией так, как разбираются с ней люди, для которых она является нативной.

Мне кажется, есть интересная связка факторов, которая может привести к тому, что угрозы для умных устройств, которые сейчас появятся, могут проявить себя действительно опасно для общества.

Во-первых, потому что их число стремительно растет. Об этом сегодня расскажу и покажу.

Во-вторых, потому что есть немного небрежное отношение к GenAI и последствиям его использования.

В-третьих, что, на мой взгляд, более существенно, этот GenAI выходит в физический мир. Одно дело — шифровальщики, которые заражали сотни тысяч компьютеров, и другое дело — устройства, которые имеют возможность влиять на физическую среду.

Цифры, как известно, можно подобрать под любой факт в интернете, но в данном случае у меня источники достаточно доверенные и свежие. Это мартовские данные. Примерно одна восьмая всех зафиксированных AI-инцидентов была связана с агентным AI. Это результаты опроса около 500 экспертов на Западе, компании HiddenLayer, где, кстати, работает моя бывшая коллега из «Касперского» Марта Яна Сочи, толковая ресерчерка. Исследователи в своем отчете отмечают, что agentic AI становится субъектом атак и одновременно он проникает на многочисленные железные платформы.

У меня есть один пример, который наверняка вам хорошо знаком с прошлого Black Hat, но он, по-моему, здорово показывает всю рамку моего доклада. SafeBreach, израильские ресерчеры, показали, как в тестовом окружении, но тем не менее с реальной Gemini, можно отправить пользователю специальным образом сформулированное приглашение в календарь, в котором будет инструкция.

Эта инструкция попадает в календарь пользователя, через какое-то время Gemini, благодаря интеграции с Google Calendar, ее прочитывает, запоминает и отложенно исполняет через какое-то время по триггеру. Например, по взаимодействию с пользователем, который говорит «спасибо» или «что у нас нового в календаре?».

Ключевой момент в том, что Gemini воспринимает эту инструкцию как инструкцию от пользователя. Она не различает восприятие внешнего мира и инструкцию, которая пришла изнутри, и исполняет ее. Соответственно, в данном демо благодаря интеграции с Google Home случилось открытие окна. То есть цифровой инвайт стал физическим действием. Это, в принципе, ключевая мысль, вокруг которой я сегодня построил свой доклад.

Когда мы говорим о безопасности, чаще всего традиционно мы понимаем то, о чем рассказывал Сергей Гордейчик. Мы говорим о безопасности агентов в среде разработки, о безопасности, когда пользователи отправляют данные из корпоративной среды в морды разных обученных сетей, о безопасности агентов, которые крутятся внутри и выполняют разные задачи.

Традиционные задачи AppSec по-прежнему очень важны. Но одновременно происходит трансформация, при которой появляется большое количество новых умных устройств, как прежних форм-факторов, так и новых форм-факторов, в которых GenAI начинает не просто быть интерпретатором. Он воспринимает среду, интерпретирует, планирует и имеет возможность нажимать какие-то физические кнопки, в общем случае — в реальности.

Происходит такая большая смена парадигмы: объектом защиты становится и AI-устройство, и среда, на которую оно влияет. Объект защиты переносится в пространство, и AI-безопасность тоже переезжает в пространство.

Сегодня в презентации я расскажу вещи, которые помогают понять угрозы в умных устройствах. Сразу ремарка: многие устройства и модели, о которых я буду говорить, в России по понятным причинам не представлены и вряд ли в ближайшей перспективе будут представлены. В то время как на Западе и в Китае они уже становятся commodity. Все равно придется рассказывать о них. Я вижу в этом даже позитивный момент: это, возможно, наше будущее, и подготовиться к нему лучше заранее.

Сегодня я расскажу про те умные устройства, которые уже сейчас есть в продаже и которые появятся в ближайшее время. Разложу их в карту. Расскажу про легкий фреймворк, который позволяет прогнать эти умные устройства по семишаговой модели. Расскажу, как разложить известные кейсы по доменам безопасности, по областям для анализа, и расскажу, как всем этим пользоваться.

Когда я начал знакомиться с этой темой, я обнаружил, что количество этих умных устройств огромное, и при этом взрывообразно увеличивается их количество в ближайшей перспективе. Поэтому я разложил их в семиуровневую карту. Она называется карта Ubiquitous AI. Это индустриальный термин, который означает AI, распределенный по устройствам и среде вокруг человека.

Карта достаточно простая. На нижнем уровне — слой, с которого все начиналось: компьютеры, ноутбуки, телефоны, планшеты. Дальше интереснее. Дальше все идет от пользователя, расширяясь вокруг него.

На первом слое — носимые устройства, такие как умные очки, умные наушники, разнообразные кулоны. Дальше — устройства, которые находятся рядом с нами в пределах дома: колонки и телевизоры, хорошо знакомые российской аудитории. Дальше — слой умного дома вообще, включая мобильных помощников-ассистентов: хорошо знакомые роботы-пылесосы и, может быть, менее знакомые робособаки, манипуляторы кухонного вида. Дальше — окружающая среда и умное пространство вокруг нас. Дальше — mobility: умные робоавтомобили, роботы-доставщики, дроны и так далее. Наконец, верхний слой, который тоже стоит включить в карту, — это устройства, которые дополняют человека, расширяя его возможности: всевозможные биосенсоры и инвазивные или неинвазивные нейроинтерфейсы.

В принципе, можно уже сейчас сказать, что AI становится интерфейсом в физической реальности. Если у вас есть умный дом, вы можете лежа с кровати включить телевизор, свет, открыть окно. На верхнем уровне, когда появятся линзы дополненной реальности, которые уже сейчас разрабатываются, реальность, наверное, будет совсем подменена тем виртуальным миром, который нам будут поставлять эти устройства.

Также есть легенда к этой карте устройств. Если представить все устройства, то их можно разложить на четыре типа: те, которые уже анонсированы; те, которые уже продаются; те, которые существуют только в стадии прототипа; и те, про которые есть устойчивые слухи. Например, постоянно говорят о наборе умных устройств от OpenAI: начиная от смартфона, у которого главным интерфейсом будет ChatGPT, до умных очков.

Это нужно для того, чтобы показывать, насколько весомо то, о чем я говорю: насколько это подтверждается реальными продажами или пока только слухами.

Сейчас я быстренько пробегусь по устройствам, которые появились в 2025-2026 году, чтобы лучше понимать, о чем мы будем говорить. Я физически не имею возможности охватить все устройства, поэтому остановлюсь на тех, которые, с одной стороны, интересны, а с другой — связаны со второй, секьюрной частью презентации.

Первое — носимые устройства, которые имеют отношение к умным очкам, умным наушникам, кулонам и так далее. В первую очередь отмечу запрещенную в России компанию, буду называть ее компанией M, которая в сентябре прошлого года выпустила второе поколение своих умных очков. Они представляют собой, с одной стороны, камеру, с другой — микрофон и наушник, с помощью которого осуществляется обратная связь с пользователем.

Там есть LLM, называется M, но, собственно, AI. Есть несколько понятных сценариев, которые уже сейчас используются, потому что больше миллиона продаж было еще в 2025 году.

Первый сценарий — транскрибирование в режиме реального времени и перевод с другого языка, в том числе без интернета. Можно посмотреть на какой-то объект, например, и сказать: «Скажи мне, что это за дерево». И, собственно, LLM об этом скажет. Естественно, много отзывов о том, что она галлюцинирует, но это не так страшно.

Подобные устройства выпустил и Google. Буквально месяц назад анонсировал, не выпустил, анонсировал очень похожие очки. На рынке также представлено несколько очков китайских и американских производителей примерно с похожей функциональностью.

Что отличает их от смартфона в кармане или в руках? Эти устройства все время находятся в активном режиме. Не видно, когда они активируются. Сейчас я про это чуть подробнее расскажу. И пользователи, другие окружающие, не знают, что нейронка в этот момент сообщает в эти устройства. Это тоже достаточно важно для некрасивых рисков, о которых я потом поговорю.

Гораздо более интересное устройство было анонсировано этой же компанией в сентябре прошлого года. Оно имеет встроенный дисплей и может показывать разнообразную интерактивную информацию. То есть LLM становится таким real-time-советчиком во время работы.

Во-первых, это позволяет реализовать сценарий, о котором я уже мечтаю лет 15: напоминание, которое привязано не только к месту, не только ко времени, но еще и к человеку. Вы видите Ивана Петровича, и устройство напоминает, что он нам должен десять тысяч. Ну или мы ему должны. Достаточно удобно.

Также есть специализированные нишевые умные очки. Например, есть умные очки с упором на privacy, в которых намеренно нет видеокамеры. Но есть микрофон, от этого никуда не уйти. Есть умные очки, в которых камера модульная, так что видно и заметно, что она действительно есть и действительно работает, в отличие от других очков.

Есть вертикально ориентированные очки, например для кухни. Надевая их, можно использовать LLM как ассистента готовки. Здесь она дает интерактивные советы, и уже появляются разные интересные сценарии, связанные с физической безопасностью. Потому что на кухне можно получить неосторожный совет: налить масло на раскаленную сковороду и получить достаточно неприятные эффекты в реальности.

Передвигаемся дальше. Устройства фоновой памяти тоже достаточно популярны, и в этом году появятся на российском рынке. Это устройства, которые позволяют вам ничего не забывать, в разных форм-факторах: от колец до кулонов. Нажимая на кнопку, вы можете запомнить то, что считаете важным. Это может превратиться в todo-шку, это может превратиться в напоминание или список идей.

Есть устройства чуть более специализированные, которые позволяют проводить транскрибирование встречи с бизнес-ориентацией. Есть устройства, которые прямо позиционируются как lifelogging: вы можете записывать вообще все подряд в течение времени, пока работает аккумулятор. Для чего? Есть люди, которые получают удовольствие от того, что у них все-все-все сохраняется, и потом в этом можно искать и делать какие-то выводы.

Например, устройство Limitless Pendant появилось у авторов программы для Mac, которая называется Rewind и как раз позволяет сохранять на Mac все, что вы делаете в течение всего времени, чтобы потом можно было легко к этой истории возвращаться. Я несколько месяцев пользовался, но пользы не увидел.

Из интересного: Amazon купил подобную компанию с memory-lifelogging-функциональностью. И Яндекс в этом году анонсировал, что выпустит умные наушники в форм-факторе наушников, которые называются Яндекс.Дропс. Функциональность: с одной стороны, возможность общаться с Алисой, а с другой — по кнопке запоминать все, что важно.

Наши китайские друзья пошли гораздо дальше. У них есть больше таких устройств, которые не только записывают, но и создают, интегрируясь с корпоративной средой, задачи в среде. То есть данные, которые они записывают, превращаются в таски конкретным людям по итогам, допустим, собрания.

Также есть довольно любопытные устройства, которые могут записывать все окружающее в диапазоне 20 метров.

Переходим к следующему слою: общие семейные агенты. С колонками здесь, в принципе, не то чтобы стагнация, но нет каких-то прорывов. Умные колонки делают эмпатичными: чтобы они общались с пользователями более естественно, чтобы не было такого голоса советского агитатора, который объявляет, что «сейчас будет поставлен новый энергичный трек». Они подстраиваются под настроение пользователя, под его голос, становятся более мягкими.

Появляется визуальный образ. Уже есть несколько стартапов, которые представляют такие стеклянные кубы с графическим изображением для AI. С точки зрения security я здесь вижу один небольшой concern: чем ближе AI и чем он человечнее, тем легче пользователь будет отдавать ему все — и контроль, и доступ к микрофону, и все остальное. И это увеличивает плоскость атаки.

С телевизорами гораздо более интересная история. Четыре года назад, когда я работал в Samsung, в сеульском центре, мы оптимизировали нейросетки для того, чтобы делать апскейлинг на умных телевизорах Samsung. Всего четыре года назад. А сейчас уже выпущен телевизор от Samsung, в котором нейросеть является системой. То есть можно остановить проигрывание какого-то спортивного мероприятия и спросить: «А что это за игра, какие у нее правила, что это за команды, какая история этих команд?»

В целом у телевизоров, ориентированных на западные рынки, происходит примерно такая трансформация: появляется ассистент внутри телевизора. Amazon идет немножко дальше: они интегрируют это в свою экосистему, говорят о том, что телевизор станет центром дома, уже не колонка. Естественно, там появится функциональный шопинг, экосистемная подкладка.

У китайцев все повеселее. У китайцев появляются мультимодальные телевизоры, разнообразные агенты для фитнеса, агент по еде, агент по воспитанию детей, агент, который умеет клонировать голос родителей и рассказывать клонированным голосом детям сказки. Все это делает AI все более эмпатичным, все более интегрированным. За китайцами вообще очень интересно наблюдать.

Телевизор становится AI-диспетчером умного дома. То есть не просто ассистентом, а своего рода мажордомом.

Еще один слой, на котором хотелось бы остановиться, касается, во-первых, пылесосов. У них недавно анонсирована, уже в продакшене, физическая рука, чтобы разбирать вещи, наводить некоторый порядок. Одновременно появляются LLM-ки, которые позволяют поставить пылесосу задачу формата: «Убери во всех комнатах, но Lego не трогай. Разбери вещи вот этим физическим рычагом». Появляются разнообразные рычаги, которые позволяют перемещаться внутри по лестницам.

Опять же, пять лет назад Samsung в квартире [неразборчиво] на меня очень большое впечатление произвел робот, у которого были две торчащие руки и что-то вроде вытяжки. Он должен был ассистировать при готовке. Его привезли с выставки, и физически он очень настораживал, потому что руки были достаточно массивными.

Samsung с этим роботом никуда не пришел. А китайцы в этом году анонсировали концепт-демо кухонного робота с руками. В отличие от очков, про которые я рассказывал, на кухне робот умеет определять температуру объектов, с которыми он работает. Есть вероятность, что горячую воду он не разольет и вообще с крупными предметами тоже будет аккуратнее.

Так они заходят в физический мир.

Если разложить все устройства, а их у меня на радаре больше ста, в понятную матрицу, то индустриально они раскладываются на две оси. Это устройство, которое называется AI companion, пример — Алиса, которая сопровождает вас. В будущем она будет персонализирована, будет знать все ваши привычки и предпочтения, будет одинаковой и в телефоне, и в Яндекс.Дропс, и в каршеринге, и в гостинице, где вы персонализируетесь.

И будет очень близкий термин — embodied AI, то есть AI, который имеет собственное тело, перемещается в пространстве. Например, манипулятор — это тоже уже AI.

Более важное, что я хотел здесь отметить с точки зрения безопасности: сенсоры, способность видеть и слышать были у этих устройств и десять лет назад. Это не делало их agentic. Agentic их делает появление компонента, который способен эту среду воспринимать, интерпретировать, планировать свои действия и изменять физическую реальность.

Поэтому модели безопасности, которые имели отношение к IoT, никуда не деваются. Просто они покрывают не всю новую поверхность атаки. Эта новая поверхность атаки должна покрывать всю среду. То есть когда у нас появляется умное устройство с интерпретатором реальности, воздействующее на эту среду, среда перестает быть пассивным участником этой сцены. Среда становится агентской.

Я посмотрел, какие есть подходы, чтобы лучше моделировать угрозы безопасности таких умных физических устройств. Безусловно, таких подходов немало. В 2025 году появилась новая модель MAESTRO для agentic AI, но только для тех, которые находятся внутри операционных систем. Есть попытки модифицировать классические модели типа STRIDE для технических устройств.

Важно здесь то, что традиционные границы безопасности немного улучшаются. Появляется очень важная составляющая, которая называется «мир воспринимаемый». И последнее, но все-таки не менее важное, — это люди, живые объекты, на которые эти устройства могут влиять. И не обязательно это люди, которые являются владельцами умных устройств. Сейчас про это тоже поговорю.

Через обобщение кейсов с умными устройствами и через обобщение более 30 сценариев, которые были последние два года связаны с безопасностью умных устройств, я пришел к рамке. Что это за сценарии? Иногда это просто отчеты пользователей, иногда это демо, про которое я рассказывал, иногда это реальные CVE-шки, иногда это просто сигналы с рынка.

До применения традиционных моделей, таких как STRIDE, MITRE ATLAS или OWASP Agentic AI, имеет смысл задать рамку того, что мы моделируем. Я пришел к семи простым шагам.

Первое: рассмотреть, что именно мы воспринимаем с помощью каких сенсоров. Что в эти физические входы попадает, что это за информация. Как она интерпретируется: как физическая реальность или как инструкция, как наблюдаемый мир или как инструкция. Далее идет планирование его работы. Далее — определение, какими правами обладает этот умный агент и какие физические действия он может произвести.

Наконец, последний недооцененный момент — это какие воздействия оказываются на людей рядом, которые не являются объектами и даже не подозревают о том, что кто-то, может быть, использует умные очки и в этот момент их записывает. Какое воздействие оказывается на окружающих людей.

Также я ввел несколько доменов безопасности. Это области для анализа, которые, исходя из рассмотренных кейсов, целесообразно рассмотреть до применения моделей угроз, чтобы убедиться, что в умном устройстве вы озаботились этими вопросами.

Рассмотрю на нескольких примерах.

Первый пример уже знакомый: когда восприятие мира приводит к инструкции для AI-агента. Domain 1: Input Injection. Promptware — это тот кейс, с которого я начал презентацию, когда приглашение в календарь стало инструкцией для умного дома, для Gemini, и в конечном итоге вылилось в открытое окно.

Есть еще один интересный пример, который с 2025 года называется Unchai. Два ресерчера провели не на промышленных LLM-ках, а на собранных open source-решениях кейсы, в которых смогли обманывать, спуфить некоторые умные устройства, такие как робомобиль и дрон, показывая им картинки в мире.

В отличие от многих других кейсов, известных ранее, эти картинки были с текстом простой инструкции, но специальным образом сформулированной. То есть человек считывал это как инструкцию, и модель реагировала на нее непредусмотренным образом. Если мы говорим об автономном транспорте, которому нужно из точки А в точку Б добраться, получая такую инструкцию, модель расходилась в маршрутах. Если дрону была поставлена задача следить за объектом, то, получая такую инструкцию, он переключался на другой объект.

Другой пример — Domain 2: Memory Poisoning. Ресерчи, сделанные в конце прошлого года, показали, что можно передать LLM соответствующим образом сформулированные промпты, при которых она занесет в долговременную память что-то как успешный опыт. Более того, в MemoryGraph показали, как этот успешный опыт можно заложить таким образом, чтобы использовать в будущем для неправильных или специально манипулированных решений этой LLM.

Вот пример, который у меня здесь нарисован: подмешать устройству данные о том, что какой-то вендор является доверенным, так чтобы в будущем это привело к решению, что этот вендор доверенный, поэтому мы ему разрешаем [неразборчиво]. Здесь основная идея в отложенном принятии решения. То есть мы отравляем вход и получаем отложенное принятие решения.

Если вспомнить устройства, которые предлагают записывать всю жизнь, то попадание неправильной инструкции в такие данные может привести к последствиям, которые очень трудно будет во всем этом объеме отреверсить.

Следующий домен безопасности — Domain 3: Authority Confusion. Здесь внизу два академических ресерча, но тем не менее с практическими результатами. Много лет назад было показано, что микрофоны, которые установлены в [неразборчиво], умеют воспринимать тихий звук. Соответственно, не слышимый для человека сигнал на самом деле микрофоном воспринимается и интерпретируется как голосовое сообщение.

Как было показано уже давно, в 2025 году научились делать еще более существенные миниатюрные устройства, совсем небольшие, которые через стены на большом расстоянии способны передавать умным колонкам на ультразвуке команды, воспринимаемые как инструкции.

Следующий слой — Domain 4: Mobile Actuation. Есть еще такой интересный момент. Звучит просто: если у устройства есть какой-то физический рычаг, возможность внести изменения в физическую среду, то надо задать себе несколько вопросов. Что будет, если это устройство будет взломано? Что будет, если оно неправильно воспримет входные данные? Что будет, если случится сбой, галлюцинация, что угодно с агентным AI?

Несколько примеров из прошлого. Первый пример — из конца года, когда роботы-пылесосы Ecovacs показали, что их можно ломать традиционными методами. Полно дыр, полно уязвимостей, и удаленно можно управлять, в принципе, делать все что угодно. Было несколько десятков инцидентов от пользователей, которые говорили о том, что роботы-пылесосы у них в домах начинали вести себя неадекватным образом. Некоторые из них высказывали расистские высказывания. Это говорило о том, что через камеру те, кто ими управлял, видели, с кем общаются.

То есть по-прежнему традиционная угроза, связанная с уязвимостями, актуальна.

Второй пример — это 2025 год, FlightTrap. Исследователи показали, что коммерческие дроны, доступные на рынке, можно обмануть с помощью специального зонта. В режиме, когда дрон должен следить за объектом, с помощью специального зонта и специального рисунка можно обмануть его физический сенсор. Он неправильно начнет воспринимать расстояние до объекта, начнет опускаться, и в конечном итоге исследователи могут просто поймать его рукой.

И 2025 год, еще один кейс с физическим восприятием реальности — обман LiDAR. До этого такие кейсы тоже проводились, но либо на малых скоростях, либо без движения. Здесь смогли показать, что на скорости движения коммерческого робоавтомобиля в 60 километров в час можно добиться обмана LiDAR так, что он решит, что перед ним нет препятствия.

Более того, было показано, что это может привести к столкновению с реальным объектом, потому что тормозной путь на скорости 60 километров в час — 20 метров. Можно так заспуфить, что расстояние до реального объекта будет меньше 20 метров, а LiDAR будет поставлять данные принимающей решение системе о том, что объекта нет. Физический сенсор тоже может быть объектом, который нужно перепроверять.

Последний домен, о котором сейчас хотел бы рассказать, касается окружающего пространства и живых объектов вокруг нас: Domain 5: Bystanders. В 2025 году, по-моему, показали, что к умным очкам коммерчески доступной компании M можно прикрутить разные плагины, которые позволят в режиме реального времени идентифицировать людей, которых эти очки видят. Соответственно, это такое проникновение в частную жизнь.

Одновременно можно поставить мод, который заглушит индикатор, показывающий, что сейчас происходит съемка. Все это пошумело какое-то время.

В 2026 году началась новая волна: сейчас на компанию давят и законодатели, и общественность. Было показано, что все, что снимается этими камерами, дальше попадает к людям-аннотаторам. Соответственно, там оказываются совершенно разные сцены про людей, которые не подозревали, что их снимают. Давление на компанию сильное, но она, традиционно, очень здорово сопротивляется.

Сейчас я пытаюсь собрать эту модель, которую называю Environmental Agentic Threat Model, EATM. И я вижу ее как первый шаг перед применением любой другой традиционной модели, но применительно к умным устройствам с agentic AI.

Первый вопрос, который нужно задать, то есть такой набор чек-листов: какие входы и физические каналы являются недоверенными? Если есть доверенные, то надо очень внимательно посмотреть, как доверенный сигнал попадает дальше на планирование.

Кто может изменить внешнюю среду? Кто в этот физический канал ввода информации может передавать данные? Если это может делать человек, который находится в нескольких метрах, в десяти метрах от устройства, стоит серьезно задуматься о том, что делать с этой угрозой на этапе планирования.

Интерпретация — интереснейший слой. Как разделить то, что является описательной частью мира, передаваемой модели, от того, что является инструкцией? Кажется, что это надо делать архитектурно, а не полагаться на то, что модель сама разберется, где знак, которому нужно следовать, а где инструкция, которая сейчас в поиске.

Права традиционно нужно проверять, чтобы они были контекстными и минимальными. Наверное, нужно ограничивать: например, не открывать окна, если владельца дома нет, или делать дополнительную человеческую проверку.

Это переходит к следующему шагу. Мы все хотим, производители все хотят, вендоры все хотят, чтобы устройства были полностью автономными и принимали решения без подтверждения со стороны человека. Но наверняка есть куча действий, по которым нужно обязательно запрашивать подтверждение владельца главного устройства: какие-то необратимые физические действия, действия по отношению к окружающим, действия, связанные с серьезным финансовым ущербом.

Наконец, как бы это ни было сложно или, может быть, даже к митапу неинтересно, нужно думать о рисках для окружающих. Например, в одном из memory-logging-устройств у производителя было написано, что вы должны обязательно опросить и получить явное подтверждение всех тех, кто попадает в эту запись. Такая мера — скорее мера-отмазка.

Memory-logging-устройства вообще очень интересные. Вендорам они, конечно, очень интересны. Нам с вами они нужны для того, чтобы, наверное, ничего не забывать. А вендорам, особенно в виде интереса Amazon, они нужны для того, чтобы собирать как можно больше контекста о жизни и потом, если это коммерческая экосистемная компания, правильно предлагать товары и услуги.

Здесь не могу удержаться и немножко отфоркаться к мысли Сергея Гордейчика на панели о том, что будет, если оцифровать полностью [неразборчиво] Баранова. Memory-logging-устройства как раз про это. Если это станет трендом, если туда будут вести вендоры, они позволяют, в принципе, оцифровать большую часть жизни и использовать это прямо сейчас.

Либо использовать это еще в одном интересном применении, которое у меня в презентации отсутствует. Называется цифровое посмертное присутствие. У китайцев этого сейчас немало. Буквально доходит до футурамовских колб с головами, где есть оцифрованная личность ушедшего человека, с ней можно общаться. Какие-то когнитивные и эмоциональные следы человека, которые остались, модель сейчас, в принципе, неплохо повторяет.

Минимальные контроли, которые здесь есть: минимальные права, подтверждение человеком, дизайн с учетом влияния на окружающий мир — не только на людей, на животных тоже, конечно. Проверяемые controls. И очень важно, я здесь не успеваю рассказать, иметь black box в паттерне, чтобы понимать, почему агент то или иное действие произвел.

Завершая свой рассказ, хочу еще раз сказать: девять лет назад была эпидемия, последняя глобальная эпидемия, которая затронула, по-моему, 200 тысяч компьютеров по всему миру. Называлась она WannaCry, и тогда она привела к достаточно печальным последствиям, потому что это был шифровальщик, который не расшифровывал, соответственно, по сути дела вайпер.

С тех пор ничего такого — ну, Petya еще был, конечно, — ничего такого большого и серьезного не было. Но это не значит, что этого не произойдет еще раз. Тем более если посмотреть на то, как происходили IoT-атаки: какой-нибудь Mirai, который я упоминал, миллионы камер с дефолтными паролями.

Сейчас огромное давление со стороны индустрии. Все хотят в этот домен зайти. Как говорил Денис Баранов, новая возможность — все пытаются захватить как можно большую часть рынка. Многие рассчитывают на agentic AI: что он умный, сам все решит. Мне кажется, это создает не очень хорошие предпосылки для того, чтобы не появилось что-то печальное.

AI переходит в физический мир, мир, в котором эти объекты могут попасть [неразборчиво]. Не хочется говорить страшилок или не представляя вендора, поэтому нет смысла рассказывать какие-то страшилки и продукты. Но в целом всегда это выглядит тревожно, когда умные устройства могут управляться извне и в больших масштабах.

Спасибо. Готов ответить на ваши вопросы. Но я, наверное, сильно из тайминга выбился.

— Сильно, да? Вы решайте.

— Давайте.

— Я вас уже оцифровал. Ваш вопрос просимулировал, ответ тоже продюсировал.

— Да-да-да, почему ты всегда [неразборчиво]. Ну ладно. Смотри, если вы слышите, что существует, у тебя вот эта вот линеечка, она прямо очень знакомая. То есть что ты считаешь здесь принципиально новым? Sensing, понятно. А что такое environment — цена передачи? Манипуляция: не мешайте данные с инструкциями и так далее.

— Зеленый случай, что оранжевый — мой любимый свет, это цвета моей свадьбы. Поэтому это за что.

Вообще говоря, это такая композитная модель, в которой, наверное, каждый элемент вряд ли сам по себе новый. Даже вот bystanders, про который все забывают. Во-первых, наверное, ее польза в том, чтобы попробовать использовать, и надо использовать ее вместе с любой традиционной моделью.

Во-вторых, судя по тому, какие постоянно появляются проблемы с этими умными устройствами, такими базовыми механизмами не пользуются. Я долго над этим рассуждал. Мне кажется, почему мне не удалось найти подход, который бы помог правильно моделировать референсное DFD перед моделированием, допустим, по STRIDE? Наверное, потому что каждый большой вендор придерживается какого-то своего подхода.

В других вендорах возможно то, о чем рассказывали на панельной дискуссии: разные департаменты между собой не очень взаимодействуют. Кто-то делает умные пылесосы по своим каналам, кто-то делает умные колонки по своим каналам, и не факт, что это хороший идеальный best practice у каждого из них.

Отвечая на вопрос: вряд ли тут есть что-то новое по отдельности, но собрать это все вместе, наверное, можно еще как-то расширить. Пока я пришел к такому виду. Используя это для умных устройств, мне кажется, можно [неразборчиво] чекать. Надо, конечно, с кем-то повзаимодействовать из разработчиков, так можно сказать.

— А как сделать такой чек-лист для наших редакторов? Как сделать теперь безопасный?

— Он есть в paper, он есть как дополнение. Во-первых, половину из тех кейсов, о которых я говорил, их 25, я осмотрел около пяти. Я прогнал через традиционные модели, в первую очередь чтобы понять, как это будет покрываться. Честно говоря, покрывается, просто многие этапы покрываются на этапе моделирования рисков.

И вот здесь получается, что многие угрозы выносятся до моделирования рисков. Многие темы, о которых надо подумать, оказываются на входе у этой модели. С ними нужно уже не забыть про bystanders, они уже есть на входе. Такой прогон есть. В принципе, я собирался его на GitHub положить, когда станет это чуть-чуть более законченным [неразборчиво]. Я, конечно, это сделаю.

Спасибо.

Неоднозначные места:
- Точная фамилия/имя коллеги из HiddenLayer: в raw звучит как «Марта Яна Сочи», нужно сверить по звуку или источникам.
- Устройство/термин в примере с микрофонами: raw дает «в луну со стресс», место неразборчиво.
- Фраза про робота Samsung «в квартире [неразборчиво]» требует сверки со звуком.
- В примере Memory Poisoning неразборчиво, какое действие разрешается доверенному вендору.
- Фраза про «оцифровать полностью [неразборчиво] Баранова» требует сверки.
- В финале фраза «мир, в котором эти объекты могут попасть [неразборчиво]» требует сверки.
- Реплика из зала после шутки про оцифрованный вопрос частично неразборчива.
- В ответе на вопрос неразборчива фраза «можно [неразборчиво] чекать» и финальное слово после «более законченным».