Госорганам запретят бесконтрольно использовать искусственный интеллект

ФСТЭК предлагает новые правила безопасности для государственных организаций и учреждений, которые используют искусственный интеллект в своих информационных системах.

Главная идея такая: искусственный интеллект может стать новым способом украсть данные, обойти защиту или повлиять на работу государственной системы. Поэтому его использование нужно отдельно контролировать и защищать.

Если приказ примут в этой редакции, он начнет действовать с 1 марта 2027 года.

Что конкретно изменится

1. Для использования ИИ понадобятся отдельные внутренние правила

Государственные органы, учреждения и предприятия должны будут подготовить документ, в котором будет описано:

• кто может пользоваться ИИ;
• какие данные можно ему передавать;
• что ИИ разрешено делать;
• как проверяются его ответы и действия;
• кто отвечает за нарушения;
• что делать в случае утечки данных или другой проблемы.

То есть использовать ИИ без заранее установленных правил будет нельзя.

2. ИИ придется отделить от остальной системы

Модели искусственного интеллекта нужно будет размещать в отдельной, защищенной части информационной системы.

Простая аналогия: ИИ предлагают не оставлять «в общем помещении», а поместить в отдельную комнату с контролируемыми дверями.

Это нужно для того, чтобы в случае взлома или неправильной работы ИИ проблема не распространилась на всю информационную систему.

3. Доступ к ИИ будет строго ограничен

Организация должна будет определить, кто и что может делать с ИИ.

Каждый сотрудник должен получить только те права, которые ему действительно нужны. Например:

• обычный пользователь сможет отправлять запросы;
• специалист — менять отдельные настройки;
• администратор — управлять системой.

Особо важный, административный доступ должен будет подтверждаться несколькими способами — например, паролем и одноразовым кодом.

4. Действия пользователей будут записываться

Организации должны будут сохранять сведения о том:

• кто обращался к ИИ;
• когда это происходило;
• какие действия выполнялись;
• какие настройки изменялись.

Эти записи нужно будет анализировать, чтобы выявлять подозрительные действия и расследовать инциденты.

Проще говоря, у системы должен появиться своеобразный «журнал посещений и действий».

5. Запросы к ИИ и его ответы придется проверять

Особые меры вводятся, если ИИ:

• работает с секретной, персональной или иной информацией ограниченного доступа;
• выполняет важные функции организации.

В таких случаях нужно будет фильтровать:

• информацию, которую пользователь отправляет ИИ;
• ответы, которые выдает ИИ.

Например, система должна препятствовать ситуации, когда сотрудник случайно отправляет внешнему ИИ закрытый документ или когда ИИ включает персональные данные в свой ответ.

6. Количество запросов могут ограничивать

Для пользователей смогут устанавливать лимиты на обращения к ИИ.

Это необходимо, чтобы:

• не перегружать систему;
• не позволять массово подбирать запросы для обхода защиты;
• не допускать бесконтрольного расходования ресурсов;
• быстрее замечать подозрительную активность.

7. Возможности ИИ нужно будет ограничивать

Организация должна заранее определить, что ИИ разрешено делать, а что запрещено.

Например, ИИ можно разрешить:

• готовить черновики документов;
• искать информацию;
• делать краткие пересказы.

Но при этом запретить ему самостоятельно:

• удалять файлы;
• изменять государственные реестры;
• отправлять сообщения от имени должностного лица;
• выдавать пользователям права доступа;
• запускать программы и команды.

Основной принцип: ИИ не должен иметь больше возможностей, чем необходимо для его задачи.

8. Особое внимание уделяется ИИ-агентам

ИИ-агент — это программа, которая не только отвечает на вопросы, но и может самостоятельно выполнять действия: обращаться к базам данных, создавать документы, запускать команды, отправлять сообщения или менять записи.

Для таких агентов потребуется:

• строго определить полномочия;
• ограничить доступ к данным и системам;
• контролировать их действия;
• не допускать несанкционированного воздействия на государственные ресурсы.

Иными словами, ИИ-агента нужно будет контролировать почти так же, как отдельного сотрудника или служебную учетную запись.

9. Правила распространятся и на внешние ИИ-сервисы

Если государственная организация пользуется ИИ-сервисом сторонней компании, она должна заранее определить требования безопасности для подрядчика.

Например:

• какие данные подрядчику можно передавать;
• где они будут храниться;
• может ли подрядчик использовать их для обучения своей модели;
• кто получит к ним доступ;
• что произойдет с данными после завершения договора;
• как подрядчик должен сообщать об утечках и сбоях.

То есть нельзя будет просто подключить сторонний ИИ-сервис и передавать ему служебные данные без установленных правил защиты.

Зачем это делается

ИИ создает новые риски. Например:

• сотрудник может случайно передать в ИИ закрытую информацию;
• злоумышленник может специальными запросами заставить ИИ раскрыть данные;
• ИИ может выдать пользователю информацию, которую тот не должен видеть;
• автономный агент может удалить или изменить важные сведения;
• через уязвимость в ИИ можно попытаться проникнуть в другие части системы;
• внешний сервис может сохранить или использовать переданные ему данные.

Проект должен снизить вероятность таких ситуаций.

Кого это затронет

В первую очередь изменения касаются:

• государственных органов;
• государственных учреждений;
• государственных унитарных предприятий;
• владельцев и операторов соответствующих информационных систем;
• подрядчиков, которые предоставляют этим организациям ИИ-сервисы.

Обычных граждан проект напрямую практически не затрагивает. Но косвенно он должен лучше защищать их данные, если государственные организации используют ИИ для их обработки.

Что это означает для сотрудников

Для обычного работника могут появиться:

• правила использования ИИ;
• запрет на передачу определенных документов и данных;
• вход с дополнительным подтверждением;
• ограничения количества запросов;
• запись действий в системе;
• перечень разрешенных ИИ-сервисов;
• ответственность за использование неразрешенных публичных сервисов.

Например, сотруднику могут запретить загружать служебный документ в общедоступный чат-бот и обязать использовать только внутренний защищенный ИИ.

Возможные недостатки проекта

Текст пока не дает точных ответов на некоторые вопросы:

• насколько отдельно должен быть размещен ИИ;
• какие именно запросы и ответы нужно блокировать;
• что считать «значимой функцией»;
• какие внешние сервисы разрешены;
• как именно проверять действия автономного агента.

Кроме того, выполнение требований может потребовать денег на оборудование, программы защиты, настройку систем и обучение сотрудников. Поэтому заявление пояснительной записки о том, что проект не приведет к дополнительным расходам, выглядит не вполне убедительно.

В тексте также есть явная опечатка: вместо «должен осуществляться» написано «доложен осуществляться».

Самое главное одним абзацем

Государственным организациям разрешат использовать ИИ только при наличии специальных правил безопасности. Сам ИИ потребуется изолировать от основной системы, доступ к нему — ограничивать, действия пользователей — записывать, а запросы и ответы — проверять. Особенно строго будут контролироваться ИИ, работающий с закрытыми данными, и автономные агенты, способные самостоятельно что-либо менять или запускать. Цель проекта — не допустить утечек информации и опасных действий ИИ.