Мы живем в эпоху, когда большинство компаний активно внедряют искусственный интеллект как вспомогательный инструмент: чат-боты, автоматические ответы, поиск информации, перевод документов.
Ситуация при этом постоянно меняется: многие ИИ-решения уже не просто ассистируют сотруднику или клиенту, а самостоятельно анализируют данные, формируют рекомендации, принимают решения или запускают бизнес-процессы. Например, рекомендуют выдачу кредита, ранжируют кандидатов или влияют на доступ пользователя к услуге без непосредственного участия человека.
Именно в этот момент возникает регуляторный риск. Что же делать бизнесу? Рассказывает юрист компании REVERA Александра Маглыш.
Когда ассистент становится Агентом?
Компания может считать свою систему обычным ИИ-ассистентом, хотя на практике она уже обладает высокой степенью автономности либо влияет на права, свободы и законные интересы физических лиц.
Например:
- HR-система самостоятельно ранжирует кандидатов;
- банковская ИИ-модель автоматически принимает решение по кредитной заявке;
- страховая ИИ-система определяет вероятность мошенничества и запускает отказ в выплате;
- ИИ ограничивает доступ пользователя к сервису или услуге.
Во всех этих случаях речь идет уже не просто об автоматизации бизнес-процессов, а о системах, которые могут влиять на положение человека, его доступ к услугам, финансированию или трудовым возможностям.
Именно поэтому различие между ИИ-ассистентом и ИИ-агентом становится вопросом не терминологии, а управления юридическими рисками.
При этом для Казахстана важно учитывать: понятия «ИИ-ассистент» и «ИИ-агент» удобны для практической оценки продукта, но не являются самостоятельными юридическими категориями. Закон РК «Об искусственном интеллекте» использует классификацию систем по степени риска и степени автономности. Поэтому автономный ИИ-агент не всегда является системой высокого риска, а менее сложная система может требовать усиленного контроля, если ее решения существенно затрагивают права или законные интересы человека.
Почему важно различать ИИ-ассистента и ИИ-агента?
Практически каждая крупная компания сегодня использует ИИ-инструменты. Однако далеко не все ИИ-системы одинаковы с точки зрения законодательства.
Основа современного регулирования – риск-ориентированный подход. Чем выше автономность ИИ-системы и чем сильнее она влияет на человека, тем больше требований может предъявляться к разработчику, владельцу, поставщику и организации, которая внедряет такую систему.
Неверная классификация может привести к:
- дополнительным расходам на доработку продукта;
- претензиям пользователей;
- репутационным потерям;
- рискам нарушения требований о персональных данных;
- административной и иной ответственности, предусмотренной применимым законодательством.
В контексте европейского рынка к этому перечню также добавляются риски несоблюдения GDPR и EU AI Act.
Согласно EU AI Act, штраф до 35 млн евро или 7% мирового годового оборота применяется к наиболее серьезным нарушениям – в частности, к нарушениям запрета на определенные ИИ-практики. Этот максимальный уровень санкции не применяется автоматически к каждому нарушению требований к высокорисковым системам.
Поэтому главный вопрос для бизнеса звучит не «Используем ли мы ИИ?», а «Насколько самостоятельно наша система принимает решения, может ли человек пересмотреть их и как эти решения влияют на пользователей?».
Как определить тип системы?
Ключевыми критериями являются:
- степень автономности системы;
- наличие реального человеческого контроля;
- возможность отменить или изменить результат;
- влияние решения на права, свободы и законные интересы человека;
- характер обрабатываемых данных, в том числе персональных данных.
ИИ-ассистент
Ассистент, как правило, является инструментом пользователя. Его основные признаки:
- работает по запросу пользователя;
- выполняет отдельные задачи;
- действует в заранее определенных рамках;
- формирует информацию, черновик, перевод или рекомендацию;
- пользователь может проверить, изменить или не использовать результат;
- система обычно не принимает самостоятельных решений, непосредственно влияющих на права человека.
Примеры ассистентов:
- чат-бот для записи к врачу;
- корпоративный ИИ-помощник для поиска информации во внутренних системах;
- ИИ-переводчик;
- система, которая помогает рекрутеру подготовить текст вакансии.
Примеры агентов:
ИИ-агент обладает большей степенью автономности. Он способен:
- анализировать ситуацию и данные из нескольких источников;
- использовать прогнозные модели;
- самостоятельно выбирать дальнейшее действие в пределах заданных правил;
- запускать процессы;
- принимать решения либо фактически предопределять их;
- адаптироваться к новым данным.
Наиболее важный критерий – последствия работы системы могут затрагивать права, свободы или законные интересы человека.
Главное различие: ИИ-ассистент – посредник между человеком и информацией. ИИ-агент – участник процесса принятия решений.
В Казахстане дополнительно важно оценивать, к какой категории относится система по степени автономности. Низкоавтономная система формирует рекомендации, но решение принимает человек. Среднеавтономная система принимает решение самостоятельно, однако человек может его изменить или отменить. Для высокоавтономной системы возможность корректировки или отмены решения человеком отсутствует.
Кейсы из практики
Банковская сфера: чат-бот банка и кредитный скоринг
Если клиент спрашивает у чат-бота банка об условиях кредита, а бот показывает тарифы и отвечает на сопутствующие вопросы, это обычно ИИ-ассистент.
Если ИИ-система анализирует сведения о клиенте и формирует рекомендацию кредитному менеджеру, нужно проверить, является ли решение сотрудника самостоятельным и может ли он реально отклонить рекомендацию модели.
Если система автоматически отказывает в выдаче кредита, устанавливает лимит или блокирует дальнейшее рассмотрение заявки, она может затрагивать законные интересы клиента. В такой ситуации необходимо учитывать правила об автоматизированной обработке персональных данных.
HR и рекрутинг
Если ИИ помогает рекрутеру составить описание вакансии, это ИИ-ассистент.
Если система автоматически ранжирует кандидатов и отсеивает часть из них до участия человека, уровень риска существенно возрастает. Компании необходимо проверить законность обработки персональных данных, риск дискриминационного эффекта, возможность пересмотра результата человеком и наличие достаточной прозрачности для кандидатов.
Какие регуляторные риски возникают?
Персональные данные
И ассистенты, и агенты могут обрабатывать персональные данные. Поэтому компания должна соблюдать требования Закона РК «О персональных данных и их защите», включая законность обработки, наличие необходимого согласия или иного предусмотренного законом основания, защиту данных и соблюдение прав субъектов данных.
Особое значение имеет автоматизированная обработка. Если в результате автоматизированной обработки у человека возникают, изменяются или прекращаются права или законные интересы, такая обработка допускается при наличии согласия субъекта либо иного основания, прямо предусмотренного законом. Субъекту должны быть разъяснены порядок обработки и ее возможные последствия, а также предоставлена возможность заявить возражение.
На практике это означает, что при автоматическом отказе в кредите, исключении кандидата, отказе в выплате или блокировке доступа к сервису компании следует предусмотреть процедуру пересмотра результата и канал для обращения пользователя.
Хранение и передача данных
При подключении внешних ИИ-платформ, LLM, облачных сервисов и API необходимо определить, какие данные направляются поставщику и где они хранятся.
Персональные данные должны храниться в базе данных, находящейся на территории Казахстана. Трансграничная передача допускается только при соблюдении предусмотренных законом условий.
До использования внешнего ИИ-сервиса рекомендуется проверить:
- содержат ли промпты и загружаемые документы персональные данные;
- включают ли они коммерческую, банковскую, медицинскую или иную охраняемую законом тайну;
- где поставщик хранит запросы, ответы и логи;
- использует ли поставщик переданные данные для обучения модели;
- предусмотрены ли договорные гарантии конфиденциальности и информационной безопасности.
Требования Закона РК «Об искусственном интеллекте»
Закон РК «Об искусственном интеллекте» основан на принципе приоритета человека, его прав и законных интересов. Он предусматривает обязанности по управлению рисками, обеспечению безопасности, документации и поддержке пользователей со стороны собственников и владельцев систем ИИ.
Закон также запрещает отдельные ИИ-практики, включая системы, направленные на манипулятивное воздействие, эксплуатацию уязвимости человека, незаконную обработку персональных данных, дискриминационную классификацию на основе биометрических данных, а также определение эмоций без согласия — кроме случаев, прямо предусмотренных законодательством.
Поэтому автоматизация сама по себе не запрещена. Однако, чем сильнее система влияет на человека и чем меньше возможностей для человеческого контроля, тем более тщательно необходимо оценивать ее законность, безопасность и последствия.
GDPR и EU AI Act
Для компаний, работающих с европейскими клиентами, имеющих представительства в ЕС или предлагающих продукты на европейском рынке, GDPR и EU AI Act могут применяться независимо от страны регистрации.
В частности, системы, применяемые в сфере занятости или при доступе к определенным услугам, включая кредитный скоринг, могут относиться к категории высокорисковых по EU AI Act.
Для таких систем могут быть важны управление рисками, качество данных, документация, логирование, прозрачность и человеческий контроль. Поэтому оценивать уровень автономности и правовые последствия ИИ-системы целесообразно уже на этапе проектирования продукта.
Кто несет ответственность?
Если система используется как вспомогательный инструмент, ответственность может возникать у пользователя, допустившего ошибку при использовании результата. Однако это не освобождает компанию от обязанности организовать безопасное внедрение системы, ограничить недопустимые сценарии, обеспечить контроль и защиту данных.
Если ущерб возник вследствие ошибки модели, предвзятости данных, недостатков интеграции, отсутствия контроля или незаконной обработки данных, ответственность может затронуть собственника, владельца, разработчика, поставщика, интегратора и организацию, использующую систему.
Именно поэтому договоры с поставщиками ИИ, внутренние правила использования и распределение ролей в компании становятся частью управления рисками.
Практические рекомендации
Даже если система не относится к высокорисковым, компании целесообразно провести внутреннюю оценку до ее запуска.
Что следует сделать:
1. Составить реестр всех ИИ-систем и внешних ИИ-поставщиков, используемых в компании.
2. Определить, какие системы формируют рекомендации, а какие самостоятельно принимают решения или запускают действия.
3. Оценить степень риска и автономности каждой системы.
4. Проверить, влияют ли результаты на права, доступ к услугам, финансовое положение или карьерные возможности людей.
5. Установить, может ли сотрудник реально пересмотреть, изменить или отменить решение до наступления последствий.
6. Проверить, обрабатывает ли система персональные данные и имеется ли законное основание для такой обработки.
7. Организовать журналирование значимых решений и действий системы.
8. Документировать используемые модели, источники данных, ограничения и изменения системы.
9. Проверить, где хранятся персональные данные, промпты и логи, в том числе при использовании внешних облачных сервисов.
10. Установить порядок рассмотрения обращений и возражений пользователей в отношении автоматизированных решений.
11. Провести юридическую и техническую оценку соответствия законодательству Казахстана, а при необходимости – GDPR и EU AI Act.
Вывод
Разделение на ИИ-ассистентов и ИИ-агентов полезно для первичной оценки продукта, но не заменяет юридическую классификацию, предусмотренную законодательством Казахстана.
Основной вопрос для компании состоит не в том, как называется ее инструмент, а в том, насколько автономно он действует, может ли человек контролировать и отменять его решения, какие данные он использует и как результаты работы системы влияют на права и законные интересы людей.
ИИ-ассистент может создавать значимые риски при обработке персональных данных или передаче информации внешнему поставщику. ИИ-агент не всегда является высокорисковым, но требует более тщательной оценки, если он самостоятельно принимает либо фактически предопределяет решения с существенными последствиями для человека.
