Как ИИ-агенты проверяют друг друга: роль «Судьи» в платформе ИСКРА
Взгляд R&D.Pro
Развитие искусственного интеллекта сегодня определяется не только появлением новых моделей.
Не менее важной становится архитектура взаимодействия между ними.
Если раньше основная задача заключалась в том, чтобы создать одного максимально универсального помощника, то сегодня становится очевидно: гораздо эффективнее распределять обязанности между несколькими специализированными ИИ-агентами, каждый из которых отвечает за собственную область.
Именно такой подход позволяет создавать надёжные корпоративные ИИ-системы, способные работать со сложными бизнес-процессами.
Не менее важной становится архитектура взаимодействия между ними.
Если раньше основная задача заключалась в том, чтобы создать одного максимально универсального помощника, то сегодня становится очевидно: гораздо эффективнее распределять обязанности между несколькими специализированными ИИ-агентами, каждый из которых отвечает за собственную область.
Именно такой подход позволяет создавать надёжные корпоративные ИИ-системы, способные работать со сложными бизнес-процессами.
Почему именно так развивается корпоративный ИИ
Развитие искусственного интеллекта сегодня определяется не только появлением новых моделей.
Не менее важной становится архитектура взаимодействия между ними.
Если раньше основная задача заключалась в том, чтобы создать одного максимально универсального помощника, то сегодня становится очевидно: гораздо эффективнее распределять обязанности между несколькими специализированными ИИ-агентами, каждый из которых отвечает за собственную область.
Именно такой подход позволяет создавать надёжные корпоративные ИИ-системы, способные работать со сложными бизнес-процессами.
Не менее важной становится архитектура взаимодействия между ними.
Если раньше основная задача заключалась в том, чтобы создать одного максимально универсального помощника, то сегодня становится очевидно: гораздо эффективнее распределять обязанности между несколькими специализированными ИИ-агентами, каждый из которых отвечает за собственную область.
Именно такой подход позволяет создавать надёжные корпоративные ИИ-системы, способные работать со сложными бизнес-процессами.
Сегодня один «Судья». Завтра — целая коллегия
Архитектура ИСКРА постоянно развивается.
Сегодня контроль качества выполняет один специализированный ИИ-агент.
Однако по мере усложнения сценариев эта роль может быть разделена между несколькими независимыми агентами.
Например:
Такой подход позволяет построить многоуровневую систему контроля качества, где итоговый ответ проходит несколько независимых проверок ещё до того, как попадёт пользователю.
Сегодня контроль качества выполняет один специализированный ИИ-агент.
Однако по мере усложнения сценариев эта роль может быть разделена между несколькими независимыми агентами.
Например:
- один будет контролировать использование инструментов;
- второй — проверять корректность логики выполнения задачи;
- третий — оценивать соответствие корпоративным регламентам;
- четвёртый — анализировать полноту полученного результата.
Такой подход позволяет построить многоуровневую систему контроля качества, где итоговый ответ проходит несколько независимых проверок ещё до того, как попадёт пользователю.
Как «Судья» помогает бороться с галлюцинациями ИИ
Одной из известных особенностей современных больших языковых моделей являются так называемые галлюцинации ИИ — ситуации, когда модель формирует правдоподобный ответ даже при отсутствии необходимых данных.
В корпоративной среде подобное поведение недопустимо.
Поэтому одна из задач «Судьи» — проверить не только сам ответ, но и убедиться, что исполнитель действительно использовал все необходимые инструменты для получения информации.
Конечно, подобная проверка не устраняет галлюцинации полностью.
Но она значительно снижает вероятность появления ответов, построенных на догадках вместо фактических данных.
Именно поэтому в ИСКРА контроль начинается ещё до того, как пользователь увидит итоговый результат.
В корпоративной среде подобное поведение недопустимо.
Поэтому одна из задач «Судьи» — проверить не только сам ответ, но и убедиться, что исполнитель действительно использовал все необходимые инструменты для получения информации.
Конечно, подобная проверка не устраняет галлюцинации полностью.
Но она значительно снижает вероятность появления ответов, построенных на догадках вместо фактических данных.
Именно поэтому в ИСКРА контроль начинается ещё до того, как пользователь увидит итоговый результат.
Что именно проверяет «Судья»
«Для решения этой задачи необходимо было воспользоваться поиском в интернете. Повтори выполнение и используй этот инструмент.»
Таким образом система не позволяет ИИ-агенту ограничиться предположениями там, где требуются реальные данные.
Для выполнения такого запроса ИИ-агент обязан воспользоваться инструментом поиска в интернете.
Если ответ был сформирован без обращения к поиску, «Судья» определяет, что задача выполнена не полностью.
Он не исправляет ответ самостоятельно.
Вместо этого он возвращает задачу исполнителю и сообщает, что необходимо повторить выполнение с использованием нужного инструмента.
Фактически логика выглядит очень просто:
Если ответ был сформирован без обращения к поиску, «Судья» определяет, что задача выполнена не полностью.
Он не исправляет ответ самостоятельно.
Вместо этого он возвращает задачу исполнителю и сообщает, что необходимо повторить выполнение с использованием нужного инструмента.
Фактически логика выглядит очень просто:
Во время проверки «Судья» получает три набора информации:
После этого он сопоставляет все три части между собой.
Например, пользователь просит:
- какие инструменты были доступны исполнителю;
- какими инструментами он действительно воспользовался;
- какую задачу необходимо было решить.
После этого он сопоставляет все три части между собой.
Например, пользователь просит:
Один ИИ-агент работает, а другой — проверяет
Представьте обычную рабочую ситуацию.
Один сотрудник выполняет задачу.
Другой проверяет результат.
Третий убеждается, что были использованы все необходимые источники информации и соблюдены внутренние регламенты.
В ИСКРА происходит похожий процесс.
После того как основной ИИ-агент завершает выполнение запроса, к работе подключается ещё один специализированный ИИ-агент — «Судья».
Его задача — не отвечать пользователю, а проверить, насколько корректно была выполнена работа другим агентом.
Один сотрудник выполняет задачу.
Другой проверяет результат.
Третий убеждается, что были использованы все необходимые источники информации и соблюдены внутренние регламенты.
В ИСКРА происходит похожий процесс.
После того как основной ИИ-агент завершает выполнение запроса, к работе подключается ещё один специализированный ИИ-агент — «Судья».
Его задача — не отвечать пользователю, а проверить, насколько корректно была выполнена работа другим агентом.
Когда говорят об искусственном интеллекте, чаще всего представляют одного универсального помощника, который способен ответить практически на любой вопрос.
Однако при создании корпоративных ИИ-систем такой подход быстро начинает упираться в ограничения.
Чем сложнее становится задача, тем выше требования к качеству результата. Уже недостаточно просто получить ответ — важно убедиться, что он сформирован правильно, основан на достоверных данных и с использованием всех необходимых инструментов.
Именно поэтому современные корпоративные ИИ-системы всё чаще строятся по принципу команды специалистов, где каждый ИИ-агент отвечает за свою область ответственности.
Такой подход называется мультиагентной архитектурой, и именно по этому принципу развивается платформа ИСКРА.
Однако при создании корпоративных ИИ-систем такой подход быстро начинает упираться в ограничения.
Чем сложнее становится задача, тем выше требования к качеству результата. Уже недостаточно просто получить ответ — важно убедиться, что он сформирован правильно, основан на достоверных данных и с использованием всех необходимых инструментов.
Именно поэтому современные корпоративные ИИ-системы всё чаще строятся по принципу команды специалистов, где каждый ИИ-агент отвечает за свою область ответственности.
Такой подход называется мультиагентной архитектурой, и именно по этому принципу развивается платформа ИСКРА.
«Найди в интернете самый последний скандал, связанный с искусственным интеллектом.»