ChatBI: Что это на самом деле и как его успешно внедрить?

ChatBI — одна из самых обсуждаемых тем. Наряду с корпоративными базами знаний и системами вопросов и ответов, это одно из немногих приложений на основе больших языковых моделей (LLM), которое может быть реализовано в B2B-сегменте с относительно низкими затратами. Многие компании уже начали изучать ChatBI, однако большинство считает, что технология еще не достигла зрелости, и предпочитают занимать выжидательную позицию.

В этой статье мы разберем, что такое ChatBI, какие технические решения стоит выбирать, как подготовиться к успешному внедрению и какие ошибки можно избежать на примере работы над внедрением инструмента в FanRuan.

Выбор технического решения

Почему LLM для написания SQL — ненадежный подход. Использование LLM для генерации SQL-запросов может показаться удобным, но на практике это ненадежно. Проблемы возникают в трех ключевых аспектах: точность, производительность и доверие.

Точность

Для бизнес-пользователей точность ответов должна быть не ниже 75–80%. Однако LLM часто страдают от галлюцинаций. Это особенно критично при работе со структурированными данными, где ошибки недопустимы.
Примеры проблем:

• Ошибки в понимании времени.
• Логические ошибки в сортировке.
• Ошибки в подзапросах.
• Неправильное понимание связей между таблицами.

Решение FineChatBI:
Вместо генерации SQL мы используем LLM для преобразования вопросов пользователя в структурированные запросы. Затем эти запросы обрабатываются через OLAP-анализ и визуализируются с помощью FineBI. Это значительно повышает точность результатов.

Производительность

Среднее время ответа для Text2SQL-решений составляет 6–15 секунд, что для пользователей слишком долго. Мы считаем, что максимальное время ответа не должно превышать 3 секунды.

Решение FineChatBI:
Мы используем компактную модель для анализа семантики, что позволяет сократить время ответа до 0,2 секунды для четких запросов и до 2 секунд для нечетких.

Доверие

Ошибки в ChatBI неизбежны, но важно, чтобы пользователи могли быстро их исправлять. Text2SQL-решения показывают пользователям SQL-запросы, что неудобно для бизнес-пользователей.

Решение FineChatBI:
Мы предоставляем пользователям понятные правила генерации графиков. Они могут самостоятельно настраивать параметры, такие как измерения, показатели и условия группировки, что упрощает исправление ошибок.

Условия успешного внедрения ChatBI

ChatBI не работает "из коробки". Для успешного внедрения ChatBI необходимо соблюдение трех условий:

• Реальные сценарии использования
  Найдите в компании реальные задачи, которые можно решить с помощью ChatBI. Проведите интервью с бизнес-командой, чтобы понять их потребности и боли.
• Подготовка данных и знаний
  LLM не подходит для обработки данных без предварительной подготовки! Подготовьте широкую таблицу данных или используйте платформу управления показателями. Настройте синонимы и другие уникальные для компании знания (например, "Северный Китай = Шаньдун + Шаньси + Хэнань + Хэбэй").
• Организационная поддержка
  Для успеха проекта необходимы три ключевые роли: лидер, продакт-менеджер и IT-специалист.
  • Продакт-менеджер отвечает за сбор требований, планирование и внедрение.
  • Лидер обеспечивает поддержку и ресурсы.
  • IT-специалисты занимаются подготовкой данных и настройкой системы.

Кто является пользователями ChatBI?

ChatBI подходит для следующих групп пользователей:

• Аналитики: для быстрого получения данных и визуализации.
• Менеджеры: для мониторинга ключевых показателей.
• Бизнес-пользователи: для самостоятельного анализа данных без глубоких технических знаний.

Что еще важно при внедрении ChatBI?

• Безопасность
  Убедитесь, что система поддерживает корпоративный уровень контроля доступа. LLM должна поддерживать локальное развертывание.
• Стоимость вычислительных ресурсов
  Чем больше размер LLM, тем выше затраты на оборудование. FineChatBI использует компактные модели, что снижает затраты на ресурсы.
• Постоянные инвестиции в развитие
  Точность ChatBI зависит от количества пользователей, объема данных и времени использования. Необходимо регулярно оптимизировать систему и расширять ее функциональность.

ChatBI — это не просто инструмент для проверки чисел. Это мощное решение, которое помогает бизнес-пользователям самостоятельно выполнять аналитические задачи, такие как обнаружение аномалий, анализ причин и прогнозирование тенденций.

Несмотря на множество вызовов, мы уверены, что ChatBI станет незаменимым инструментом для 100% бизнес-пользователей. Главное — подходить к его внедрению с четким пониманием целей, готовностью к подготовке данных и организационной поддержкой.

Совет от FanRuan

Если вы только начинаете внедрять ChatBI, начните с небольшого пилотного проекта. Это поможет вам понять, подходит ли это решение для вашей компании, и избежать крупных ошибок.

Удачи в вашем пути к успешному внедрению ChatBI!