ChatBI — одна из самых обсуждаемых тем. Наряду с корпоративными базами знаний и системами вопросов и ответов, это одно из немногих приложений на основе больших языковых моделей (LLM), которое может быть реализовано в B2B-сегменте с относительно низкими затратами. Многие компании уже начали изучать ChatBI, однако большинство считает, что технология еще не достигла зрелости, и предпочитают занимать выжидательную позицию.
В этой статье мы разберем, что такое ChatBI, какие технические решения стоит выбирать, как подготовиться к успешному внедрению и какие ошибки можно избежать на примере работы над внедрением инструмента в FanRuan.
Выбор технического решения
Почему LLM для написания SQL — ненадежный подход. Использование LLM для генерации SQL-запросов может показаться удобным, но на практике это ненадежно. Проблемы возникают в трех ключевых аспектах: точность, производительность и доверие.
Точность
Для бизнес-пользователей точность ответов должна быть не ниже 75–80%. Однако LLM часто страдают от галлюцинаций. Это особенно критично при работе со структурированными данными, где ошибки недопустимы.
Примеры проблем:
- Ошибки в понимании времени.
- Логические ошибки в сортировке.
- Ошибки в подзапросах.
- Неправильное понимание связей между таблицами.
Решение FineChatBI:
Вместо генерации SQL мы используем LLM для преобразования вопросов пользователя в структурированные запросы. Затем эти запросы обрабатываются через OLAP-анализ и визуализируются с помощью FineBI. Это значительно повышает точность результатов.
Производительность
Среднее время ответа для Text2SQL-решений составляет 6–15 секунд, что для пользователей слишком долго. Мы считаем, что максимальное время ответа не должно превышать 3 секунды.
Решение FineChatBI:
Мы используем компактную модель для анализа семантики, что позволяет сократить время ответа до 0,2 секунды для четких запросов и до 2 секунд для нечетких.
Доверие
Ошибки в ChatBI неизбежны, но важно, чтобы пользователи могли быстро их исправлять. Text2SQL-решения показывают пользователям SQL-запросы, что неудобно для бизнес-пользователей.
Решение FineChatBI:
Мы предоставляем пользователям понятные правила генерации графиков. Они могут самостоятельно настраивать параметры, такие как измерения, показатели и условия группировки, что упрощает исправление ошибок.
Условия успешного внедрения ChatBI
ChatBI не работает "из коробки". Для успешного внедрения ChatBI необходимо соблюдение трех условий:
- Реальные сценарии использования
Найдите в компании реальные задачи, которые можно решить с помощью ChatBI. Проведите интервью с бизнес-командой, чтобы понять их потребности и боли. - Подготовка данных и знаний
LLM не подходит для обработки данных без предварительной подготовки! Подготовьте широкую таблицу данных или используйте платформу управления показателями. Настройте синонимы и другие уникальные для компании знания (например, "Северный Китай = Шаньдун + Шаньси + Хэнань + Хэбэй"). - Организационная поддержка
Для успеха проекта необходимы три ключевые роли: лидер, продакт-менеджер и IT-специалист.- Продакт-менеджер отвечает за сбор требований, планирование и внедрение.
- Лидер обеспечивает поддержку и ресурсы.
- IT-специалисты занимаются подготовкой данных и настройкой системы.
Кто является пользователями ChatBI?
ChatBI подходит для следующих групп пользователей:
- Аналитики: для быстрого получения данных и визуализации.
- Менеджеры: для мониторинга ключевых показателей.
- Бизнес-пользователи: для самостоятельного анализа данных без глубоких технических знаний.
Что еще важно при внедрении ChatBI?
- Безопасность
Убедитесь, что система поддерживает корпоративный уровень контроля доступа. LLM должна поддерживать локальное развертывание. - Стоимость вычислительных ресурсов
Чем больше размер LLM, тем выше затраты на оборудование. FineChatBI использует компактные модели, что снижает затраты на ресурсы. - Постоянные инвестиции в развитие
Точность ChatBI зависит от количества пользователей, объема данных и времени использования. Необходимо регулярно оптимизировать систему и расширять ее функциональность.
ChatBI — это не просто инструмент для проверки чисел. Это мощное решение, которое помогает бизнес-пользователям самостоятельно выполнять аналитические задачи, такие как обнаружение аномалий, анализ причин и прогнозирование тенденций.
Несмотря на множество вызовов, мы уверены, что ChatBI станет незаменимым инструментом для 100% бизнес-пользователей. Главное — подходить к его внедрению с четким пониманием целей, готовностью к подготовке данных и организационной поддержкой.
Совет от FanRuan
Если вы только начинаете внедрять ChatBI, начните с небольшого пилотного проекта. Это поможет вам понять, подходит ли это решение для вашей компании, и избежать крупных ошибок.
Удачи в вашем пути к успешному внедрению ChatBI!
