Решение для промышленного внедрения и управления ИИ-агентами LANDEV AI (входит в портфель продуктов ЛАНИТ) интегрировано в платформу CleverData Jon CDP, разработанную компанией CleverData (входит в ИТ-холдинг ЛАНСОФТ). Операции агента искусственного интеллекта были перенесены в инфраструктуру искусственного интеллекта LANDEV, обеспечивая стабильный, безопасный и экономичный доступ к широкому спектру моделей LLM через интерфейс прикладного программирования (API).
Перед интеграцией специалисты CleverData были вынуждены самостоятельно выстраивать подключения к каждому провайдеру нейросетей. Внедрение LANDEV AI позволило заменить множество итераций единым API, посредством которого CleverData обращается к любой из поддерживаемых моделей с гарантированным качеством обслуживания.
Платформа LANDEV AI предоставляет собственный сценарий для легкого получения ключей доступа, что упрощает процессы и экономит время разработчиков. Решение дает возможность централизованно контролировать учетные данные и взаимодействие с ресурсами ИИ. Управление правами распределено в соответствии со структурой проекта: разные агенты подключаются к разным нейронным сетям в зависимости от задач и уровня сложности. Система позволяет строить отчеты по использованию различных LLM и анализировать их эффективность. Команда CleverData теперь может быстро переключаться между языковыми моделями на основе запросов: более лёгкие сервисы используются для отладки и тестирования, а мощные — для производственных сценариев. Среди протестированных решений особый интерес представляют MnMax 2.7 и MnMax M3, развернутые по собственной схеме. Результаты использования этих LLM оказались сопоставимы с ведущими коммерческими аналогами, что подтвердило эффективность подхода к подбору нейронных сетей для конкретных задач.
Владислав Балаев, руководитель группы AI-платформы LANDEV AI Центра компетенций больших данных и искусственного интеллекта ЛАНИТ: «На примере партнерства с CleverData мы демонстрируем, как LANDEV AI становится своего рода защищенным уровнем доступа для AI-агентов. Наше решение реализует механизм ограждения, который проверяет запросы к моделям и предотвращает случайную отправку личных данных, номеров карт или другой конфиденциальной информации. Решение также позволяет вам видеть потребление токенов каждым сотрудником и контролировать бюджеты и работу LLM.»
Сергей Фокин, продакт-менеджер CDP CleverData Джон: «Прежде чем мы начали использовать LANDEV AI, нам приходилось обращаться к разным моделям — открытым и локальным. Но это стало неудобно, так как требовало частого переключения. Оптимальным решением для нас была общая точка доступа в виде платформы. Сейчас мы регулируем обращение в LLM, расход токенов и бюджетных средств. Разумеется, управление через такой единый окно позволяет организовать безопасное использование данных.»
Свежие комментарии