Российский рынок Data Lakehouse: архитектурный раскол и борьба за безопасность

Отечественный рынок аналитических хранилищ данных класса Data Lakehouse преодолел этап пилотных проектов и перешел в фазу промышленных внедрений. Исследование «Отечественные решения Data Lakehouse Круг Громова 2026» выявило фундаментальную трансформацию отрасли: регуляторные требования стали драйвером развития, архитектура платформ разделилась на два противоположных лагеря, а вопросы информационной безопасности превратились в главный критерий выбора. А вот искусственный интеллект в российских Lakehouse-системах пока остается точечной инновацией.

Два пути развития платформ: выбор между универсальностью и простотой

Ключевой структурный сдвиг на рынке — формирование двух принципиально разных подходов к построению платформ, каждый из которых находит своего заказчика. Первая модель — «интегрированные платформы». Это решения, собираемые из набора open-source компонентов (например, Spark, Trino, Impala, Airflow), которые вендор объединяет единой системой управления, мониторинга и безопасности. Такие платформы обеспечивают максимальную универсальность и гибкость, но требуют высокой квалификации команды и несут значительную операционную сложность.

Вторая модель — «унифицированные системы». Эти продукты изначально проектируются как целостная архитектура, а не конструируются из готовых блоков. Внутри может использоваться один или несколько движков, но все они глубоко интегрированы в единую среду с общим хранилищем, моделью безопасности и интерфейсом управления. Унифицированные системы проще в установке и сопровождении, однако могут уступать интегрированным платформам в широте функциональных возможностей.

Оба подхода активно развиваются, и выбор между ними определяется балансом между гибкостью и простотой, универсальностью и управляемостью. Евгений Вилков, технический руководитель решений Data Ocean, Data Sapience, объясняет логику корпоративного сегмента: «Не существует движка — “серебряной пули”, который может решить все задачи бизнеса. На практике вокруг такой платформы со временем появится “зоопарк” разрозненных решений. Кроме того, существует риск закрытия проекта или смены лицензии. Корпоративные клиенты выбирают платформу, максимально диверсифицированную и не зависящую от одной базовой технологии».

Екатерина Канунникова, директор по продуктам направления Дата-сервисы VK Tech, дополняет эту картину со стороны ИТ-отделов: «На рынке сейчас более востребован подход интегрированных платформ. Это связано с тем, что основной пользователь таких решений — инженерные команды, которым привычнее работать с конкретными инструментами. У заказчиков, особенно в on-premise-сценариях (развертывание на собственной инфраструктуре), уже есть сформированные команды с экспертизой в определённых технологиях, и этот фактор напрямую влияет на выбор».

Таким образом, интегрированные платформы доминируют там, где важна адаптация под существующие компетенции и избежание vendor lock-in (зависимости от одного поставщика), а унифицированные системы находят нишу в проектах, где приоритетом являются скорость запуска и снижение эксплуатационных расходов.

Регуляторика как катализатор

Уход западных вендоров и ужесточение требований к отечественному ПО ускорили формирование рынка. Реестр российского ПО, сертификация ФСТЭК, законы о КИИ и персональных данных создали понятные правила игры и сформировали платежеспособный спрос. Производители воспринимают регуляторные требования как рыночный фактор: наличие сертификатов открывает доступ к крупным государственным и корпоративным заказчикам.

Спрос сместился от концепций к реальным внедрениям. «Если два-три года назад приходилось объяснять клиентам, что такое парадигма Lakehouse, то сейчас потенциальный клиент уже хорошо осведомлен и целенаправленно ищет решение под свои задачи», — констатирует Евгений Вилков. Традиционно высокий интерес сохраняется в финансовом секторе и ритейле, где большие объемы данных сочетаются с жесткой конкуренцией. Активно подтягиваются телеком и промышленность, осознавшие завершение цикла поддержки предыдущего поколения аналитических систем.

Екатерина Канунникова подтверждает этот тренд: «Фокус сместился на решение конкретных задач: снижении стоимости хранения, упрощении архитектуры вместо связки DWH (хранилища данных) и Data Lake, подготовке данных для ML/AI и поддержке near real-time аналитики (аналитики, близкой к реальному времени). Вступают в гонку data-driven трансформации и новые отрасли: промышленность, нефтегаз, B2G-сегмент».

При этом эксперты подчеркивают, что важно различать Lakehouse и простое архивирование данных. «Перенос холодных данных в S3 (объектное хранилище, совместимое с протоколом Amazon S3) — это стратегия тиринга (многоуровневого хранения). Со своей стороны, Lakehouse — полноценная архитектурная модель, где объектное хранилище становится основным слоем, а вычисления масштабируются независимо. Это меняет не только экономику, но и принципы построения платформы», — подчеркивает Екатерина Канунникова.

Безопасность и аудит: нерешенная болевая точка

Для заказчиков из регулируемых отраслей возможность организовать сквозную аутентификацию и авторизацию на основе ролевой модели RBAC (Role-Based Access Control — управление доступом на основе ролей) стала критическим фактором выбора. Интеграция нескольких open-source компонентов в единую систему управления доступом — нетривиальная задача, и не все вендоры предлагают готовое решение «из коробки».

«Требования к безопасности стали значительно детальнее и получили статус “критично”. Заказчиков интересует конкретная реализация RBAC: как роли применяются к пользователям и сервисным учетным записям, насколько гибко можно управлять доступом на уровне таблиц и столбцов», — отмечает Екатерина Канунникова. Особое внимание уделяется согласованности политик: если доступ в S3 не синхронизирован с SQL-движками, пользователь может обойти ограничения. Поэтому ключевым требованием становится единая сквозная модель управления доступом, исключающая обход политик безопасности.

Евгений Вилков добавляет, что корпоративный заказчик ожидает готовности поставщика оказывать реальную поддержку по устранению уязвимостей в строго регламентированные сроки. Именно наличие сквозного аудита и прослеживаемости действий (Data Lineage) становится обязательным требованием служб информационной безопасности.

S3-хранилище как фундамент производительности

Выбор объектного хранилища часто недооценивают, считая его второстепенным компонентом. Однако в архитектуре Lakehouse S3 — это основа всей системы. «Если вычислительные движки — это “голова” платформы, то S3 — ее “сердце”. Производительность определяется не только SQL-движком, но и тем, насколько эффективно хранилище обслуживает операции чтения и записи», — объясняет Екатерина Канунникова.

В on-premise-сценариях этот выбор становится критическим. Экономия на S3 оборачивается деградацией производительности при работе с метаданными, нестабильностью при высокой конкуренции запросов и простое дорогих вычислительных ресурсов в ожидании I/O-операций (операций ввода-вывода). Надежность, масштабируемость и совокупная стоимость владения объектным хранилищем напрямую определяют эффективность всей платформы.

Искусственный интеллект: от копайлотов к агентам

Несмотря на глобальный интерес к ИИ, в российских Data Lakehouse полноценные AI-агенты, самостоятельно пишущие SQL, создающие дашборды и тестирующие гипотезы, реализованы пока только у одного производителя (среди тех, кто принял участие в исследовании) — Tengri Data. Остальные вендоры предлагают либо copilot-функции (AI-ассистенты) для генерации запросов, либо анонсируют агентные возможности в будущих релизах.

«Спрос смещается в сторону готовности платформы к вызовам ИИ. Мы стараемся сделать интерфейсы доступными для людей, далеких от мира данных, за счет интеграции ИИ-агентов и чат-ботов», — отмечает Евгений Вилков. Однако Екатерина Канунникова предупреждает: без подготовки данных AI-агенты остаются демонстрационными решениями. «Чтобы строить корпоративных AI-агентов, необходимо сначала собрать данные в едином хранилище, обеспечить качество, права доступа и версии. Отдельную сложность представляют неструктурированные данные: их недостаточно просто хранить — необходимо индексировать и обогащать».

В перспективе пяти лет AI станет органичной частью самой платформы: от формирования запросов на естественном языке до автоматической оптимизации инфраструктуры и прогнозирования нагрузки.

Сергей Громов, руководитель аналитического проекта «Круги Громова», резюмирует: «Рынок отечественных Data Lakehouse сформировался и перешел в стадию зрелой конкуренции. Мы видим, что регуляторная среда создала каркас для роста десятка новых продуктов. Однако технологическая зрелость решений неоднородна. Если в области вычислительных движков и хранения данных российские платформы демонстрируют высокий уровень, то вопросы сквозной безопасности, управления метаданными и семантического слоя остаются зонами активного развития. Выбор решения должен начинаться с четкой формулировки бизнес-целей и понимания собственных компетенций. Интегрированная платформа даст гибкость, но потребует сильной инженерной команды. Унифицированная система снизит порог входа, но может ограничить в будущем. При этом нельзя рассматривать Data Lakehouse как замену DWH по умолчанию — эта архитектура оправдана при реальных объемах Big Data, разнообразии источников и потребности в ML/AI-сценариях. Без этих предпосылок целесообразнее рассмотреть альтернативные архитектурные шаблоны».