Основные отличительные особенности Lakehouse — инфраструктурное разделение хранения данных и слоя вычислений, использование открытых табличных форматов (с поддержкой транзакций, time-travel, эволюции структуры данных), централизованные данные и каталог. Из особенностей проистекают преимущества: эффективное использование инфраструктуры (эластичное масштабирование с zero downtime), гибкость при выборе оборудования и независимость от вендоров прикладного программного обесвечения, гибкое управление нагрузками, экономия на TCO, разработке и сопровождении, возможность более гибко развивать архитектуру в будущем.

В настоящий момент CedrusData не предоставляет собственных компонентов для хранения данных, поэтому для создания платформ класса Lakehouse мы рекомендуем либо обратиться к нам или одному из наших партнеров, либо использовать открытые реализации S3, например Ceph. Также вы можете воспользоваться одним или несколькими из десятков готовых коннекторов к различным источникам (реляционные СУБД, файлы, key-value хранилища, очереди и пр.) для хранения данных в хранилищах, отличных от S3.

Да, продукты CedrusData Engine и CedrusData Catalog доступны для скачивания бесплатно. Установить возможна из архива, установка и запуск каждого занимают порядка 10 минут, для работы требуется Linux х64-совместимая ОС и JVM 21+, 8 GB RAM. Так же можно установить из Docker-образа или Helm-чарта (еще быстрее). Для развертывания платформы CedrusData потребуется 16 GB RAM, Kubernetes, kubectl, Helm, helmwave. Чтобы получить дистрибутив платформы, обратитесь к нашим специалистам, мы предоставим необходимые файлы и документацию, ответим на все вопросы. Ограничений по функционалу у продуктов нет, все возможности вам будут доступны. Единственное ограничение — без лицензии потребуется перезапуск кластера каждую неделю.

Пользователь может работать с CedrusData Engine практически так же, как он привык работать с любой другой современной ANSI SQL СУБД, подключаясь из любого JDBC-клиента (или CedrusData SQL Web UI) и выполняя запросы. Но как и у других СУБД, будут небольшие отличия в части синтаксиса DDL, параметров сессии, особенностей хранимых функций, и т.п.

Задачи могут быть самые разные, и везде где используются и обрабатываются данные можно найти то или иное применение. Ниже перечислим основные сценарии. 1. Построение платформ данных (Lakehouse, Data Lake, Data Warehouse) Аналитика данных (подготовка данных для витрин, отчетности, BI и дашбордов и обслуживание интерактивных запросов к ним), включая федеративные запросы. 2. Пользовательский ad hoc и песочницы, data exploration. 3. Миграции — поддержка работы запросов в переходные периоды, когда одна часть ваших данных находится в legacy-системе, а другая уже в мигрировала в целевую. CedrusData Engine очень хорошо справляется со сценариями федеративных запросов и имеет множество сопутствующих оптимизаций, например оптимизации типа pushdown. 4. Поддержка Data Governance. Используя федеративные запросы CedrusData, вы можете обеспечить централизованное управление данными: бизнес проверки, проверки качества данных, профилирование данных, построение data linage и т.п. При этом выполняя все через единую точку доступа, единые правила безопасности и единый диалект. 5. ETL и интеграции данных - CedrusData Engine может выступать в качестве ETL-движка, при помощи которого можно извлекать данные из различных систем, трансформировать и вставлять данные в целевые системы.

Федеративные запросы (термин очень близок к понятию “виртуализация данных”, но последнее — более широкая концепция) — это возможность исполнения запросов (обычно SQL) в едином синтаксисе (диалекте) к данным нескольких источников одновременно. К примеру, вы можете в рамках одного SQL-запроса прочитать необходимые данные из Oracle и Postgres, трансформировать их (join, аггрегации, windowing и т.п.), и записать результат в Greenplum. В любой комбинации для списка поддерживаемых коннекторов.

Отличий очень много, укажем только самые значимые. В первую очередь, CedrusData Engine не просто Trino, приукрашенный фасадами плагинов, a значительно доработанный и оптимизированный в ядре продукт. При этом CedrusData обратно совместим со всеми интерфейсами Trino. В число ключевых доработок входят: ряд улучшений планирования запросов, управляемые материализации и кэширование, нативное исполнение внутренних операторов (Rust-библиотеки вместо Java), собственные коннекторы для Greenplum, Teradata, и пр., Web-интерфейс для исполнения SQL, улучшения управления, безопасности и т.д. Более полный список отличий вы можете найти у нас в документации, но лучше напишите нам и мы проведем для вас презентацию и все расскажем.

Продукты CedrusData позволяют полностью закрыть типовые вопросы безопасности, в том числе: — аутентификация (поддерживаются наиболее популярные протоколы, включая LDAP, JWT, OAuth); — шифрование клиентского трафика (использование сертификатов); — авторизация — может быть реализована на различных уровнях и различными способами, в зависимости от особенностей вашей инфраструктуры. В том числе, возможно использование правил OPA, Ranger, RBAC+DAC модели доступа в CedrusData Catalog, правил доступа, определенных в файле и пр. — возможность реализации динамического маскирования или скрытия колонок; — возможность включения аудита доступа и аудита событий ИБ.

При правильном использовании, архитектура Lakehouse практически не ограничивает объем данных, который может находиться в вашем хранилище. Ответ будет зависеть от конкретных требований к характеру рабочей нагрузки, регламенту обновления данных, количеству запросов и т.п. Обратитесь к нам и мы поможем правильно подобрать архитектуру и рассчитать оборудование для вашего конкретного сценария.