Nova
Flex Loader
SDI
Lakehouse-платформа данных нового поколения: высокая производительность при минимальных затратах
Инструмент для быстрого наполнения хранилища или озера данных на базе GreenPlum, Hadoop или S3
Low-code инструмент для потоковой обработки и репликации данных
Image
Image
Image
Image
Программное обеспечение для администрирования кластеров и анализа запросов
Cluster Manager
Image
Высокопроизводительное объектное хранилище данных для аналитики
Data Ocean Store
Image
Узнайте больше о решениях Data Ocean
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам:

Только полезное и ничего лишнего

Раз в две недели — только ценная аналитика.
Самые важные и интересные новости в одном письме.

Low-code инструмент для потоковой обработки и репликации данных

Image
/
Продукты
/
SDI
Image

Ключевые возможности

Image
Image
Image
Complex Event Processing (CEP)
Захват изменений с источников (CDC)
Легкая в применении low-code платформа
Режим захвата изменений в источниках для обеспечения real-time интеграций в аналитическое хранилище с минимальными задержками
Основная функциональность доступна через графический интерфейс с возможностью расширения за счет богатого набора API-интеграций
Широкий набор трансформаций и обогащений данных для интеграции со сторонними сервисами в режиме реального времени

Ядро функциональности

Image
Отслеживание зависимостей между потоками
Сбор технических и бизнес-метрик
Интеграция с системами хранения данных
Low-code платформа
Встроенные инструменты Change Data Capture
REST-интерфейсы оркестрации каждого задания
Data Ocean SDI / Streaming ETL
Image
Image

Data Ocean SDI решает задачи:

Встроенные компоненты CDC получают в реальном времени изменения данных, которые могут быть обработаны и тиражированы на одну или несколько целевых систем.
Поток технических событий может быть обогащен дополнительной информацией и превращен в поток бизнес-событий с необходимым количеством показателей и измерений для отображения в аналитических системах: DWH, OLAP, дашбордах.
Репликации данных
Online-витрины / Streaming
Image
Image

Архитектура решения

Image

Особенности функционала

Image
Compute Engine на базе open-source решения Apache Flink
Image
Описание процессов идет в YAML-формате, за генерацию java-кода отвечает отдельный модуль системы
Image
Платформа развертывания — Kubernetes, также поддерживаются YARN и Flink Standalone
  • Oracle 11-21
  • MS SQL Server 2012-2019
  • PostgreSQL 9.6-14
  • MySQL
Image
Поддержка Change Data Capture (CDC) на базе Debezium и OracleLogReplicator (без использования LogMiner) как части общего Streaming-ETL-инструмента для источников:
Image
Поддерживаемые источники для SETL: Kafka, Kinesis, HBase, Tarantool, Redis, JDBC, Файловые системы HDFS и S3
Image
Поддерживаемые приемники: Kafka, Kinesis, JDBC, ClickHouse, Hbase, Файловые системы HDFS и S3, Iceberg
Image
По требованиям проекта могут добавляться новые источники и приемники (например, Kudu, MongoDB и др.)
Image
Мониторинг с использованием OpenSearch, Prometheus, Grafana
Image
Поддержка пользовательского кода на Groovy и Python
SDK для разработки палитры компонентов
Image
Программный API-генерации потоков
Image

Интерфейс редактора потоков

Image

Популярные вопросы

Нам доверяют

Оставьте заявку на консультацию

Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам: