产品特色

  • 数据融合
    支持主流的RDBMS数据库、NOSQL、大数据计算系统;支持MySQL、Oracle等分片并行提高同步速率;支持同步速度带宽控制、并发数控制，全量和增量数据同步,屏蔽引擎层的复杂配置;支持页面可视化配置字段映射关系；支持对数据源进行权限控制，可以分享给需要的人员，并防止数据源信息泄露。
  • 数据开发
    基于Web的开发平台，提高开发效率’ 结合任务调度工作流，便捷完成整个ETL链路的开发;愉悦的WebIDE编程体验，支持代码自动补全,代码版本控制；可以一体化整库级别实时同步配置，历史数据自动配置全量离线任务。具体支持MySQL、Oracle整库离线实时一体化同步至离线数仓与实时数仓。支持设置规则运行报告：支持离线校验任务报警/阻塞规则图、报警/阻塞分区图、报警/阻塞表图等图表，支持实时校验任务消息图、报警图、断流图等图表。
  • 数据质量
    配置化的数据规则校验，支持表级字段级校验;支持任务的定时运行，质量任务的阈值设定;支持数据质量报告的定时出具支持JAVA语义；支持25数据源之间的数据传输，涵盖云平台关系型数据组件、大数据仓库、NoSQL数据库、非结构化存储、消息队列、MPP数据库、搜索引擎。支持设置规则配置报告：离线表数、离线分区表达式数、离线规则数、规则覆盖度、实时topic数、实时规则数等指标。
  • 任务调度
    分布式数据任务调度; 集群环境下支持任务的故障转移，支持多种任务路由策略; 支持DAG式的任务依赖关系; 支持任务邮件告警；支持传输速率控制，对整个同步任务的同步速率进行控制，限制在具体的字节速率之下；支持连接并发控制，对同步任务的线程并发数进行控制，防止资源超过限制而卡死；支持脏数据监控，可以监控脏数据条数，根据配置终止任务。除标准模板外，支持自定义规则，允许通过SQL方式自定义离线质量校验规则。同时自定义离线质量规则支持转化为模板，方便二次使用。
  • 离线计算引擎
    打通了多个计算存储引擎如：Spark、Hive、关系型数据库和HBase等，对外提供统一REST/WebSocket/JDBC接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。支持统一变量、UDF、函数、用户资源文件管理，具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力；支持对离线数据表配置模板规则，包括表级规则和字段规则等35+种规则。
  • 数据管理
    管理数据中台中数据的授权，审核，对于元数据包括表，字段，存储等信息的查询，用户可以向数据管理员申请需要的数据授权，管理员进行审批后放开数据使用权限给数据开发人员，数据授权操作记录可追溯，保障数据使用的安全性；支持读取数据时数据过滤，读取数据时可以根据条件过滤读取符合条件的数据；

　

技术特性

  • 高可靠
    分布式任务调度，可靠性达到99.99%。
  • 高性能
    数据融合支持各类异构数据源，同步性能比同类型工具提升30%
  • 自定义
    基于JAVA语义的数据质量校验规则，用户可自定义质量逻辑规则，支持复杂的数据校验逻辑
  • 多语言
    数据任务支持SQL、Python、Shell等任务类型，覆盖所有数据开发场景

 

使用场景

通过达科一站式数据工场 Data Studio可实现跨部门数据的传输、加载、清洗、转换和整合，支持用户进行自定义调度和图形化监控，实现统一调度、统一监控，满足运维可视化需求，提高运维管理工作效率。

1、数据加工：

实现大数据环境的ETL全链路调度，支持SQL，数据同步，Shell，python，数据质量等运行任务；

2、数据规范：

支持对全业务、全系统范围数据制定统一的标准；

3、数据质量：

支持进行数据质量校验，从而解决数据脏、乱、差问题；

4、数据集成：

支持具有海量数据处理能力的数据集成能力；

达科一站式数据工场 Data Studio使用流程：