产品特色

  • 数据融合
    支持主流的RDBMS数据库、NOSQL、大数据计算系统;支持MySQL、Oracle等分片并行提高同步速率;支持同步速度带宽控制、并发数控制，全量和增量数据同步,屏蔽引擎层的复杂配置;支持页面可视化配置字段映射关系
  • 数据开发
    基于Web的开发平台，提高开发效率’ 结合任务调度工作流，便捷完成整个ETL链路的开发;愉悦的WebIDE编程体验，支持代码自动补全,代码版本控制
  • 数据质量
    配置化的数据规则校验，支持表级字段级校验;支持任务的定时运行，质量任务的阈值设定;支持数据质量报告的定时出具支持JAVA语义
  • 任务调度
    分布式数据任务调度; 集群环境下支持任务的故障转移，支持多种任务路由策略; 支持DAG式的任务依赖关系; 支持任务邮件告警
  • 离线计算引擎
    打通了多个计算存储引擎如：Spark、Hive、关系型数据库和HBase等，对外提供统一REST/WebSocket/JDBC接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。支持统一变量、UDF、函数、用户资源文件管理，具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力
  • 数据管理
    管理数据中台中数据的授权，审核，对于元数据包括表，字段，存储等信息的查询，用户可以向数据管理员申请需要的数据授权，管理员进行审批后放开数据使用权限给数据开发人员，数据授权操作记录可追溯，保障数据使用的安全性

　

技术特性

  • 高可靠
    分布式任务调度，可靠性达到99.99%。
  • 高性能
    数据融合支持各类异构数据源，同步性能比同类型工具提升30%
  • 自定义
    基于JAVA语义的数据质量校验规则，用户可自定义质量逻辑规则，支持复杂的数据校验逻辑
  • 多语言
    数据任务支持SQL、Python、Shell等任务类型，覆盖所有数据开发场景

 

使用场景

通过达科一站式数据工场 Data Studio可实现跨部门数据的传输、加载、清洗、转换和整合，支持用户进行自定义调度和图形化监控，实现统一调度、统一监控，满足运维可视化需求，提高运维管理工作效率。

1、数据加工：

实现大数据环境的ETL全链路调度，支持SQL，数据同步，Shell，python，数据质量等运行任务；

2、数据规范：

支持对全业务、全系统范围数据制定统一的标准；

3、数据质量：

支持进行数据质量校验，从而解决数据脏、乱、差问题；

4、数据集成：

支持具有海量数据处理能力的数据集成能力；

达科一站式数据工场 Data Studio使用流程：