一站式数据工场 Data Studio
提供数据的存储,集成,加工,治理,共享的全方位治理能力,解决了传统数据平台建设过程中,多工具,多界面的问题
800-828-1089![](http://www.datatech-info.com/uploadfile/2021/0120/20210120042450211.png)
产品特色
-
数据融合支持主流的RDBMS数据库、NOSQL、大数据计算系统;支持MySQL、Oracle等分片并行提高同步速率;支持同步速度带宽控制、并发数控制,全量和增量数据同步,屏蔽引擎层的复杂配置;支持页面可视化配置字段映射关系;支持对数据源进行权限控制,可以分享给需要的人员,并防止数据源信息泄露。
-
数据开发基于Web的开发平台,提高开发效率’ 结合任务调度工作流,便捷完成整个ETL链路的开发;愉悦的WebIDE编程体验,支持代码自动补全,代码版本控制;可以一体化整库级别实时同步配置,历史数据自动配置全量离线任务。具体支持MySQL、Oracle整库离线实时一体化同步至离线数仓与实时数仓。支持设置规则运行报告:支持离线校验任务报警/阻塞规则图、报警/阻塞分区图、报警/阻塞表图等图表,支持实时校验任务消息图、报警图、断流图等图表。
-
数据质量配置化的数据规则校验,支持表级字段级校验;支持任务的定时运行,质量任务的阈值设定;支持数据质量报告的定时出具支持JAVA语义;支持25数据源之间的数据传输,涵盖云平台关系型数据组件、大数据仓库、NoSQL数据库、非结构化存储、消息队列、MPP数据库、搜索引擎。支持设置规则配置报告:离线表数、离线分区表达式数、离线规则数、规则覆盖度、实时topic数、实时规则数等指标。
-
任务调度分布式数据任务调度; 集群环境下支持任务的故障转移,支持多种任务路由策略; 支持DAG式的任务依赖关系; 支持任务邮件告警;支持传输速率控制,对整个同步任务的同步速率进行控制,限制在具体的字节速率之下;支持连接并发控制,对同步任务的线程并发数进行控制,防止资源超过限制而卡死;支持脏数据监控,可以监控脏数据条数,根据配置终止任务。除标准模板外,支持自定义规则,允许通过SQL方式自定义离线质量校验规则。同时自定义离线质量规则支持转化为模板,方便二次使用。
-
离线计算引擎打通了多个计算存储引擎如:Spark、Hive、关系型数据库和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力;支持对离线数据表配置模板规则,包括表级规则和字段规则等35+种规则。
-
数据管理管理数据中台中数据的授权,审核,对于元数据包括表,字段,存储等信息的查询,用户可以向数据管理员申请需要的数据授权,管理员进行审批后放开数据使用权限给数据开发人员,数据授权操作记录可追溯,保障数据使用的安全性;支持读取数据时数据过滤,读取数据时可以根据条件过滤读取符合条件的数据;
技术特性
-
高可靠分布式任务调度,可靠性达到99.99%。
-
高性能数据融合支持各类异构数据源,同步性能比同类型工具提升30%
-
自定义基于JAVA语义的数据质量校验规则,用户可自定义质量逻辑规则,支持复杂的数据校验逻辑
-
多语言数据任务支持SQL、Python、Shell等任务类型,覆盖所有数据开发场景
使用场景
通过达科一站式数据工场 Data Studio可实现跨部门数据的传输、加载、清洗、转换和整合,支持用户进行自定义调度和图形化监控,实现统一调度、统一监控,满足运维可视化需求,提高运维管理工作效率。
1、数据加工:
实现大数据环境的ETL全链路调度,支持SQL,数据同步,Shell,python,数据质量等运行任务;
2、数据规范:
支持对全业务、全系统范围数据制定统一的标准;
3、数据质量:
支持进行数据质量校验,从而解决数据脏、乱、差问题;
4、数据集成:
支持具有海量数据处理能力的数据集成能力;
达科一站式数据工场 Data Studio使用流程:
-
产品与平台
-
运维及服务
-
关注达科微信公众号
-