数据抽取及加载:K-Fusion从多种数据源中抽取数据,并将经过数据转换之后的结果集加载到目标数据库中,支持的数据源包括关系型数据库(包括国产数据库)、多维数据库、平面文件和网络文件等共计40余种。
数据转换:对抽取的数据进行值映射,字段选择、拆分、计算,设置字段值,增加序列、常量、校验,添加XML与XSL转换,行扁平化、列规范化,行转列,去除重复行,行排序、分组等操作,实现对数据的预处理。
增量ETL:通过全表比对、基于数据源标识字段的CDC、基于触发器CDC和基于数据库日志分析的CDC等机制来定期识别出数据源的增量数据,对这些数据进行抽取、转换和加载,以减小服务器压力,提升数据处理速度。
关键特征
性能监控和提升机制:K-Fusion提供了流程和节点两个级别的性能监控日志功能,能够以不同的粒度记录每次流程执行过程中重要信息,例如读、写、输入、输出、更新、删除的数据行数,节点的每秒处理的数据行数、整个流程每秒处理的数据行数;并且对信息进行可视化以便用户快速定位性能瓶颈。实现了多种用于流程性能提升的机制,例如在流程处理过程中对数据进行分片处理,并通过设置流程处理节点的冗余实现对这些分片数据的并行处理和负载均衡;对大文本的读写实现并行化;对常用的关系型数据库目的端进行Bulk Insert方式的批量数据加载。通过以上机制,显著降低大数据量情况的抽取、转换和加载时间,提高了用户数据集成工作的效率。
流程控制能力和异常处理完善:K-Fusion支持对多个ETL流程间相对执行顺序的控制,除了提供了流程串行的方式外,提供了多流程的并行执行方式以获得执行效率的最大化,另外还可延迟或者中断指定节点或者子流程的执行。对流程执行过程中可能存在的异常,支持异常处理流程的自定义,例如定制“日志记录”、“邮件通知”或“异常数据归档”,以提高实际部署环境中,用户ETL流程的容错性。
1. 产品送达用户之日起 7 日内,出现“性能故障”,经由用户所购产品的生产厂家指定维修服务机构检测属实后,可以免费换货;
2.产品送达用户之日起,主机享有 12 个月保修服务,配件享有 6 个月保修服务。
1、若产品主机符合保修条件,根据保修卡与购机发票即可享受保修服务,若无法提供购买证明及保修卡,则以到货签收时间作为保修起算标准;
2、属非保修产品,用户所购产品的生产厂家指定维修服务机构做保外收费维修处理;
3、产品修复后相同的故障经用户所购产品的生产厂家指定维修服务机构检验属实后,享有 3 个月保修服务;
4、需要维修或检测的产品,向用户所购产品的生产厂家指定维修服务机构送修或检测过程中发生的运输、发货和处置费用由用户承担;维修或检测产品寄还用户时产生的运费由用户所购产品的生产厂家承担(仅限中国大陆境内);
5、需要维修或检测的产品,请用户及时备份机器内的数据。用户所购产品的生产厂家不对因数据丢失造成的损失负责;
6、产品在保修期内,维修中正常使用的零部件免费;
7、维修中被替换下来的零部件所有权归用户所购产品的生产厂家所有;
8、用户所购产品的生产厂家不对非产品标准配置的及未经公司认证的配件、软件或应用负责;
9、平台产品均按照国家三包政策执行(产品在未拆封的情况下),个别产品除外,如:定制产品,项目产品等。
10、本条款未尽事宜参考国家三包法律规定。
1、产品无购机发票和保修卡,亦不能在用户所购产品的生产厂家查询到相关的销售信息,且出库日期超过 12 个月;
2、产品主机和配件曾受到:非正常或错误的使用、非正常条件不当的存储、未经授权的拆卸或改动、事故、不恰当的安装造成的损害;
3、由于用户不当造成的损害,如液体注入、外力受损等;
4、未按产品使用说明书的要求进行使用,维修保养或以外运输造成的损坏;
5、 产品的损坏由外部包括但不限于卫星系统、地磁、静电、物理压力等非正常不可预测的因素引起的;
6、因不可抗力如地震、水灾、战争等原因造成的损坏;
7、其它不符合三包相关规定的情况。
您好,有什么能帮助您
2022-05-08 09:35您好,有什么能帮助您
2022-05-08 09:35此用户没有填写评价内容
2022-05-08 09:35此用户没有填写评价内容
2022-05-08 09:35此用户没有填写评价内容
2022-05-08 09:35此用户没有填写评价内容
2022-05-08 09:35