美创数据支撑平台发布，全新升级赋能数据治理 – 作者:杭州美创科技

在任何数据中心建设中，数据集成总是项目中的技术难点和主要成本所在，其根源在于多个系统和数据的差异性较大，以及对于数据实时性要求越来越高。数字化潮流全面兴起，数据碎片化现象更加突出，满足数据实时性要求，同时降低成本，针对用户需求，美创数据支撑平台迎来全新升级。

数据支撑平台是美创科技数据治理方案中必不可少的工具支撑，平台集数据抽取、清洗、转化、装载于一体，是通过对企业业务系统数据进行标准化，向数据仓库或大数据分析平台提供高质量数据的综合性平台。

美创数据支撑平台

此次数据支撑平台全新版本，在敏捷性、便捷性、可靠性等方面进行大幅升级，以多源异构数据支持、非入侵式增量采集技术、简单易操作的图形化设计界面、丰富转化组件、以及异常处理和自恢复等能力优势，进一步提高数据共享与交换效能，为敏捷数字化转型奠定基础。

一、产品功能

◎ 支持数据全量静态抽取及增量实时同步；

◎ 支持各类异构数据源实时同步；

◎ 数据清洗与转化：用户通过对系统数据转化组件进行拖曳及配置，即可完成相应ETL的开发工作；

◎ 支持元数据管理，包括：基于XML文件、基于数据库的元数据管理；

◎ 内置针对不同数据问题的质检规则模型，提供整体数据质量分析报告；

◎ 提供完整的数据治理监控大屏，整个数据治理过程可视化呈现。

二、产品优势

美创数据支撑平台产品优势

1. 丰富数据源支持及异构数据同步

支持各种主流关系型数据库和大数据平台、各种类型数据文件，满足用户实际环境数据源的多样性。

• 数据库：Oracle、SQL Server、DB2、MySQL、Informix、Sybase、PostgreSQL、Teradata、Greenplum…
• 大数据平台：Hive、Impala、HBase、MongoDB…
• 文件：TXT、CSV、Excel、JSON、XML…
• 网络：HTTP输入、RSS输入、FTP…

2. 非入侵式增量采集技术

非入侵式增量数据采集技术，通过对于源端生产库的日志文件进行解析，实时获取增加数据。数据抽取的同时，保证对于源端无压力，保证数据传输的实时性。

3. 内置丰富转化组件

内置多达200多种数据转化组件，以满足数据清洗、加工、统计等各种使用场景。

4. 异常处理及自恢复

对系统核心组件实时多角度监控，一旦发生故障，自动进行诸如：网络重连、进程重启、系统恢复等操作，以保证系统稳定运行，降低整体系统维护工作量。

5. 内存流式处理技术

采用内存流式处理技术，以应对源端大数据量及复杂数据转换场景，通过流水线式的处理机制，将处理流程整体处理时间压缩到与单个组件的处理时间上，实现数据实时同步秒级延时。

6. 简洁易用

图形化抽取流程设计，内置大量可视化图形转换组件，用户无需进行任何脚本语言编写，通过拖拽方式即可实现数据集成的快速开发和部署。

适用场景 ：数据归集、数据同步、数据实时采集、异构数据源同步、数据上云、数据回流等。

三、应用成效

美创数据支撑平台在实践检验中交出了一张优异的成绩单，稳定性、可管理性、拓展性、灵活性均得到用户认可，成功赋能用户数据治理工作。

在医保局—医疗保障基金综合监管系统建设中，美创数据支撑平台能完成对医保参保库、资源库、结算库，稽核库、异地就医等各类业务数据库的历史全量数据抽取及增量数据实时采集工作，为医疗保障数据大脑和医疗保障基金综合分析提供稳定、精准、实时的数据保障。

部分建设成果展示

此外，在卫健委、港口、人社等行业中，数据支撑平台依靠先进的底层架构设计，无侵入、可续传、实时完整的数据采集能力，完成各类业务系统的数据采集以及挖掘，在时效性方面达到秒级同步，有效为各项数据业务创新提供能力支撑。

​

来源：freebuf.com 2021-03-10 20:45:13 by: 杭州美创科技