定  位

JINDIEApusicDASHUJURONGHETAOJIAN(YIXIAJIANCHENGTAOJIAN)GAOXINGNENGHAILIANGSHUJUJICHENG、JIAOHUAN、CHUANSHUDEZHUANYERUANJIAN,TONGGUOQIANGDADESHUJUCHULINENGLI,KEYIBIANJIEDIJIANGDASHUJUHUANJINGXIADEGEZHONGSHUJUZIYUANHEGEGEYIGOUXITONGCUNCHUDEDALIANGDESHUJUZHENGHECHENGWANZHENGDE、YIZHIDE、ZHUNQUEDE、KEJIZHONGCUNQUDEGAOZHILIANGSHUJU,XIEZHUYONGHUSHIXIANSHUJUZIYUANZHENGHEHESHUJUJIAZHIWAJUE,YOUXIAOCUJINSHUJUZIYUANDEKAIFALIYONG。

用户面临的挑战

JINXIENIANLAI,WOGUODEXINXIHUAJINCHENGDADAJIAKUAI,DALIANGDEJICHUYEWUXITONGZAIBUDUANDEBEIDAJIANQILAI。XINLAOYEWUXITONGBUDUANRONGHE,ZHICHENGZHEZHENGGEYEWUXITONGDEYUNZHUAN。SUIZHEYEWUGUIMOZHUNIANKUODA,YINGYONGXITONGZHIJIANSHUJUJIAOHUANDEXUQIUYUELAIYUEQIANGLIE。SHUJUJICHENGYEWUDESHUJULIANG、JIAOHUANPINDU、FUZADUDOUZAISUIYEWUGUIMOCHENGBEIDEZENGZHANG,DAOZHISHUJUJIAOHUANBAOLUCHUDEWENTIYEYUELAIYUEDUO。ZHEIDUIXIANYOUDEJICHENGYEWUJIANSHEYUGUANLIDAILAIDEJUDADETIAOZHAN。

接入系统越来越多,接入难度越来越大,接入速度越来越慢

YOUYUYEWUXITONGZHONGLEIFANDUO,BIRANCHUXIANBUTONGDEJISHUSHIXIAN,DAOZHIZUZHINEICUNZAIDUOGEWANQUANYIGOUYEWUXITONG。SHANGJIBUMENHEXIAJIBUMENCAIYONGBUTONGDEGUANLIRUANJIAN,BUMENHEBUMENGEZICAIYONGSHIHEBENSHENYEWUTEDIANDEXINXIXITONGDENGQINGKUANGSUICHUKEJIAN,SHIHUOQUBUTONGYEWUXITONGSHUJUDEGONGZUOBIANDEKUNNANHEFUZA。

大数据环境下集成技术多样性与复杂性

业务系统数据交换与集成需求的特点是复杂且具有多样性。
集成方式:面临数据集成,文件交换,服务集成多种集成方式;
资源形态多样性:需要支持关系数据库表、NoSQL、结构化半结构化文件、HDFS、流式数据、Web服务,特定应用适配器等多种数据介质存储和数据管道;
数据抽取方式:支持全量数据和变化增量数据抽取捕获;
交换时效性:支持间隔调度、定时任务、实时交换、消息事件触发、手工执行多种;
中国福彩网 数据转换的复杂性:需要对异构数据转换处理、清洗过滤、脚本处理。

数据集成交换规模逐步扩大,性能与可靠性无法保障

SUIZHEJICHENGGONGZUODEKAIZHAN,JIAOHUANGUIMOZHUBUKUODA。XIAOFANWEI、DANYEWUXITONGZHIJIANDESHUJUJIAOHUAN,YUELAIYUESHAO,ERKUADIYU、KUAYEWULINGYU、KUABUMENDEDALIANGSHUJUGONGXIANGYUJIAOHUANZHUBUZECHENGWEICHANGTAI。ZHIQIANZHENDUIYUDIANDUIDIANHUOXIAOGUIMOSHUJUJIAOHUANDECHANPINZAIGONGNENGYUXINGNENGFANGMIANJUNNANYIMANZUZHEIYANGDEBIANHUA。

业务对交换管理提出了更高的要求,但现有的运维管理工具无法支撑

中国福彩网YEWUYAOQIUYUNWEIYUGUANLIRENYUANTONGSHIJIANGUANSHUSHIZHONGYEWUBINGXINGYUNXINGDEQINGKUANG,SHANGBAIGEJIEDIANDEYUNXINGZHUANGTAI,YIBAOZHENGXITONGYUNXINGDEWENDINGXINGYUKEKAOXING。DANYOUYUXIANYOUDEZHICHENGGONGJUDUIDAGUIMOSHUJUJIAOHUANYEWUDEJIANKONGNENGLIFEICHANGBORUO,XITONGZHONGCHUXIANDESHUJUJIAOHUANWENTINANYIBEIJISHIFAXIAN、PINGGUYIJICHULI,JIYEWUYUNXINGDAILAILEHENDADEBUQUEDINGYINSU。

产品的核心价值

丰富的数据适配能力

  • 套件包含强大的数据适配能力,提供上百种适配器能适配连接各种数据源和数据格式;
  • 支持大数据平台适配,提供Hive,Hbase,Hdfs,Kafka,MongoDB适配组件;
  • 支持关系数据库,平文件、Web服务、以及主流应用协议如JMS\TCP&UDP\HTTP\FTP的接入适配。

高性能处理复杂数据转换

  • 提供大量可视化组件,包括数据校验、连接、查询、分割、合并(聚集)、映射、排序、过滤、去重、替换、条件分发、行列转换等功能完成复杂转换操作;
  • 基于流程和转换组件的多线程并发处理架构,可在单位时间内进行大批量级数据转换处理,性能卓越。

API服务集成和治理

  • 随着微服务架构的普及,越来越多的应用之间轻量级的业务协同采用Rest服务集成方式实现数据传输和交换。ADI大数据集成套件实现对各种数据源封装为标准API服务,并实现发布、代理、编排等功能实现跨系统的数据流转;同时提供API服务目录、发布订阅、流量限制、安全管控、服务水平等服务治理功能,实现平台API服务的统一精细化管控。

稳定可靠的数据交换传输

  • 针对跨区域、跨层级、跨部门的网络环境下的数据集成,需要提供高性能的传输通道以实现数据的跨网传输交换。大数据套件提供高性能的分布式消息队列作为底层传输管道,提供稳定可靠的数据和文件传输服务,有效支撑千万级表数据记录和TB级文件交换传输。

资源统一管理和业务集中配置

  • 套件提供完整的资源目录功能,帮助用户编制信息资源目录实现共享信息资源的管理,方便各部门用户及时完整的了解部门所有的可集成共享的信息资源,为数据集成和交换共享提供依据;
  • 同时提供数据交换集成的业务集中配置管理功能,提供向导式帮助用户快件配置集成交换任务流程并自动部署到远程交换节点,有效提高业务配置和集中管控效率。

统一资源监控管理

  • 大数据集成套件的管控平台可实现分布式多个运行服务器的统一监控和管理。用户只需要将运行服务器注册到监控平台,即可实现转换和作业流程资源的部署,调度,并实时监控各个服务器节点的运行状态信息,以及部署在运行服务器节点上的流程的运行状态以及数据处理效率和处理细节,包括处理成功数,失败数等等,同时提供各种可视化图表展现运行状况。

产品架构及特点

应用场景

数据库表同步、异构数据集成、数据跨层级、跨部门、跨区域数据交换传输、API服务集成、API服务管理、文件交换

典型案例

在国家统计局企业一套表项目中,通过大数据集成平台实现北京云万峰和清华同方两套统计联网直报平台32个省的月报,季报,年报等数据双向同步。数据同步涉及交换处理流程500多条,年数据同步量千万级,同步效率达1万条/秒。
平台采用全表同步和基于日志的异步CDC增量高效及时同步整合数据,有效支撑两套直报平台数据的一致性和完整性,为数据分析和数据比对提供高质量高精准的数据内容。

ZHENGJIANHUISHUJUJIAOHUANXITONGSHIWEILEJIANLIZHENGQUANQIHUOXINGYETONGYIDESHUJUGONGXIANGJIZHI,ZHICHIZHONGYANGJIANGUANXINXIPINGTAIYUQITABUWEIHUOJIANGUANJIGOUDESHUJUJIAOHUAN。ZHUYAOSHIWANCHENGHULIANWANG、ZHENGLIANWANG、SHEMINEIWANGZHIJIANDEWENJIANJIAOHUAN,JUBEISHUJUJIAOHUAN、SHUJUGONGXIANG、WENJIANJIAOHUAN、TONGJIJIANKONG、XITONGGUANLIDENGGONGNENG。

中国福彩网SUZHOUGONGYEYUANQUZHENGWUXINXIZIYUANGONGXIANGJIAOHUANPINGTAISHIWEIMANZURENKOUKUDEJIANLIGUOCHENGZHONGDESHUJUJIAOHUANERSHEZHIDEZHUANXIANGXIANGMU,ZAIMANZURENKOUKUJIANSHEXUQIUDEJICHUSHANG,WEIYUANQUTIGONGMIANXIANGSANDAKU(QIYEFARENKU、KONGJIANDILIXINXIKU、RENKOUKU)DEZIYUANGONGXIANGJIAOHUANFUWU,WEIYUANQUDIANZIZHENGWUJIANSHETIGONGWENDING、KEKAODEZIYUANGONGXIANGJIAOHUANFUWU。