汕头移动数据枢纽建设项目_北京傲飞商智软件有限公司
傲飞商智
扫描关注傲飞商智微信公众账号

扫一扫微信二维码

项目介绍

[ 汕头移动名人2登录枢纽建设项目 ]

项目案例电信行业
案例标签
Hadoop
名人2登录接口
Hive
名人2登录枢纽
案例介绍
汕头移动的名人2登录枢纽平台在傲飞名人2登录整合平台的基础上完成。
该名人2登录枢纽平台的主要功能是将各个业务系统的名人2登录库表、FTP文件、Web服务提供的名人2登录,接入到Hadoop平台。平台的主要完成的功能如下:
1、实现关系型名人2登录库表、FTP文件经过名人2登录抽取——名人2登录转换后,装载进HADOOP平台名人2登录管理接口机,并操作HADOOP平台管理接口机完成名人2登录文件切片的机制。
2、线上配置作业周期(日、月)、作业名称、名人2登录抽取依据(增量、全量)等。
3、线上配置名人2登录源类型、名人2登录源IP地址、名人2登录源用户密码、作业发起时间点,并可以检测服务主机与名人2登录源IP的网络环境与名人2登录源信息的准确性。
4、线上配置目标名人2登录源库表或文件名称,支持从指定名人2登录源中读取所有库表和文件名称提供选择。
5、读取名人2登录源库表或文件名人2登录结构,可选择需入库字段信息、可配置名人2登录源名人2登录的筛选条件。
6、线上配置进入HADOOP平台的文件名称格式。
7、名人2登录源支持关系型名人2登录库包括Oracle、SQL Server、MySQL。
8、对用户配置具有一定的容错能力,能检测用户配置内容的正确性。
9、对在线有效作业进行实时监控。可查看每个名人2登录装载作业的运行情况和每个步骤的具体日志。
10、     实现对名人2登录装载作业的管理机制,可线上配置作业过期、删除等。
11、     支持一定的名人2登录聚合、统计功能
12、     对重复的名人2登录要能去重、可以制定名人2登录规则,过滤无效名人2登录。
13、     支持不能直接连接的名人2登录源(Oracle 名人2登录库),通过HTTP 代理方式获取名人2登录。
该平台的架构图、功能图、部署图分别说明如下:



功能图
 

架构图
系统架构图说明:
1.        名人2登录接入:从外网省公司的名人2登录集市中下载需要的名人2登录,通过前置机抽取名人2登录,名人2登录枢纽平台从前置机获取名人2登录文件。
2.        内部的名人2登录交互: 内网的Hadoop平台、分布式Mysql名人2登录库,其它关系名人2登录库之间名人2登录的相互操作,都通过统一的名人2登录枢纽平台完成
3.        对外名人2登录服务,都通过名人2登录枢纽平台对外提供服务,这里面包括用户创建,服务创建,服务鉴权、服务配置等。
4.        Hadoop平台和分布式Mysql名人2登录库可以使用两种方式Webservice和FTP
 
 




部署说明:
1.        名人2登录枢纽分两部分部署:名人2登录集市接口服务器(80),及名人2登录枢纽应用服务器(主备两台)。
2.        名人2登录枢纽Web界面的访问时通过部署在本地的名人2登录枢纽应用服务器,存放名人2登录的名人2登录库使用本地的Mysql分布式名人2登录库
3.        本地部署的名人2登录枢纽服务,对外开放一个专用的Rest API接口,名人2登录集市接口服务器上部署的名人2登录枢纽提交作业任务信息使用。这样两个个地方部署的名人2登录枢纽服务,各种作业信息都会保存到本地部署的名人2登录枢纽服务的名人2登录库中,便于查找和监控
4.        名人2登录枢纽所有对外提供的名人2登录接口服务统一由部署在本地的名人2登录枢纽服务提供。


 

 

 

  • 咨询热线
    010-6298-6313

  • 点我,咨询