收藏本站 您好,欢迎来到化妆品信息网 请登录 免费注册 行业导航 产品 求购 企业 动态 展会 招聘
分享到:


 


一分耕耘,一分收获,来到千锋学习大数据技术的两个月里,深刻的认识到了这句话的真谛。

比起大学里吃喝玩乐,混日子,白白丢掉大把的光阴。在千锋的每一天都十分充实。每天依旧按部就班,从清早踏进教室的大门,到午夜时分,迎着月光回到寝室,每一天都仿佛是一场精神上的洗礼,脑子里装着满满的知识,整个人虽然非常疲惫,但此刻内心却无比的平静。

随着学习的节奏越来越快,每天没有多余的时间给我浪费,只有埋头苦学,才能追赶那些优秀的人。一分耕耘,一分收获,我的路还很长,肯付出便有希望,加油。

下面是我近期学习大数据技术的一些笔记,记录每一个阶段自己的学习情况,是作为程序员的一个很好的习惯。

hdfs haadmin -failover 手动进行故障转移,在该模式下,即使现役,NameNode 已经失效,系统也不会自动从现役NameNode 转移到待机 NameNode,下面学习如何部署 HA  自动进行故障转移。自动故障转移为 HDFS  部署增加了两个新组件:

 

ZooKeeper  ZKFailoverControllerZKFC)进程。ZooKeeper 是维护少量协调数据,通知客户端这些数据的改变和监视客户端故障的高可用服务。HA  的自动故障转移依赖于ZooKeeper 的以下功能:

1 故障检测:集群中的每个 NameNode  ZooKeeper 中维护了一个持久会话,如果机器崩溃,ZooKeeper 中的会话将终止,ZooKeeper 通知另一个 NameNode 需要触发故障转移。

2 现役 NameNode 选择:ZooKeeper 提供了一个简单的机制用于唯一的选择一个节点为 active 状态。如果目前现役 NameNode 崩溃,另一个节点可能从 ZooKeeper 获得特殊的排外锁以表明它应该成为现役NameNode

ZKFC 是自动故障转移中的另一个新组件,是 ZooKeeper 的客户端,也监视和管理

NameNode 的状态。每个运行 NameNode 的主机也运行了一个 ZKFC 进程,ZKFC 负责:

1 健康监测:ZKFC 使用一个健康检查命令定期地 ping 与之在相同主机的NameNode,只要该 NameNode 及时地回复健康状态,ZKFC 认为该节点是健康的。如果该节点崩溃,或进入不健康状态,健康监测器标识该节点为非健康的。

2 ZooKeeper会话管理:当本地 NameNode 是健康的,ZKFC 保持一个在 ZooKeeper中打开的会话。如果本地 NameNode 处于 active 状态,ZKFC 也保持一个特殊的 znode 锁, 该锁使用了 ZooKeeper 对短暂节点的支持,如果会话终止,锁节点将自动删除。

3 基于 ZooKeeper的选择:如果本地 NameNode 是健康的,且 ZKFC 发现没有其它的节点当前持有 znode 锁,它将为自己获取该锁。如果成功,则它已经赢得了选择,并负责运行故障转移进程以使它的本地NameNode  active。故障转移进程与前面描述的手动故障转移相似,首先如果必要保护之前的现役 NameNode,然后本地 NameNode 转换为 active 状态。

路漫漫其修远兮,吾将上下而求索。希望以我的例子借鉴那些尚有理智的朋友,浪子回头,亦可直走巅峰。人生的路很长,此刻放下贪恋,创造你的人生价值,不晚。

千锋教育:http://www.mobiletrain.org/

千锋武汉校区:http://wh.mobiletrain.org/

武汉金融港校区地址:武汉市东湖高新技术开发区光谷大道77号金融港B18栋3楼

武汉智慧园校区地址:武汉市东湖高新技术开发区光谷大道61号智慧园21栋2楼

培训咨询专线:027-59313371

   QQ  : 1660794050

面授课程:HTML5大前端培训、JavaEE+分布式开发培训、Python全栈+人工智能培训、全链路UI/UE设计培训、物联网+嵌入式培训、360网络安全、大数据+人工智能培训、全栈软件测试培训、PHP全栈+服务器集群培训、云计算+信息安全培训、Unity游戏开发培训、区块链、红帽RHCE认证、好程序员

分享到:
免责声明
1)本信息由“北京千锋互联科技有限公司”发布,由“北京千锋互联科技有限公司”负责信息的合法性;
2)本站平台目的在于分享更多信息,不代表本站的观点和立场;信息仅供参考,不构成投资及交易建议。投资者据此操作,风险自担。
3)本信息如有侵权请将此链接发邮件至517763949@qq.com,本站将及时处理并回复。
4)《新著作权法草案》第六十九条规定:网络服务提供者为网络用户提供存储、搜索或者链接等单纯网络技术服务时,不承担与著作权或相关权有关的信息审查义务。网络用户利用网络服务实施侵犯著作权或者相关权行为的,被侵权人可以书面通知网络服务提供者,要求其采取删除、屏蔽、断开链接等必要措施。