想学大数据不会搭建集群别慌,基于amba

北京扁平疣医院那个好 http://m.39.net/pf/a_8812972.html

随着大数据的日益普及,很多人对大数据越来越感兴趣,有些程序开发者也跃跃欲试,但是苦于不会搭建hadoop集群环境,而常常被拦在大数据的门槛之外。本文以图文并茂的方式,旨在说明如何在自己的虚拟机上搭建hadoop集群环境,由于环境不同仅供大家参考!

一、机器环境详细说明:

虚拟机:VirtualBox5.1.28

linux系统:centos6.9

jdk:JavaHotSpot(TM)64-Bit1.8.0_

数据库:MySQL5.1

ambari:ambari2.5.0.3

hdp:hdp2.5.3

节点数:4个,关闭所有机器的防火墙,设置好时钟同步

集群方式:完全分布式

hadoop集群机器环境说明

二、配置集群间机器名

为了方便集群间的访问,我们按上表为每个机器配置好各个机器名称,具体设置如下:

通过/etc/sysconfig/network配置文件修改其机器名。通过/etc/hosts配置文件来设置其FQDN(FullyQualifiedDomainName)全限定域名。

主服务器..65.设置为主机名为master,全限定域名为master.hadoop。

集群中主服务器的设置集群中主服务器的设置

按相同设置来分别配置其他三个机器节点,对应表如下:

集群中其他三台机器的配置

三、配置集群间ssh互通

由于hadoop集群间存在任务计划分发、心跳监测以及任务管理、多租户管理等等通信,为了通信安全选择采用ssh方式,为了方便通信我们将ssh配置成无密码免登陆方式。具体操作请参考我的另一篇文章:要做服务器集群,如何配置集群免密互通?使用SSH秘钥一招搞定!

从零开始学Hadoop大数据分析(视频教学版)京东好评率97%无理由退换京东配送官方店旗舰店¥89购买

四、通过yum安装ambari-server

ambari-server安装在主服务器..65.上。

1、配置ambari-server的yum源,使用wget命令下载ambari的yum源。

wget-nv


转载请注明:http://www.aierlanlan.com/grrz/4814.html