随着大数据的日益普及,很多人对大数据越来越感兴趣,有些程序开发者也跃跃欲试,但是苦于不会搭建hadoop集群环境,而常常被拦在大数据的门槛之外。本文以图文并茂的方式,旨在说明如何在自己的虚拟机上搭建hadoop集群环境,由于环境不同仅供大家参考!
一、机器环境详细说明:
虚拟机:VirtualBox5.1.28
linux系统:centos6.9
jdk:JavaHotSpot(TM)64-Bit1.8.0_
数据库:MySQL5.1
ambari:ambari2.5.0.3
hdp:hdp2.5.3
节点数:4个,关闭所有机器的防火墙,设置好时钟同步
集群方式:完全分布式
hadoop集群机器环境说明二、配置集群间机器名
为了方便集群间的访问,我们按上表为每个机器配置好各个机器名称,具体设置如下:
通过/etc/sysconfig/network配置文件修改其机器名。通过/etc/hosts配置文件来设置其FQDN(FullyQualifiedDomainName)全限定域名。
主服务器..65.设置为主机名为master,全限定域名为master.hadoop。
集群中主服务器的设置集群中主服务器的设置按相同设置来分别配置其他三个机器节点,对应表如下:
集群中其他三台机器的配置三、配置集群间ssh互通
由于hadoop集群间存在任务计划分发、心跳监测以及任务管理、多租户管理等等通信,为了通信安全选择采用ssh方式,为了方便通信我们将ssh配置成无密码免登陆方式。具体操作请参考我的另一篇文章:要做服务器集群,如何配置集群免密互通?使用SSH秘钥一招搞定!
从零开始学Hadoop大数据分析(视频教学版)京东好评率97%无理由退换京东配送官方店旗舰店¥89购买四、通过yum安装ambari-server
ambari-server安装在主服务器..65.上。
1、配置ambari-server的yum源,使用wget命令下载ambari的yum源。
wget-nv