Centos6.5中安装配置Cloudera CDH Hadoop集群

运行环境软硬件环境

主机操作系统：Windows 10, 64-bit (Build 10586) 10.0.10586
虚拟软件：VMware®Workstation 11.1.2 build-2780323
虚拟机操作系统：CentOS 6.5 64bit，单核，5G内存

准备工作

设置IP

删除原来的连接信息，新建一个连接，设置该连接为手工方式，设置如下信息（需根据虚拟机设置相应参数以保证可以正常上网）：
IP地址：192.168.149.101
子网掩码：255.255.255.0
网关：192.168.149.2
DNS：192.168.149.2

设置hosts

编辑hosts文件，添加如下信息：

1
2
3

192.168.149.101	hadoop1
192.168.149.102 hadoop2
192.168.149.103 hadoop3

关闭防火墙和Selinux

1 2	chkconfig iptables off vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效

设置机器名

以root用户登录，使用vi /etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1。

下载并安装Oracle JDK

下载说明：
• CDH 5 - Java Development Kit Installation.
• CDH 4 - Java Development Kit Installation.
本操作手册中使用：jdk-8u60-linux-x64.rpm
进入下载文件存放文件夹中：
执行：yum localinstall –nogpgcheck jdk*.rpm

安装完成后设置java环境变量：

1	export JAVA_HOME=/usr/java/default

安装Cloudera Manager

下载相关安装文件

下载Cloudera Manager安装文件
Cloudera Manager的可以从如下网址获得：
http://archive.cloudera.com/cm5/installer/
这里选择Cloudera Manager 最新版5.0.1
http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
下载Cloudera Manager所需的rpm包
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.5/RPMS/x86_64/

安装相关软件包

将下载的RPM安装包放入文件夹rmp中(文件夹名称随意)
终端执行：

1	yum localinstall --nogpgcheck *.rpm

配置agent,启动服务

1	vim /etc/cloudera-scm-agent/config.ini

修改主机名:

启动相关服务：

启动db：service cloudera-scm-server-db start
~~启动agent:service cloudera-scm-agent start~~
(2017.2.28 纠正：agent在安装完manger后启动，感谢清华同学的提醒！)

安装manager

进入cloudera-manager-installer.bin的下载目录,执行以下命令：

1 2	chmod u+x cloudera-manager-installer.bin ./cloudera-manager-installer.bin

安装过程：

安装过程若遇到以下错误：

请删除db.properties文件：

1	rm /etc/cloudera-scm-server/db.properties

配置本地源

下载CDH parcels安装包，Parcel的可以从如下网址获得，下载.parcel文件、.sha（若为.sha1则需修改一下文件名）文件和manifest.json文件：
http://archive.cloudera.com/cdh5/parcels/5.5.0/
把以下载的.parcel、.sha文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下

重启系统

配置集群

登陆CM

启动相关服务:

1 2	service cloudera-scm-server-db start service cloudera-scm-agent start

浏览器输入localhost：7180初次登录用户名：admin 密码：admin

安装主机

选择安装CDH版本

这里选择前面下载的parcel对应版本的CDH：

点击继续进行安装：

主机检查

系统将进行主机检查，检查结果可能会出现下面两个问题：

对于swappiness值不为零的问题

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：hadoop1

首先执行：sysctl vm.swappiness=0
将swappiness值设置成0；
然后执行：vim /etc/sysctl.conf
编辑sysctl.conf文件，添加下面代码，使之下次开机时直接生效：

1 2	# Search for the vm.swappiness setting. Uncomment and change it as necessary. vm.swappiness=0

对于“透明大页面”的问题

已启用“透明大页面”，它可能会导致重大的性能问题。版本为“/sys/kernel/mm/transparent_hugepage”且发行版为“{1}”的Kernel已 enabled设置为“{2}”，并将defrag设置为“{3}”。请运行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到一个init脚本中，如/etc/rc.local，这样当系统重启时就会予以设置。或者，升级到 RHEL 6.5 或更新版本，它们不存在此错误。将会影响到以下主机：hadoop1

执行：

1 2	echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag echo 'echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag'>> /etc/rc.local

选择内核

选择安装含Spark的内核：

角色分配

默认即可：

数据库设置

默认：

首次运行

首次运行，等待部署：

注：该过程若出现错误，可能导致的原因是内存不足，本次安装虚拟机分配5G内存，可以正常部署。