Cloudera Manager 5.13.1 Hadoop群集离线安装

环境:宿主机 Win10 32G内存 CPU:i7 6700K

软件:VMware Workstation 14

硬盘:2块250G SSD

系统:Cento是6.9

网络:桥接

Master节点:4核CPU 10G内存 60G 磁盘

DataNode节点:2核,2G内存,20G磁盘

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

  1. 系统设置

网络配置(所有节点)

vi /etc/sysconfig/network修改hostname

每一台虚拟机对应一个主机名:node1—node5

NETWORKING=yes

HOSTNAME=node1

通过service network restart重启网络服务生效。

   
 

vi /etc/hosts,修改hosts (所有节点)

192.168.1.101 node1

192.168.1.102 node2

192.168.1.103 node3

192.168.1.104 node4

192.168.1.105 node5

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

重启服务

service network restart

打通SSH,设置ssh无密码登陆(所有节点)

在主节点上执行ssh-keygen -t rsa一路回车,生成无密码的密钥对。

将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys

scp文件到所有datenode节点:

scp ~/.ssh/authorized_keys root@node1:~/.ssh/
				

                
 

                
 

            

scp ~/.ssh/authorized_keys root@node2:~/.ssh/
				

                
 

                
 

            

scp ~/.ssh/authorized_keys root@node3:~/.ssh/
				

                
 

                
 

            

scp ~/.ssh/authorized_keys root@node4:~/.ssh/
				

                
 

                
 

            

   
 

关闭防火墙和SELinux(所有节点)

关闭防火墙:

chkconfig iptables off
						

                        
 

                                (重启后生效)
					

                    
 

                    
 

            

关闭SELINUX(实际安装过程中发现没有关闭也是可以的,不知道会不会有问题,还需进一步进行验证):

修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)
					

                    
 

                    
 

            

   
 

重启生效

配置NTP服务

master节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode节点提供时间同步服务。

所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件:yum install ntp

配置开机启动:chkconfig ntpd on

   
 

主节点node5配置

手动同步一下时间, ntpdate -u 65.55.56.206

编辑ntp配置文件

vi /var/lib/ntp/drift

restrict 127.0.0.1

restrict -6 ::1

restrict default nomodify notrap

server 65.55.56.206 prefer

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

   
 

配置文件完成,保存退出,启动服务,执行如下命令:service ntpd restart

   
 

配置ntp客户端(所有datanode节点)node1node4

vi /var/lib/ntp/drift

restrict 127.0.0.1

restrict -6 ::1

restrict
default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

#这里是主节点的主机名或者ip

server nnode5

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

ntpdate手动同步一下时间:ntpdate -u node5 (主节点ntp服务器)

polling server every 64 s

启动服务:service ntpd restart

   
 

安装Oracle的Java(所有节点)

卸载自带的OpenJdk,使用rpm -qa | grep java查询java相关的包,使用rpm -e –nodeps 包名卸载。

并使用rpm -ivh 包名

jdk-6u31-linux-amd64.rpm

可以从http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/ 下载

要配置全局JAVA_HOME变量:

echo “JAVA_HOME=/usr/java/latest/”
>> /etc/environment


   
 

安装组件 (所有节点)

yum install MySQL-python keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel mod_ssl openssl-devel postgresql-libs python-psycopg2 zlib-devel postgresql-server -y

因为我这边是使用内嵌的数据库Postgresql数据库,等全部安装好以后会提示让你用外部数据库。所以也可以安装Mysql数据库组件。

   
 

配置vim /etc/rc.loal (所有节点)

vim /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

保存退出

   
 

制作CDH本地源 主节点

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/ 下载所有的RMP包

http://archive.cloudera.com/cm5/installer/5.13.1/ 下载 Cloudera-manager-installer.bin

http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/ 下载CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1 manifest.json

把这3个文件上传到/opt/cloudera/parcel-repo 没有目录可以新建

需要注意的地方是CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1 需要改名为CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

在/var/www/html下建立文件夹CDH, 将CDH 5.13、CM5.0 cloudera-manager-installer.bin上传到此文件夹,本地源文件也可以放在一个目录下,安装过程中可能出现找不到包的问题,所以建议将所有的rpm都放到一个文件夹下面,包括系统的rpm包。

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

创建repo

yum install createrepo -y

cd /var/www/html/CDH/

createrepo ./

启动httpd服务:service httpd start

chkconfig httpd on

删除/etc/yum.repos.d/目录下的所有文件,添加my.repo文件

vim /etc/yum.repos.d/my.repo  添加以下内容

[myrepo]

name=myrepo

baseurl=http://master/CDH/

enabled=1

gpgcheck=0

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

  1.  
     

    安装

关键一步

因为在后面的配置中会安装上传到/var/www/html/CDH如下两个软件,但是安装很慢,所以先安装好,但是不要重启,要不然后面网页配置中会显示已接管。

cd /var/www/html/CDH

在所有节点运行

rpm -ivh cloudera-manager-agent-5.13.1-1.cm5131.p0.2.el6.x86_64.rpm

rpm -ivh cloudera-manager-daemons-5.13.1-1.cm5131.p0.2.el6.x86_64.rpm

   
 

主节点

赋予权限:chmod -R ugo+rx /var/www/html/CDH

   
 

安装CM,进入/var/www/html/CDH路径下

./cloudera-manager-installer.bin

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

会自动安装。安装完会提示打开浏览器7180端口配置。

   
 

  1. Cloudera Manager 配置

http://192.168.1.105:7180 网页需要等待1分钟左右才能打开

登录 admin admin

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

选择免费版

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

node1—node5 点击搜索

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

不勾选 因为手动安装了

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

不勾选,会涉及到后面配置的权限问题。

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

配置单用户模式官网介绍

https://www.cloudera.com/documentation/enterprise/latest/topics/install_singleuser_reqts.html

   
 

由于主机root用户配置密码为123456,这边也配置123456。也可以用之前配置好的私钥文件。

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

Node5 因为配置本地源,所以安装最快。其他节点要稍微慢一些

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

很快就安装好了

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

还记得在安装cloudera manager.bin文件之前,要在所有节点运行 cloudera-manager-agent-5.13.1-1.cm5131.p0.2.el6.x86_64.rpm、cloudera-manager-daemons-5.13.1-1.cm5131.p0.2.el6.x86_64.rpm 这两个rpm程序吗?

虽然在这一步的安装日志中也有显示安装信息,但是,经过实测,不事先安装的话,会等待很长时间。

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

由于事先把Parcel文件下载好了,分配和解压会占用CPU和磁盘很高的性能

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

由于事先对系统做了配置,所以没有报错信息。

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

但是在下拉到底部有看到不可用和不适用,不知道哦什么原因。

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

安装基本服务,这边服务选择越少越好,因为有些服务是需要配置的,会有配置不成功的结果,可以等最小化安装好,再到配置页面添加相应的服务。

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

选择主机的服务可以选择分配,也可以选择不分配。如果要分配的话,一般选择主节点,本例是node5。但是这边的SecondaryNameNode不建议和它前面的NameNode安装在同一个节点。如果都在同一个节点,此节点主机挂了,则整个群集都会挂掉。分开装的好处是做到NameNode高可用。事后才想到的。

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

按主机查看

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

本例采用嵌入式数据库,数据库配置是随机的,且无法更改。。推荐使用MySQL,被Cloudera 坑了。等安装完才提示Postgresql不建议在生产环境用,尼玛!《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

测试连接

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

默认不改

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

很吃CPU

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

开始部署服务的时候,主节点内存就上来了

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

成功安装

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

添加服务

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

按需添加所需的服务

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

由于添加了服务,导致对服务器的CPU压力,把主节点内存加到16 G,CPU 4核8线程。

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

《Cloudera Manager 5.13.1 Hadoop群集离线安装》

   
 

本次安装教程到此结束,后面的服务报警配置省略。基本都是按照提示的参数设置就可以了。

点赞

发表评论