Cloudera Manager 5.13.1 Hadoop群集离线安装

  • 内容
  • 评论
  • 相关

环境:宿主机 Win10 32G内存 CPU:i7 6700K

软件:VMware Workstation 14

硬盘:2块250G SSD

系统:Cento是6.9

网络:桥接

Master节点:4核CPU 10G内存 60G 磁盘

DataNode节点:2核,2G内存,20G磁盘


  1. 系统设置

网络配置(所有节点)

vi /etc/sysconfig/network修改hostname

每一台虚拟机对应一个主机名:node1—node5

NETWORKING=yes

HOSTNAME=node1

通过service network restart重启网络服务生效。

   
 

vi /etc/hosts,修改hosts (所有节点)

192.168.1.101 node1

192.168.1.102 node2

192.168.1.103 node3

192.168.1.104 node4

192.168.1.105 node5


重启服务

service network restart

打通SSH,设置ssh无密码登陆(所有节点)

在主节点上执行ssh-keygen -t rsa一路回车,生成无密码的密钥对。

将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys

scp文件到所有datenode节点:

scp ~/.ssh/authorized_keys root@node1:~/.ssh/
				

                
 

                
 

            

scp ~/.ssh/authorized_keys root@node2:~/.ssh/
				

                
 

                
 

            

scp ~/.ssh/authorized_keys root@node3:~/.ssh/
				

                
 

                
 

            

scp ~/.ssh/authorized_keys root@node4:~/.ssh/
				

                
 

                
 

            

   
 

关闭防火墙和SELinux(所有节点)

关闭防火墙:

chkconfig iptables off
						

                        
 

                                (重启后生效)
					

                    
 

                    
 

            

关闭SELINUX(实际安装过程中发现没有关闭也是可以的,不知道会不会有问题,还需进一步进行验证):

修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)
					

                    
 

                    
 

            

   
 

重启生效

配置NTP服务

master节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode节点提供时间同步服务。

所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件:yum install ntp

配置开机启动:chkconfig ntpd on

   
 

主节点node5配置

手动同步一下时间, ntpdate -u 65.55.56.206

编辑ntp配置文件

vi /var/lib/ntp/drift

restrict 127.0.0.1

restrict -6 ::1

restrict default nomodify notrap

server 65.55.56.206 prefer

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

   
 

配置文件完成,保存退出,启动服务,执行如下命令:service ntpd restart

   
 

配置ntp客户端(所有datanode节点)node1node4

vi /var/lib/ntp/drift

restrict 127.0.0.1

restrict -6 ::1

restrict
default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

#这里是主节点的主机名或者ip

server nnode5

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

ntpdate手动同步一下时间:ntpdate -u node5 (主节点ntp服务器)

polling server every 64 s

启动服务:service ntpd restart

   
 

安装Oracle的Java(所有节点)

卸载自带的OpenJdk,使用rpm -qa | grep java查询java相关的包,使用rpm -e –nodeps 包名卸载。

并使用rpm -ivh 包名

jdk-6u31-linux-amd64.rpm

可以从http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/ 下载

要配置全局JAVA_HOME变量:

echo “JAVA_HOME=/usr/java/latest/”
>> /etc/environment


   
 

安装组件 (所有节点)

yum install MySQL-python keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel mod_ssl openssl-devel postgresql-libs python-psycopg2 zlib-devel postgresql-server -y

因为我这边是使用内嵌的数据库Postgresql数据库,等全部安装好以后会提示让你用外部数据库。所以也可以安装Mysql数据库组件。

   
 

配置vim /etc/rc.loal (所有节点)

vim /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

保存退出

   
 

制作CDH本地源 主节点

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/ 下载所有的RMP包

http://archive.cloudera.com/cm5/installer/5.13.1/ 下载 Cloudera-manager-installer.bin

http://archive-primary.cloudera.com/cdh5/parcels/5.13.1/ 下载CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1 manifest.json

把这3个文件上传到/opt/cloudera/parcel-repo 没有目录可以新建

需要注意的地方是CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1 需要改名为CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha


在/var/www/html下建立文件夹CDH, 将CDH 5.13、CM5.0 cloudera-manager-installer.bin上传到此文件夹,本地源文件也可以放在一个目录下,安装过程中可能出现找不到包的问题,所以建议将所有的rpm都放到一个文件夹下面,包括系统的rpm包。


创建repo

yum install createrepo -y

cd /var/www/html/CDH/

createrepo ./

启动httpd服务:service httpd start

chkconfig httpd on

删除/etc/yum.repos.d/目录下的所有文件,添加my.repo文件

vim /etc/yum.repos.d/my.repo  添加以下内容

[myrepo]

name=myrepo

baseurl=http://master/CDH/

enabled=1

gpgcheck=0


   
 

  1.  
     

    安装

关键一步

因为在后面的配置中会安装上传到/var/www/html/CDH如下两个软件,但是安装很慢,所以先安装好,但是不要重启,要不然后面网页配置中会显示已接管。

cd /var/www/html/CDH

在所有节点运行

rpm -ivh cloudera-manager-agent-5.13.1-1.cm5131.p0.2.el6.x86_64.rpm

rpm -ivh cloudera-manager-daemons-5.13.1-1.cm5131.p0.2.el6.x86_64.rpm

   
 

主节点

赋予权限:chmod -R ugo+rx /var/www/html/CDH

   
 

安装CM,进入/var/www/html/CDH路径下

./cloudera-manager-installer.bin









会自动安装。安装完会提示打开浏览器7180端口配置。

   
 

  1. Cloudera Manager 配置

http://192.168.1.105:7180 网页需要等待1分钟左右才能打开

登录 admin admin


   
 


选择免费版


   
 


   
 

node1—node5 点击搜索



   
 


   
 

不勾选 因为手动安装了


   
 

不勾选,会涉及到后面配置的权限问题。


配置单用户模式官网介绍

https://www.cloudera.com/documentation/enterprise/latest/topics/install_singleuser_reqts.html

   
 

由于主机root用户配置密码为123456,这边也配置123456。也可以用之前配置好的私钥文件。


   
 

Node5 因为配置本地源,所以安装最快。其他节点要稍微慢一些


很快就安装好了


   
 

还记得在安装cloudera manager.bin文件之前,要在所有节点运行 cloudera-manager-agent-5.13.1-1.cm5131.p0.2.el6.x86_64.rpm、cloudera-manager-daemons-5.13.1-1.cm5131.p0.2.el6.x86_64.rpm 这两个rpm程序吗?

虽然在这一步的安装日志中也有显示安装信息,但是,经过实测,不事先安装的话,会等待很长时间。


   
 


   
 


   
 

由于事先把Parcel文件下载好了,分配和解压会占用CPU和磁盘很高的性能


   
 


   
 

由于事先对系统做了配置,所以没有报错信息。


   
 

但是在下拉到底部有看到不可用和不适用,不知道哦什么原因。


   
 

安装基本服务,这边服务选择越少越好,因为有些服务是需要配置的,会有配置不成功的结果,可以等最小化安装好,再到配置页面添加相应的服务。


   
 

选择主机的服务可以选择分配,也可以选择不分配。如果要分配的话,一般选择主节点,本例是node5。但是这边的SecondaryNameNode不建议和它前面的NameNode安装在同一个节点。如果都在同一个节点,此节点主机挂了,则整个群集都会挂掉。分开装的好处是做到NameNode高可用。事后才想到的。


按主机查看


   
 

本例采用嵌入式数据库,数据库配置是随机的,且无法更改。。推荐使用MySQL,被Cloudera 坑了。等安装完才提示Postgresql不建议在生产环境用,尼玛!

   
 

测试连接


   
 

默认不改


   
 


很吃CPU


   
 

开始部署服务的时候,主节点内存就上来了


成功安装


   
 



   
 

添加服务


   
 

按需添加所需的服务


   
 


   
 


   
 


   
 


   
 


   
 


   
 


   
 


   
 

由于添加了服务,导致对服务器的CPU压力,把主节点内存加到16 G,CPU 4核8线程。


   
 


   
 

本次安装教程到此结束,后面的服务报警配置省略。基本都是按照提示的参数设置就可以了。