Jenkins持续集成企业实战系列

王哥哥 Linux 3,972 次浏览 没有评论

 

 

 

 

 

 

 

 

 

 

 

目 录

1.    传统网站部署的流程    2

2.    目前主流网站部署的流程    3

3.    Jenkins持续集成简介    4

4.    持续集成意义    5

5.    持续集成组件    5

6.    Jenkins安装部署    6

7.    Jenkins配置演示    7

8.    Jenkins手动构建    13

9.    Jenkins脚本自动化    15

10.    自动部署脚本    16

11.    Jenkins插件安装    18

12.    Jenkins邮件设置    21

13.    Jenkins多实例配置    25

14.    Jenkins整合Ansible    30

 

 

 

 

 

  1. 传统网站部署的流程

传统的网站部署,大家在运维过程中,网站部署是运维的工作之一,网站部署的流程大致分为:

需求分析—原型设计—开发代码—提交测试—内网部署—确认上线—备份数据—外网更新-最终测试,如果发现外网部署的代码有异常,需要及时回滚。(如下图所示)


案例演示:部署LAMP网站,同时更新网页内容,检查效果!


更新完后的网站内容:


  1. 目前主流网站部署的流程

目前主流网站部署方法,通过Hudson/Jenkins工具平台实现全自动部署+测试,是一个可扩展的持续集成引擎,是一个开源软件项目,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能。Jenkins非常易于安装和配置,简单易用。

简单来说方便如下人员:

  1. 开发人员:写好代码,不需要自己进行源码编译、打包等工作,直接将代码分支存放在SVN、GIT仓库即可。

  2. 运维人员:减轻人工干预的错误率,同时解放运维人员繁杂的上传代码、手动备份、更新。

  3. 测试人员:可以通过jenkins进行简单的代码及网站测试。


  1. Jenkins持续集成简介

持续集成(Continuous Integration)是一种软件开发实践,对于提高软件开发效率并保障软件开发质量提供了理论基础。Jenkins 是一个开源软件项目,旨在提供一个开放易用的软件平台,使持续集成变成可能。本文正是从持续集成的基本概念入手,通过具体实例,介绍了如何基于 Jenkins 快速搭建持续集成环境。

Jenkins是一个可扩展的持续集成引擎,是一个开源软件项目,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能。Jenkins非常易于安装和配置,简单易用。

  1. 持续集成意义

  1. 持续集成中的任何一个环节都是自动完成的,无需太多的人工干预,有利于减少重复过程以节省时间、费用和工作量;
  2. 持续集成保障了每个时间点上团队成员提交的代码是能成功集成的。换言之,任何时间点都能第一时间发现软件的集成问题,使任意时间发布可部署的软件成为了可能;
  3. 持续集成还能利于软件本身的发展趋势,这点在需求不明确或是频繁性变更的情景中尤其重要,持续集成的质量能帮助团队进行有效决策,同时建立团队对开发产品的信心。
    1. 持续集成组件

  4. 一个自动构建过程,包括自动编译、分发、部署和测试;
  5. 一个代码存储库,即需要版本控制软件来保障代码的可维护性,同时作为构建过程的素材库,例如SVN、GIT代码库;
  6. 一个jenkins持续集成服务器(123.57.11.203服务器就是一个配置简单和使用方便的持续集成服务器)
    1. Jenkins安装部署

地址http://mirrors.jenkins-ci.org/下载适合的Jenkins版本。

Linux稳定版的Jenkins地址为:http://ftp.yz.yamagata-u.ac.jp/pub/misc/jenkins/war-stable/1.651.2/jenkins.war

由于Jenkins属于一个JAVA 代码,需要java容器才能运行jenkins,所以需要安装JDK+Tomcat,方法如下:

  1. JAVA JDK安装

#下载相应的jdk软件包,然后解压安装,我这里包名称为:jdk-7u25-linux-x64.tar.gz

tar -xzf jdk-7u25-linux-x64.tar.gz ;mkdir -p /usr/java/ ;mv jdk1.7.0_25/ /usr/java/

#然后配置环境变量,这样可以任何地方引用jdk,如下配置:

#vi /etc/profile 最后面加入以下语句:

export JAVA_HOME=/usr/java/jdk1.7.0_25

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin

#source /etc/profile #使环境变量马上生效

#java –version #查看java版本,看到jdk1.7.0_25版本即代表java jdk安装成功。

  1. Tomcat安装配置

#官方网站下载tomcat 6.0.30或者其他版本:

wget http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-6/v6.0.45/bin/apache-tomcat-6.0.45.tar.gz

tar xzf apache-tomcat-6.0.45.tar.gz

#直接解压就可以使用,解压完成执行:

mv apache-tomcat-6.0.45 /usr/local/tomcat

把得到的war包直接扔到tomcat下webapps/ROOT/下,启动tomcat,Jenkins就安装完毕!

rm -rf /usr/local/tomcat/webapps/* ;

mkdir -p /usr/local/tomcat/webapps/ROOT/;

mv jenkins.war /usr/local/tomcat/webapps/ROOT/;


  1. Jenkins配置演示

在学习Jenkins之前我们先来了解几个常用的开发代码、构建代码的几个名词:MAKE、ANT、MAVEN、Eclipse、Jenkins

  1. Make工具

Linux或者Windows最原始的编译工具,在linux下编译程序常用make(Windows下对应的工具为nmake)。它负责组织构建的过程,负责指挥编译器如何编译,连接器如何连接,最后生成一个可用的文件。

  1. Ant工具

Make编译一些比较复杂的工具使用起来不灵活,语法很难理解,延伸出ant工具。

  1. Maven工具

Maven工具是对ant工具的进一步改进,在make工具中,如果我们要编译某些源文件,首先要安装编译器等工具。有时候需要不同版本的编译器,在java的编译器需要不同的各种包的支持,如果把每个包都下载下来,在makefile中进行配置制定,当需要的包非常多时,很难管理。

Maven像make一样,是个构建(build)工具,它如何调用各种不同的编译器连接器等呢?使用Maven plugin (maven 插件)。

  1. Jenkins工具

Maven已经很强大了,那Jenkins是个什么东西?

其实Maven还是不够强大。Maven可以控制编译,控制连接,可以生成各种报告,可以进行代码测试。

可是如何控制这个流程呢? 编译还是先连接?先进行代码测试,还是先生成报告?可以使用脚本来对maven进行控制,实现这些流程的控制。

  1. Eclipse工具

 

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

  1. Maven项目对象模型POM (Project Object Model),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具。Maven 除了以程序构建能力为特色之外,还提供高级项目管理工具。
  2. POM是Maven项目中的文件,使用XML表示,名称叫做pom.xml。在Maven中,当谈到Project的时候,不仅仅是一堆包含代码的文件。一个Project往往包含一个配置文件,包括了与开发者有关的,缺陷跟踪系统,组织与许可,项目的URL,项目依赖,以及其他。它包含了所有与这个项目相关的东西。事实上,在Maven世界中,project可以什么都没有,甚至没有代码,但是必须包含pom.xml文件。
  3. 由于 Maven 的缺省构建规则有较高的可重用性,所以常常用两三行 Maven 构建脚本就可以构建简单的项目。由于 Maven 的面向项目的方法,许多 Apache Jakarta 项目发文时使用 Maven,而且公司项目采用 Maven 的比例在持续增长。

安装JDK及MAVEN工具,并在Jenkins平台进行设置,如下步骤

wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

tar -xzf apache-maven-3.3.9-bin.tar.gz ;mv apache-maven-3.3.9 /usr/maven/


然后设置如下:


  1. 返回首页,第一次进入里面没有数据,我们需要创建项目工程job。
  2. 点击左上角的new job,在new job页面需要选择job的类型,Jenkins支持几种类型,我们选择”构建一个maven项目”,Job名为:jfedu,如图所示:


  1. 点击OK按钮后,进会进入详细配置界面,详细配置界面的配置项很多,不过不用怕,大部分使用默认配置就可以了,下面就说说我们需要修改的几个地方:
  2. Source Code Management

因为我们使用SVN管理源码,所以这里选择Subversion,并在Repository URL中输入我们的SVN地址:

svn://123.57.11.203:8801/edu/

输入SVN库的URL地址后,Jenkins会自动验证地址,并给予提示。


如果需要SVN用户名和密码:

用户名:wuguangke

密码:shareku&1118

  1. 配置自动构建的计划,假设我们想让项目晚上8点自动构建一次,只需要在Build Triggers中选择Build periodically,并在Schedule中输入 0 20 * * *,我配置的是每晚8点自动构建:


注:Schedule的配置规则是有5个空格隔开的字符组成,从左到右分别代表:分 时 天 月 年。*代表所有,0 20 * * * 表示”在任何年任何月任何天20点0分”进行构建。

  1. 配置到这里,可能有人发现在Build配置节点,有红色错误信息,提示

Jenkins needs to know where your Maven2 is installed. 
Please do so from the system configuration.

如图所示:


这是因为Jenkins找不到maven的原因,点击”system configuration”,是system configuration的maven配置中添加maven目录就OK,如下图:


我设置了JRE 7和MAVEN的安装目录。

点击左下角的SAVE按钮,保存设置,保存好所有配置后,我们第1个job就算是完成了。

  1. Jenkins手动构建

在经过上面的配置后,回到Jenkins首页,在首页可以看到刚才添加的1个job,如下图:


点击某1个job后后面的”Schedule a build”图片手动构建,点击完后,会在左边的Build Queue或者Build Executor Status 显示正在构建的任务,在自动构建完后,刷新页面,就可以看到构建结果了,如何某个项目构建失败,点击项目后面的构建数字(从1开始递增)进入项目的”Console Output “可以查看项目构建失败的原因。当然我们也可以配置把构建失败的结果发到邮箱。


构建完成


  1. Jenkins脚本自动化

  1. 点击工程名称-配置-构建后操作-设置Jenkins编译打包完后,war包存放的位置,如下图:
  2. 然后输入如下配置:**/target/*.war


  1. 如上-构建触发器-一个构建步骤,选择Add-post-build step-Excute shell


  1. 然后把脚本内容写入即可


代码如下:

rm -rf /root/.jenkins/workspace/jfedu/target/edu.war

cp /root/.jenkins/workspace/jfedu/target/edu.war /root/.jenkins/jobs/jfedu/builds/lastSuccessfulBuild/archive/target/

ssh root@121.42.183.93 ‘bash -x -s’ < /data/sh/auto_deploy.sh

#for I in `cat ip.txt`;do ssh root@${I} ‘bash -x -s’ < /data/sh/auto_deploy.sh ;done

  1. 自动部署脚本

#!/bin/bash

#Auto deploy Tomcat for jenkins perf

#by author wugk 2016-07-06

export JAVA_HOME=/usr/java/jdk1.6.0_25

TOMCAT_PID=`/usr/sbin/lsof -n -P -t -i :8081`

TOMCAT_DIR=”/usr/local/tomcat/”

FILES=”jfedu.war”

DES_DIR=”/export/data/tomcatRoot/ptest.jd.com/”

DES_URL=”http://123.57.11.203:8080/job/Ptest_Online/lastSuccessfulBuild/target”

BAK_DIR=”/export/backup/`date +%Y%m%d-%H%M`”

[ -n “$TOMCAT_PID” ] && kill -9 $TOMCAT_PID

cd $DES_DIR

rm -rf $FILES

mkdir -p $BAK_DIR;\cp -a $DES_DIR/* $BAK_DIR/

rm -rf $DES_DIR/*

wget $DES_URL/$FILES

/usr/java/jdk1.6.0_25/bin/jar -xvf $FILES

####################

cd $TOMCAT_DIR;rm -rf work

/bin/sh $TOMCAT_DIR/bin/start.sh

sleep 10

tail -n 50 $TOMCAT_DIR/logs/catalina.out

提示:如果有多台,怎么去部署,可以发散思维哟!!!可以考虑结合底层SSH+FOR、PSSH、saltstack、Ansible工具去实现。

  1. Jenkins插件安装

jenkins页面系统管理“–>”管理插件“–>”可选插件中搜索email-ext-plugin插件选择并安装,也可以点击”高级”然后手动上传安装。


注:也可以手动下载插件安装,到官网下载插件,然后将下载的插件传到服务器jenkins根目录下的plugins目录,即~/.jenkins/plugins目录,重启jenkins即可

官网插件下载地址https://wiki.jenkins-ci.org/display/JENKINS/Plugins

如下我们来安装Email-ext-Plugin邮件插件包,安装方法如下:

首先去Jenkins插件官网下载email-exttoken-macroemail-template

可以搜索某个插件,输入插件名称即可:


分别从如下地址下载三个插件,然后上传到Jenkins,实现安装:

https://wiki.jenkins-ci.org/display/JENKINS/Email-ext+plugin

https://wiki.jenkins-ci.org/display/JENKINS/Token+Macro+Plugin

https://wiki.jenkins-ci.org/display/JENKINS/Email-ext+Template+Plugin

如下图,先安装token插件:



然后安装email插件


最终如下三个插件安装成功:


安装完成后,刷新Jenkins WEB界面即可。

安装完email插件,打开系统管理我们可以看到多了一个extended-E-mail-Notification菜单选项


如上是安装Jenkins插件的方法,其他GIT插件、Publish Over插件安装方法一样。

  1. Jenkins邮件设置

Jenkins持续集成,当我们自动打包部署完,我们可以发送一封邮件给相关的负责人,接下来带大家一起来看一下Jenkins持续集成邮件设置,邮件设置分为如下几个步骤:

构建完成后,告知构建信息及结果。主要使用到两个插件:Email Extension Plugin、Email Extension Template Plugin(上一章,我们已经安装完这3个插件,这里可以忽略不需要再次安装)

常见参数如下:

SMTP server:设置邮件提供商的SMTP地址,mail.jfedu.net
Default Content Type:内容展现的格式,一般选择HTML
Default Recipients:默认收件人
Use SMTP Authentication:使用SMTP身份验证,点开Default user E-mail suffix下面的高级按钮才能看到,选中。
User Name:邮件发送账户的用户名。
Password:邮件发送账户的密码。
SMTP port:SMTP端口。

  1. 首先要设置Jenkins发送邮件的发送者

  1. 然后选择Jenkins Location设置如下:(添加系统管理员邮件)

 

  1. 设置发送邮件的SMTP、邮箱后缀,发送类型html、接收者或者抄送者

  1. 设置邮件的标题

Default Subject内容如下:

 

构建通知:$PROJECT_NAME – Build # $BUILD_NUMBER – $BUILD_STATUS

 

  1. 设置邮件的内容

Default Content内容如下:

<hr/>

<h3>(本邮件是程序自动下发的,请勿回复!)</h3><hr/>

 

项目名称:$PROJECT_NAME<br/><hr/>

 

构建编号:$BUILD_NUMBER<br/><hr/>

 

构建状态:$BUILD_STATUS<br/><hr/>

 

触发原因:${CAUSE}<br/><hr/>

 

构建日志地址:<a href=”${BUILD_URL}console”>${BUILD_URL}console</a><br/><hr/>

 

构建地址:<a href=”$BUILD_URL”>$BUILD_URL</a><br/><hr/>

 

变更集:${JELLY_SCRIPT,template=”html”}<br/>

<hr/>

  1. 工程项目邮件设置


选择trigger阀值


 

  1. 构建邮件验证


  1. Jenkins多实例配置

在企业里面使用Jenkins自动部署+测试平台时,每天更新发布几个网站版本,不频繁,但是对于一些大型的企业来讲,Jenkins就需要同时处理很多的任务,这时候就需要借助Jenkins多个node或者我们所说的Jenkins分布式SLAVE,今天我们带大家来学习Jenkins多实例的配置;

添加Linux平台Jenkins SLAVE配置:

  1. 由于JenkinsJava程序,添加的SLAVE客户端服务器必须安装Java JDK环境;
  2. 创建远程执行Jenkins任务的用户,一般为Jenkins用户,工作目录为/home/Jenkins;
  3. Jenkins服务器免秘钥登录Slave服务器或者通过用户名和密码登录;

如下图配置:


系统管理管理节点新建节点


然后创建SLAVE名称并保存


如下进行配置:


添加ADD认证:


查看SLAVE状态如下;


然后点击www_slave节点点击launch salve agent调试:


然后出现下图证明slave配置成功:


图二:


Jenkins-master通过ssh方式来启动slave的脚本,java –jar slave.jar,来接受master端的任务分配即可;

最后运行任务,立即构建:


配置完成后,如果你同时点击一个JOB任务两次,会发现只会运行一个任务呢,那需要怎么调整呢,需要把重新配置job工程,勾选如下配置:(在必要的时候并发构建)


最终如下图,多SLAVE+Master+并发构建


  1. Jenkins整合Ansible

  1. Ansible入门基础

Ansible和saltstack、PSSH、puppet目前市面上一些其它的项目管理工具有很大的不同,它的设计初衷就是为了更方便、快捷的进行配置管理。它易于安装和使用、语法也非常简单易学。你可以用Ansible将平常复杂的配置工作变得简单,变得更加标准化更容易控制。100、1000台批量部署;

Ansible只需要在一台普通的服务器上运行即可,不需要在被管控的服务器上安装客户端。因为它是基于SSH的,Linux服务器离不开SSH,所以Ansible不需要为配置工作添加额外的支持。 你可以通过命令行来使用Ansible,运行Ansible的服务器这里俗称”管理节点”;通过Ansible进行管理的服务器俗称”受控节点”。

Ansible是一款极为灵活的开源工具套件,能够大大简化Unix管理员的自动化配置管理与流程控制方式。它利用推送方式对客户系统加以配置,这样所有工作都可在主服务器端完成。其命令行机制同样非常强大,允许大家利用商业许可Web UI实现授权管理与配置。

Ansible优点:

  1. 轻量级,不需要去客户端安装agent,更新时,只需要在操作机上进行一次更新即可,采用SSH协议。
  2. 批量任务执行可以写成脚本,而且不用分发到远程就可以执行。        
  3. 使用python编写的,维护更简单。        
  4. 支持sudo普通用户命令。


  1. Ansible安装配置

Ansible 能够安装到 Linux、BSD、Mac OS X 等平台,Python 版本最低要求为2.6。

CentOS直接使用yum安装即可,安装之前先安装epel源码。

rpm -Uvh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
				

然后执行命令: yum install ansible -y 安装即可。


安装完后正式来使用,ansible默认配置文件路径为:

/etc/ansible:


常见的命令参数有:

Ansible中的临时命令的执行是通过Ad-Hoc来完成,能够快速执行,而且不需要保存执行的命令,例如:

默认hosts内容可以配置分组,我们可以定义各种ip及规则,内容如下:


然后配置SSH-KEYGEN免秘钥登录


手动批量运行命令或者脚本:(警告信息可以忽略)


最好在Jenkins 工程里面进行如下配置即可:

cp /root/.jenkins/workspace/www.jfedu.net/target/edu.war /var/www/html/download/

ansible www_jfedu -m copy -a “src=/data/sh/auto_deploy.sh dest=/tmp/”

ansible www_jfedu -m shell -a “cd /tmp ;/bin/bash auto_deploy.sh”

最终跟之前部署的Shell方式效果一样:


 


 

发表回复

Go