06.Ansible自动化配置实战-集群架构-9527edu开源博客

1.Ansible基本概述

ansible软件介绍

1.ansible是基于Python开发的自动化运维工具。
2.ansible的实现方式是基于SSH协议基础之上。
3.ansible可以实现批量安装、配置、管理、命令执行等功能。

ansible软件特点

1.ansible不需要单独安装客户端，SSH相当于ansible客户端。
2.ansible不需要启动任何服务，仅需安装对应工具即可。
3.ansible依赖大量的python模块来实现批量管理。
4.ansible配置文件/etc/ansible/ansible.cfg

2.Ansible安装配置

实现从管理机m01到其他机器的密钥认证

0.ansible借助公钥批量管理

#利用非交换式工具实现批量分发公钥与批量管理服务器[root@m01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.1.41[root@m01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.1.21

1.安装ansible

[root@m01 ~]# yum install ansible -y//检查ansible版本
[root@m01 ~]# ansible --versionansible 2.6.1

2.配置ansible

[root@m01 ~]# vim /etc/ansible/hosts[oldboy]172.16.1.31172.16.1.41

3.验证ansible

# ansible是通过ssh端口探测通信[root@m01 ~]# ansible oldboy -m ping10.0.0.30 | SUCCESS => {    "changed": false,    "ping": "pong"}10.0.0.40 | SUCCESS => {    "changed": false,    "ping": "pong"}

4 .ansible命令语法格式

[root@m01 ~]# ansible oldboy -m command -a "hostname"10.0.0.31 | SUCCESS | rc=0 >>
backup10.0.0.41 | SUCCESS | rc=0 >>
nfs01

3.Ansible清单管理

inventory文件通常用于定义要管理主机的认证信息，例如ssh登录用户名、密码以及key相关信息。如何配置Inventory文件

主机

1.支持主机名通配以及正则表达式，例如test[1:4].cominggo.com
2.支持基于非标准的ssh端口，例如test5.cominggo.com:5566
4.支持指定变量，可对个别主机的特殊配置，如登陆用户、端口、私钥等
5.支持设置别名，如test2 ansible_ssh_host=10.4.2.123

主机组

1.支持嵌套组，例如[game:children]在下面的组即为game组所包含
2.支持指定变量，例如[game:vars]在下面指定变量

[root@oldboy.com ~]# cat /etc/ansible/hosts[webservers]10.0.0.810.0.0.3110.0.0.4110.0.0.61# 添加三台主机至webserver[low版][webservers]
web1.oldboy.com
web2.oldboy.com
web3.oldboy.com# 添加三台主机至webserver[low改良版][webservers]
web[1:3].oldboy.com# 添加三台主机至webserver[密码版][webservers]
web1.oldboy.com ansible_ssh_pass='123456'web2.oldboy.com ansible_ssh_pass='123456'web3.oldboy.com ansible_ssh_pass='123456'# 添加三台主机至webserver[密码改良版][webservers]
web[1:3].oldboy.com ansible_ssh_pass='123456'# 添加三台主机至webserver[密码拆分版][webservers]
web1.oldboy.com
web2.oldboy.com
web3.oldboy.com
[webservers:vars]
ansible_ssh_pass='123456'# 定义多组，多组汇总整合[apache]
web1.oldboy.com
web2.oldboy.com
web3.oldboy.com
[apache:vars]
ansible_ssh_pass='123456'[nginx]10.0.0.710.0.0.3110.0.0.4110.0.0.61[nginx:vars]
ansible_ssh_pass='123456'# webservers组包括两个子组[apapche,nginx][webservers:children]
apache
nginx

ansible nginx --list-hosts
ansible apache --list-hosts
ansible websers --list-hosts

Ansible内置变量

4.Ansible常用模块

在ansible中是指需要快速执行一条命令，并且不需要保存的命令，对于复杂的命令则为playbook

Ansible注意事项->提示颜色信息说明

翔黄色：对远程节点进行相应修改
帽子绿：对远程节点不进行相应修改，或者只是对远程节点信息进行查看
深红色：操作执行命令有异常
浅紫色：表示对命令执行发出警告信息（可能存在的问题，给你一下建议）

1.command命令模块

# 默认模块, 执行命令[root@m01 ~]# ansible oldboy  -a "hostname"# 如果需要一些管道操作，则使用shell[root@m01 ~]# ansible oldboy -m shell -a "ifconfig|grep eth0" -f 50# -f =forks   /etc/ansible/ansible.cfg #结果返回的数量

2.copy模块

# 推送文件模块[root@m01 ~]# ansible oldboy -m copy -a "src=/etc/hosts dest=/tmp/test.txt"# 在推送覆盖远程端文件前，对远端已有文件进行备份，按照时间信息备份[root@m01 ~]# ansible oldboy -m copy -a "src=/etc/hosts dest=/tmp/test.txt backup=yes"# 直接向远端文件内写入数据信息，并且会覆盖远端文件内原有数据信息[root@m01 ~]# ansible oldboy -m copy -a "content='bgx' dest=/tmp/oldboy"src           --- 推送数据的源文件信息dest          --- 推送数据的目标路径backup        --- 对推送传输过去的文件，进行备份content       --- 直接批量在被管理端文件中添加内容group         --- 将本地文件推送到远端，指定文件属组信息owner         --- 将本地文件推送到远端，指定文件属主信息mode          --- 将本地文件推送到远端，指定文件权限信息

3.script模块

# 编写脚本[root@m01 ~]# mkdir -p /server/scripts[root@m01 ~]# cat /server/scripts/yum.sh#!/usr/bin/bashyum install -y iftop#在本地运行模块，等同于在远程执行，不需要将脚本文件进行推送目标主机执行[root@m01 ~]# ansible oldboy -m script -a "/server/scripts/yum.sh"

4.yum安装模块

#推送脚本文件至远程，远程执行脚本文件[root@m01 ~]# ansible oldboy -m yum -a "name=httpd state=installed"name    ---指定要安装的软件包名称state   ---指定使用yum的方法
    installed，present   ---安装软件包
    removed，absent      ---移除软件包
    latest               ---安装最新软件包

5.file配置模块

[root@m01 ~]# ansible oldboy -m file -a "path=/tmp/oldboy state=diretory"[root@m01 ~]# ansible oldboy -m file -a "path=/tmp/tt state=touch mode=555 owner=root group=root"[root@m01 ~]# ansible oldboy -m file -a "src=/tmp/tt path=/tmp/tt_link state=link"path        --- 指定远程主机目录或文件信息recurse     --- 递归授权state       --- 
    directory   --- 在远端创建目录
    touch       --- 在远端创建文件
    link        --- link或hard表示创建链接文件
    absent      --- 表示删除文件或目录
    mode        --- 设置文件或目录权限
    owner       --- 设置文件或目录属主信息
    group       --- 设置文件或目录属组信息

6.service服务模块

[root@m01 ~]# ansible oldboy -m service -a "name=crond state=stopped enabled=yes"name        --- 定义要启动服务的名称state       --- 指定服务状态是停止或是运行，停止和运行指令要写成过去时
    started     --- 启动
    stopped     --- 停止
    restarted   --- 重启
    reloaded    --- 重载enabled     --- 是否让服务开启自启动

7.user模块

[root@m01 ~]# echo "bgx"| openssl passwd -1 -stdin$1$1KmeCnsK$HGnBE86F/XkXufL.n6sEb.

[root@m01 ~]# ansible oldboy -m user -a 'name=xlw password="$1$1KmeCnsK$HGnBE86F/XkXufL.n6sEb."'

8.crond模块

# 正常使用crond服务[root@m01 ~]# crontab -l* * * * *  /bin/sh /server/scripts/yum.sh# 使用ansible添加一条定时任务[root@m01 ~]# ansible oldboy -m cron -a "minute=* hour=* day=* month=* weekday=*  job='/bin/sh /server/scripts/test.sh'"[root@m01 ~]# ansible oldboy -m cron -a "job='/bin/sh /server/scripts/test.sh'"# 设置定时任务注释信息，防止重复，name设定[root@m01 ~]# ansible oldboy -m cron -a "name='cron01' job='/bin/sh /server/scripts/test.sh'"# 删除相应定时任务[root@m01 ~]# ansible oldboy -m cron -a "name='ansible cron02' minute=0 hour=0 job='/bin/sh /server/scripts/test.sh' state=absent"
 # 注释相应定时任务，使定时任务失效    [root@m01 scripts]# ansible oldboy -m cron -a "name='ansible cron01' minute=0 hour=0 job='/bin/sh /server/scripts/test.sh' disabled=no"

9.mount模块

[root@m01 ~]# ansible oldboy -m mount -a "path=/backup src=10.0.0.31:/data fstype=nfs opts=defautls,noatime state=mounted"mounted     ---挂载设备，并将配置写入/etc/fstabunmounted   ---卸载设备，不会清除/etc/fstab写入的配置absent      ---卸载设备，会清理/etc/fstab写入的配置

10.ansible查看帮助方法

[root@m01 ~]# ansible-doc -l    --- 查看所有模块说明信息[root@m01 ~]# ansible-doc copy  --- 表示指定查看某个模块参数用法信息

5.Ansible Playbook

Playbooks是Ansible的配置,部署,编排语言.
他们可以被描述为一个需要希望远程主机执行命令的方案,或者一组IT程序运行的命令集合.

注意: ansible是通过yaml语法识别配置描述文件。扩展名是yaml

1.YAML基础语法

YAML:    1.缩进(层级关系)  2个空格，不能使用Tab。    2.冒号  key: value
    3.短横线 - list1
            - list2

1.缩进

YAML使用一个固定的缩进风格表示数据层级结构关系,每个缩进由两个空格组成, 不要使用tabs。

2.冒号

以冒号结尾, 以冒号为路径的除外，其他所有冒号后面所有必须有空格。

3.短横线

表示列表项，使用一个短横杠加一个空格。
多个项使用同样的缩进级别作为同一列表。

ansible playbook安装Apache

[root@m01 ansible_playbook]# cat webserver.yaml- hosts: 10.0.0.20# 定义变量，后续jinja文件可以应用对应的变量
  vars:
    http_port: 80
  tasks:
  - name: ensure apache is at the latest version
    yum: pkg=httpd state=latest  
  # 使用template模板，引用上面vars定义的变量，动态配置httpd文件
  - name: write the apache config file
    template: src=./conf/httpd.j2 dest=/etc/httpd/conf/httpd.conf    
    # 监控配置文件变化，如果发生变化则调用name为restart apache的handlers
    notify: restart apache
  - name: ensure apache is running
    service: name=httpd state=started 
    # 在发生改变时执行的操作
  handlers:
    - name: restart apache
      service: name=httpd state=restarted

6.Ansible项目案例

1.规划

角色          外网IP(NAT)           内网IP(LAN)               安装工具m01             eth0:10.0.0.61      eth1:172.16.1.61        ansible backup          eth0:10.0.0.41      eth1:172.16.1.41        rsync-servernfs-server      eth0:10.0.0.31      eth1:172.16.1.31        nfs、sersyncweb01           eth0:10.0.0.7       eth1:172.16.1.7         nginx+php

2.配置ansible

[root@m01 ~]# vim /etc/ansible/hosts[web]172.16.1.7[nfs]172.16.1.31 [backup]172.16.1.41[oldboy:children]
nfs
backup
web

3.检查对应的主机组和规划的IP是否一致

[root@m01 ~]# ansible web --list-host  
  hosts (1):    172.16.1.7[root@m01 ~]# ansible backup --list-host
  hosts (1):    172.16.1.41[root@m01 ~]# ansible nfs --list-host
  hosts (1):    172.16.1.31[root@m01 ~]# ansible oldboy --list-host
  hosts (3):    172.16.1.31
    172.16.1.41
    172.16.1.7

4.建立对应的目录站点，用于存放ansible-playbook文件

[root@m01 ~]# mkdir -p /etc/ansible/ansible_playbook/{conf,file} -p[root@m01 ~]# cd /etc/ansible/ansible_playbook/[root@m01 ansible_playbook]# lldrwxr-xr-x 2 root root 6 Aug  1 10:30 conf
drwxr-xr-x 2 root root 6 Aug  1 10:30 file

5.编写基础模块的palybook

0.基础仓库准备
1.安装rsync
2.安装nfs-utils
3.创建www用户指定uid、gid
4.准备rsync客户端密码文件

准备rsync客户端密码文件
[root@m01 conf]# cat /etc/ansible/ansible_playbook/conf/rsync_client_pass 123456建立base的yaml
[root@m01 ansible_playbook]# cat base.yaml - hosts: oldboy
  tasks:# 1.Install Pkg

    - name: Installed Repo 
      yum: name=https://mirrors.aliyun.com/epel/epel-release-latest-7.noarch.rpm state=present

    - name: Installed Rsync Client
      yum: name=rsync state=installed

    - name: Installed Nfs-utils
      yum: name=nfs-utils state=installed# 2.Create User

    - name: Create group www
      group: name=www gid=666

    - name: Create user www
      user: name=www uid=666 group=www create_home=no shell=/sbin/nologin#3.create rsync client pass

    - name: Create rsync client pass
      copy: src=./conf/rsync_client_pass dest=/etc/rsync_pass#检测语法[root@m01 ansible_playbook]# ansible-playbook --syntax-check base.yamlplaybook: base.yaml# 模拟执行[root@m01 ansible_playbook]# ansible-playbook -C  base.yaml

6.编写应用模块rsync的palybook

1.安装rsync
2.配置rsync
3.启动rsync
4.准备对应数据存储仓库/backup /data 授权为www
5.准备虚拟用户和密码文件，权限600
6.变更配置，重载服务

1.准备对应的配置文件
[root@m01 conf]# cat /etc/ansible/ansible_playbook/conf/rsyncd.conf 
uid = www
gid = www
port = 873
fake super = yesuse chroot = nomax connections = 200timeout = 600ignore errorsread only = falselist = falseauth users = rsync_backup
secrets file = /etc/rsync.passwordlog file = /var/log/rsyncd.log#####################################
[backup]
path = /backup[data]
path = /data# 2.准备服务端需要使用的虚拟用户与虚拟用户对应的密码
[root@m01 conf]# cat /etc/ansible/ansible_playbook/conf/rsync_server_pass 
rsync_backup:1234563.对应的yaml语法
[root@m01 ansible_playbook]# cat rsync.yaml 
- hosts: backup
  tasks:

    - name: Installed Rsync Server
      yum: name=rsync state=installed

    - name: Copy Rsync Config
      copy: src=./conf/rsyncd.conf dest=/etc/rsyncd.conf
      notify: restart rsyncd

    - name: Service Rsyncd
      service: name=rsyncd state=started enabled=yes

# Create Data Backup Directory

    - name: Create data
      file: path=/data state=directory recurse=yes owner=www group=www

    - name: Create backup
      file: path=/backup state=directory recurse=yes owner=www group=www

    - name: create password file
      copy: src=./conf/rsync_server_pass dest=/etc/rsync.password mode=0600

  handlers:
    - name: restart rsyncd
      service: name=rsyncd state=restarted

7.编写应用模块nfs的palybook

1.安装nfs
2.配置nfs
3.启动nfs
4.准备对应数据存储仓库 /data 授权为www
5.变更配置，重载服务

1.准备nfs的exports文件
[root@m01 ansible_playbook]# cat /etc/ansible/ansible_playbook/conf/nfs_exports /data/ 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)2.编写nfs的yaml
[root@m01 ansible_playbook]# cat nfs.yaml - hosts: nfs
  tasks:
    - name: Copy Nfs Config      copy: src=./conf/nfs_exports dest=/etc/exports
      notify: restart nfs-server

    - name: service nfs server
      service: name=nfs-server state=started enabled=yes# Create data
    - name: Create share nfs data      file: path=/data state=directory recurse=yes owner=www group=www

  handlers:
    - name: restart nfs-server
      service: name=nfs-server state=restarted

8.编写应用模块sersync的palybook

1.安装sersync
2.配置sersync
3.启动sersync

1.下载软件包，并且重命名防止对应的目录
[root@m01 ansible_playbook]# ll /etc/ansible/ansible_playbook/file/
-rw-r--r-- 1 root root 727290 Aug  1 12:04 sersync.tar.gz

2.准备sersync的配置文件
[root@m01 ansible_playbook]# cat /etc/ansible/ansible_playbook/conf/confxml.xml.nfs 
<?xml version="1.0" encoding="ISO-8859-1"?><head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="true"/>
    <filter start="false">
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
    <inotify>
    <delete start="true"/>
    <createFolder start="true"/>
    <createFile start="true"/>
    <closeWrite start="true"/>
    <moveFrom start="true"/>
    <moveTo start="true"/>
    <attrib start="false"/>
    <modify start="false"/>
    </inotify>

    <sersync>
    <localpath watch="/data">
        <remote ip="172.16.1.41" name="data"/>
    </localpath>

    <rsync>
        <commonParams params="-az"/>
        <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
        <timeout start="true" time="100"/><!-- timeout=100 -->
        <ssh start="false"/>
    </rsync>
    <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
    <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>

    <plugin name="socket">
    <localpath watch="/opt/tongbu">
        <deshost ip="192.168.138.20" port="8009"/>
    </localpath>
    </plugin>
    <plugin name="refreshCDN">
    <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
        <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
        <sendurl base="http://pic.xoyo.com/cms"/>
        <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
    </localpath>
    </plugin></head>

    3.编写sersync的yaml
[root@m01 ansible_playbook]# cat sersync.yaml 
- hosts: nfs
  tasks:

    - name: Installed Sersync
      copy: src=./file/sersync.tar.gz dest=/server/tools/

    - name: Tar xf Sersync
      shell: cd /server/tools/ && tar xf sersync.tar.gz && mv GNU-Linux-x86 /usr/local/sersync
      args:
        creates: /usr/local/sersync

    - name: Config Sersync
      copy: src=./conf/confxml.xml.nfs dest=/usr/local/sersync/confxml.xml

    - name: Service Start Sersync
      shell: /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

9.编写应用模块web的palybook

[root@m01 ansible_playbook]# cat web.yaml 
- hosts: web
  tasks:

    - name: Create Nfs Client Data
      file: path=/data state=directory 

    - name: Mount Nfs Server
      mount: path=/data src=nfs01:/data fstype=nfs opts=defaults state=mounted

10.合并所有的yaml文件至一个文件

[root@m01 ansible_playbook]# cat main.yaml - include: base.yaml
- include: rsync.yaml
- include: nfs.yaml
- include: sersync.yaml
- include: web.yaml

11.测试

    1.先测试web是否能同步数据至nfs存储
    2.nfs是否实时同步至rsync的/data
    3.使用客户端测试能否推送数据至rsync的backup
        [root@web01 data]# rsync -avz web_ansible rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.pass

06.Ansible自动化配置实战