03.NFS网络文件系统实战

1.NFS基本概述

NFS是Network File System的缩写及网络文件系统。
主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。

NFS系统和Windows网络共享、网络驱动器类似, 只不过windows用于局域网, NFS用于企业集群架构中, 如果是大型网站, 会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS

为什么要使用NFS服务进行数据存储

1.实现多台服务器之间数据共享
2.实现多台服务器之间数据的一致

2.NFS应用场景

下面我将通过图解给大家展示集群需要共享存储服务的理由。

1.A用户传图片到WEB1服务器
2.B用户访问这张图片，结果B用户访问的请求分发到了WEB2，因为WEB2上没有这张图片，结果B用户无法看到A用户传的图片。

1.如果有共享存储的情况, A用户上传图片无论分发到WEB1还是WEB2, 最终都存储至共享存储
2.在当B用户访问图片时，无论分发到WEB1还是WEB2上，最终也都会去共享存储上访问，这样就可以访问到资源了

3.NFS实现原理

本地文件操作方式

1.当用户执行mkdir命令, 该命令会通过shell解释器翻译给内核,由内核解析完成后驱动硬件，完成相应的操作。

NFS实现原理(需要先了解[程序|进程|线程])

1.用户进程访问NFS客户端，使用不同的函数对数据进行处理
2.NFS客户端通过TCP/IP的方式传递给NFS服务端。
3.NFS服务端接收到请求后，会先调用portmap进程进行端口映射。
4.nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。
5.Rpc.mount进程判断客户端是否有对应的权限进行验证。
6.idmap进程实现用户映射和压缩
7.最后NFS服务端会将对应请求的函数转换为本地能识别的命令，传递至内核，由内核驱动硬件。

rpc是一个远程过程调用，那么使用nfs必须有rpc服务

4.NFS服务安装

1.环境准备

注意: 不要忘记关闭防火墙, 以免默认的防火墙策略禁止正常的NFS共享服务

//关闭Firewalld防火墙
[root@xuliangwei ~]# systemctl disable firewalld[root@xuliangwei ~]# systemctl stop firewalld//关闭selinux防火墙
[root@xuliangwei ~]# sed -ri '#^SELINUX=#cSELINUX=Disabled' /etc/selinux/config[root@xuliangwei ~]# setenforce 0

2.安装NFS-Server

[root@nfs-server ~]# yum -y install nfs-utils rpcbind

3.NFS服务程序的配置文件为/etc/exports默认里面没有任何内容。
我们可以按照共享目录的路径 允许访问的NFS客户端（共享权限参数）格式，定义要共享的目录与相应的权限。

exports配置文件格式

NFS共享目录 NFS客户端地址1(参数1,参数2,...) 客户端地址2(参数1,参数2,...)
NFS共享目录 NFS客户端地址(参数1,参数2,...)

如果想要把/data目录共享给172.16.1.0/24网段内的所有主机
1.主机都拥有读写权限
2.在将数据写入到NFS服务器的硬盘中后才会结束操作，最大限度保证数据不丢失
3.将所有用户映射为本地的匿名用户(nfsnobody)

//注意: NFS客户端地址与权限之间没有空格
[root@nfs-server ~]# vim /etc/exports   /data   172.16.1.0/24(rw,sync,all_squash)//在NFS服务器上建立用于NFS文件共享的目录，并设置对应权限
[root@nfs-server ~]# mkdir /data[root@nfs-server ~]# chown -R nfsnobody.nfsnobody /data//NFS共享目录会记录至/var/lib/nfs/etab,如果该目录不存在共享信息,请检查/etc/exports是否配置错误

4.在使用NFS服务进行文件共享之前，需要使用RPC（Remote Procedure Call远程过程调用, 服务将NFS服务器的IP地址和端口号信息发送给客户端。
因此，在启动NFS服务之前，需要先重启并启用rpcbind服务程序,同时都加入开机自启动

[root@nfs-server ~]# systemctl restart rpcbind[root@nfs-server ~]# systemctl restart nfs-server[root@nfs-server ~]# systemctl enable rpcbind[root@nfs-server ~]# systemctl enable nfs-server

5.NFS挂载卸载

NFS客户端的配置步骤也十分简单。先使用showmount命令,查询NFS服务器的远程共享信息，其输出格式为“共享的目录名称 允许使用客户端地址”。

1.安装客户端工具,仅启动rpcbind服务

[root@nfs-client ~]# yum -y install nfs-utils rpcbind[root@nfs-client ~]# systemctl restart rpcbind[root@nfs-client ~]# systemctl enable rpcbind

2.客户端使用showmount -e查看远程服务器rpc提供的可挂载nfs信息

[root@nfs-client ~]# showmount -e 172.16.1.31Export list for 172.16.1.31:
/data 172.16.1.0/24

3.在NFS客户端创建一个挂载目录, 使用mount命令并结合-t参数, 指定要挂载的文件系统的类型, 并在命令后面写上服务器的IP地址, 以及服务器上的共享目录, 最后需要写上要挂载到本地系统(客户端)的目录。

[root@nfs-client ~]# mkdir /nfsdir[root@nfs-client ~]# mount -t nfs 172.16.1.31:/data /nfsdir //查看挂载信息(mount也可以查看)
[root@nfs-client ~]# df –hFilesystem           Size  Used Avail Use% Mounted on/dev/sda3             62G  845M   58G   2% /tmpfs                244M     0  244M   0% /dev/shm
/dev/sda1            190M   26M  155M  14% /boot172.16.1.31:/data   62G  880M   58G   2% /nfsdir

4.挂载成功后可以进行增删改操作

//使用客户端往nfs存储写入[root@nfs-client ~]# echo "nfs-client" >> /mnt/test.txt //检查nfs服务端是否存在客户端创建的新文件[root@nfs-client ~]# cat /data/test.txtnfs-client

5.如果希望NFS文件共享服务能一直有效，则需要将其写入到fstab文件中

[root@nfs-client ~]# vim /etc/fstab172.16.1.31:/data /nfsdir nfs defaults 0 0

6.如果不希望使用NFS共享, 可进行卸载

[root@nfs-client ~]# umount /nfsdir 注意:卸载的时候如果提示”umount.nfs: /nfsdir: device is busy”  
1.切换至其他目录, 然后在进行卸载。2.NFS Server宕机, 强制卸载umount -lf /nfsdir

7.在企业工作场景，通常情况NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性。例如: 很多木马篡改站点文件都是由上传入口上传的程序到存储目录。然后执行的。

通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能
[root@nfs-client ~]# mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data /mnt

8.有时也需要考虑性能相关参数[可选]

通过mount -o指定挂载参数，禁止更新目录及文件时间戳挂载
[root@nfs-client ~]# mount -t nfs -o noatime,nodiratime 172.16.1.31:/data /mnt

6.NFS配置文件

执行man exports命令，然后切换到文件结尾，可以快速查看如下样例格式：

1.验证ro权限

1.服务端修改rw为ro参数
[root@nfs01 ~]# cat /etc/exports/data 172.16.1.0/24(ro,sync,all_squash)
[root@nfs01 ~]# systemctl restart nfs-server2.客户端验证
[root@backup ~]# mount -t nfs 172.16.1.31:/data /mnt[root@backup ~]# df -hFilesystem         Size  Used Avail Use% Mounted on172.16.1.31:/data   98G  1.7G   97G   2% /mnt# 无法写入文件[root@backup mnt]# touch filetouch: cannot touch ‘file’: Read-only file system

2.验证all_squash、anonuid、anongid权限

//1.服务端配置
[root@nfs01 ~]# cat /etc/exports/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)//2.服务端需要创建对应的用户
[root@nfs01 ~]# groupadd -g 666 www[root@nfs01 ~]# useradd -u 666 -g 666 www[root@nfs01 ~]# id wwwuid=666(www) gid=666(www) groups=666(www)//3.重载nfs-server
[root@nfs01 ~]# systemctl restart nfs-server[root@nfs01 ~]# cat /var/lib/nfs/etab /data   172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=666,anongid=666,sec=sys,secure,root_squash,all_squash)//4.授权共享目录为www
[root@nfs01 ~]# chown -R www.www /data/[root@nfs01 ~]# ll -d /data/drwxr-xr-x 3 www www 53 Sep  3 02:08 /data///5.客户端验证
[root@backup ~]# umount /mnt/[root@backup ~]# mount -t nfs 172.16.1.31:/data /mnt//6.客户端查看到的文件，身份是666[root@backup ~]# ll /mnt/drwxr-xr-x 2 666 666 6 Sep  3 02:08 rsync_dir
-rw-r--r-- 1 666 666 0 Sep  3 02:08 rsync_file//7.客户端依旧能往/mnt目录下写文件
[root@backup mnt]# touch fff[root@backup mnt]# mkdir 111[root@backup mnt]# lldrwxr-xr-x 2 666 666 6 Sep  3 03:05 111-rw-r--r-- 1 666 666 0 Sep  3 03:05 fff//8.建议：将客户端也创建一个uid为666，gid为666，统一身份，避免后续出现权限不足的情况
[root@backup mnt]# groupadd -g 666 www[root@backup mnt]# useradd -g 666 -u 666 www[root@backup mnt]# id wwwuid=666(www) gid=666(www) groups=666(www)//9.最后检查文件的身份
[root@backup mnt]# ll /mnt/total 4drwxr-xr-x 2 www www 6 Sep  3 03:05 111-rw-r--r-- 1 www www 0 Sep  3 03:05 fff

6.NFS存储小结

NFS存储优点

1.NFS文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。
2.NFS文件系统内存放的数据都在文件系统之上，所有数据都是能看得见。

NFS存储局限

1.存在单点故障, 如果构建高可用维护麻烦。
2.NFS数据明文, 并不对数据做任何校验。
3.客户端挂载无需账户密码, 安全性一般(内网使用)

生产应用建议

1.生产场景应将静态数据尽可能往前端推, 减少后端存储压力
2.必须将存储里的静态资源通过CDN缓存(jpg\png\mp4\avi\css\js)
3.如果没有缓存或架构本身历史遗留问题太大, 在多存储也无用

7.NFS案例实践

准备3台虚拟机服务器，并且请按照要求搭建配置NFS服务。

NFS服务端（A）
NFS客户端（B）
NFS客户端（C）

1.在NFS服务端(A)上共享/data/w(可写)及/data/r(只读)
2.在NFS客户端(B/C)上进行挂载

环境准备

1.NFS服务端配置

//1.安装nfs
[root@nfs01 ~]# yum install -y nfs-utils//2.配置nfs
[root@nfs01 ~]# cat /etc/exports/data/r 172.16.1.0/24(ro,sync,all_squash,anonuid=666,anongid=666)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)//3.创建对应用户
[root@web01 ~]# groupadd -g 666 www[root@web01 ~]# useradd -u 666 -g www www[root@nfs01 ~]# id wwwuid=666(www) gid=666(www) groups=666(www)//4.创建共享目录
[root@nfs01 ~]# mkdir /data/{r,w} -p[root@nfs01 ~]# chown -R www.www /data///5.重启NFS
[root@nfs01 ~]# systemctl restart rpcbind nfs-server

2.NFS-客户端配置

//1.安装nfs工具
[root@backup-41 ~]# yum install nfs-utils -y
[root@backup-41 ~]# systemctl restart rpcbind
//2.准备本地挂载点目录
[root@backup-41 ~]# mkdir /data/{r,w} -p
//3.准备对应用户
[root@backup-41 ~]# groupadd -g 666 www
[root@backup-41 ~]# useradd -u 666 -g www www
[root@backup-41 ~]# id www
uid=666(www) gid=666(www) groups=666(www)
//4.查看远端共享的nfs目录
[root@backup-41 ~]# showmount -e 172.16.1.31Export list for 172.16.1.31:
/data/w 172.16.1.0/24/data/r 172.16.1.0/24//5.挂载对应目录站点
[root@backup-41 ~]# mount -t nfs  172.16.1.31:/data/w /data/w/
[root@backup-41 ~]# mount -t nfs 172.16.1.31:/data/r /data/r/
[root@backup-41 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on172.16.1.31:/data/w       50G  1.6G   49G   4% /data/w172.16.1.31:/data/r       50G  1.6G   49G   4% /data/r

//6.测试/data/r读权限
[www@backup-41 r]$ pwd
/data/r
[www@backup-41 r]$ cat edu.com
This is Nfs to Oldboy
[www@backup-41 r]$ touch edu
touch: cannot touch ‘edu’: Read-only file system

//7.测试/data/w写权限
[root@backup-41 r]# cd /data/w/
[root@backup-41 w]# pwd
/data/w
[root@backup-41 w]# touch bbbback
[root@backup-41 w]# ll
total 0-rw-r--r-- 1 www www 0 Jul 26 09:22 backup_w-rw-r--r-- 1 www www 0 Jul 26 09:26 bbbback//8.实现开机自动挂载
[root@backup-41 ~]# echo "172.16.1.31:/data/r /data/r nfs defaults 0 0" >>/etc/fstab
[root@backup-41 ~]# echo "172.16.1.31:/data/w /data/w nfs defaults 0 0" >>/etc/fstab

#注意: 当将远程挂载设备写入/etc/fstab文件后，一定要执行mount -a
[root@backup-41 ~]# mount -a
[root@backup-41 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on172.16.1.31:/data/r       50G  1.6G   49G   4% /data/r172.16.1.31:/data/w       50G  1.6G   49G   4% /data/w
#如果编写错误会有如下提示
[root@backup-41 ~]# mount -a
mount.nfs: access denied by server while mounting 172.16.1.31:/dataa/w

//9.卸载nfs
    #1.正常卸载
[root@backup-41 ~]# umount /data/w/
    #2.强制卸载
[root@backup-41 ~]# umount -lf /data/w/

3.NFS扩展项

//1.扩展:无需重启NFS服务平滑加载配置文件
[root@nfs01 r]# cat /etc/exports/data/r 172.16.1.0/24(ro)
/data/p 172.16.1.0/24(ro)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

[root@nfs01 r]# exportfs -rvexporting 172.16.1.0/24:/data/w
exporting 172.16.1.0/24:/data/p
exporting 172.16.1.0/24:/data/r//2.扩展:nfs客户端挂载参数
[root@backup-41 ~]# mount.nfs4 -o noatime,nodiratime,noexec,nodev,nosuid 172.16.1.31:/data/r /data/r///3.扩展:nfs客户端永久挂载参数
[root@backup-41 ~]# tail -2 /etc/fstab172.16.1.31:/data/r /data/r nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0172.16.1.31:/data/w /data/w nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0//4.扩展:客户端检查挂载参数是否生效
[root@backup-41 ~]# mount等价于
[root@backup-41 ~]# cat /proc/mounts

8.AutoFS自动挂载

无论是Samba服务还是NFS服务, 都要把挂载信息写入到/etc/fstab中, 这样远程共享资源就会自动随服务器开机而进行挂载。

1.虽然很方便，但挂载资源过多会造成网络带宽以及服务器硬件资源带来很大的负载
2.如果在资源挂载后长期不使用，也会造成服务器硬件资源的浪费。
3.每次使用之前执行mount手动挂载,这是个不错的选择, 但每次都需要先挂载在使用, 会非常的麻烦

那么autofs自动挂载服务可以帮我们解决这一问题。autofs服务程序是一种守护进程, 当检测到用户试图访问一个尚未挂载的文件系统时，将自动挂载该文件系统。
autofs服务程序是在用户需要使用该文件系统时才去动态挂载, 从而节约了网络资源和服务器的硬件资源

autofs自动挂载服务, 有两种挂载方式:
直接：direct /- 子配置文件必须写本地绝对路径
间接: indirect /path 子配置文件写相对于/path的子目录

1.客户端安装autofs自动挂载

[root@nfs-client ~]# yum install autofs -y[root@nfs-client ~]# systemctl enable autofs[root@nfs-client ~]# systemctl start autofs

2.不要将设备挂载信息都写入到autofs服务的主配置/etc/auto.master文件中,会让主配置文件臃肿不堪,不利于服务执行效率,也不利于日后修改里面的配置内容

//可以将文件写入/etc/auto.master.d目录下, 该目录已被主配置文件包含[root@http-server ~]# grep "dir" /etc/auto.master
+dir:/etc/auto.master.d

3.直接挂载方式: 本地的挂载点是绝对路径

//名称后缀必须是autofs,/-代表这是一个直接挂载定义，根据/etc/auto.nfs_direct进行挂载[root@nfs-client ~]# vim /etc/auto.master.d/nfs.autofs/-      /etc/auto.nfs_direct//子配置文件中，照“挂载目录 挂载文件类型及权限 :设备名称”的格式进行填写。[root@nfs-client ~]# vim /etc/auto.nfs_direct/nfsdir  -fstype=nfs,rw,sync,soft,nosuid,nodev  192.168.56.11:/data//重启autofs服务[root@nfs-client ~]# systemctl restart autofs

间接挂载： 本地路径和服务端的路径都没有直接写绝对路径

//名称后缀必须是autofs,访问本地对应目录自动远端nfs
[root@nfs-client ~]# vim /etc/auto.master.d/nfs.autofs#/-      /etc/auto.nfs_direct/nfsdir /etc/auth.nfs_share

[root@nfs-client ~]# vim /etc/auth.nfs_share*       -rw,sync,soft,nosuid,nodev,'sec=krb5p' 192.168.56.11:/data/&//重启autofs服务
[root@nfs-client ~]# systemctl restart autofs

注意:如果有kerberos验证则需要启动nfs-secure并加入开机自启动
使用df命令无法查看具体挂载内容, 使用mount命令可以