docker搭建NFS

admin

一楼是我尝试自己创建nfs容器镜像的过程


二楼是方便我以后用导出的镜像直接搭建

1. 
   
2. --------------------------------------------------------------------------------------------------------------------
   
3. 
   
4. 算了,我还是自己用rockylinux9.3搭建nfs客户端吧
   
5. 先不使用--net=host 我手动放行端口111和2049 然后额外的几个端口我临时用iptables放行
   
6. docker run -it \
   
7. -d \
   
8. --name=nfs_server \
   
9. --restart unless-stopped \
   
10. -e TZ=Asia/Shanghai \
    
11. --privileged \
    
12. --mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup,ro \
    
13. -v /root/docker/nfs/nfs_share:/root/nfs_share \
    
14. rockylinux:9.3 bash
    
15. 
    
16. docker exec -it nfs_server bash
    
17. yum install -y nfs-utils rpcbind net-tools
    
18. 然后编辑配置文件
    
19. vi /etc/exports
    
20. /root/nfs_share *(rw,sync,no_root_squash,no_all_squash,insecure)
    
21. 
    
22. 
    
23. 
    
24. # 启动rpcbind服务
    
25. rpcbind -w
    
26. 
    
27. # 创建nfs运行所需的目录（如果不存在）
    
28. #mkdir -p /var/lib/nfs/v4recovery  #已经有了
    
29. touch /var/lib/nfs/etab /var/lib/nfs/rmtab /var/lib/nfs/xtab
    
30. 
    
31. # 启动nfs服务相关进程
    
32. exportfs -r
    
33. mount -t nfsd nfsd /proc/fs/nfsd
    
34. rpc.nfsd 8
    
35. rpc.mountd -N 2 #是否不应该填写后面的参数 最开始还有个 -N 3的 一会重新测试不挂参数
    
36. 检查exportfs -v
    
37. 
    
38. 
    
39. 到这里就运行好了
    
40. ip是172.17.0.5
    
41. 
    
42. 
    
43. 
    
44. 
    
45. 
    
46. 
    
47. 
    
48. 
    
49. 
    
50. 
    
51. 
    
52. 
    
53. 执行到这一步,后面卡了,然后开始问AI
    
54. -------------------------------------------------------------
    
55. 我用rockylinux9.3的docker镜像创建了docker容器,命令如下
    
56. docker run -it \
    
57. -d \
    
58. --name=rocky9.3 \
    
59. --restart unless-stopped \
    
60. -e TZ=Asia/Shanghai \
    
61. --privileged \
    
62. -v /root/docker/nfs/nfs_share:/root/nfs_share \
    
63. rockylinux:9.3 bash
    
64. 然后打算在容器内安装nfs服务端
    
65. 先进入容器docker exec -it rocky9.3 bash
    
66. 然后执行安装命令yum install nfs-utils rpcbind net-tools -y
    
67. 然后编辑配置文件
    
68. vi /etc/exports
    
69. /root/nfs_share *(rw,sync,no_root_squash)
    
70. 但是检查exportfs -v的时候提示下面的错误
    
71. exportfs: can't open /var/lib/nfs/etab for reading
    
72. 这个应该怎么解决?
    
73. -------------------------------------------------------------
    
74. /root/nfs_share *(rw,sync,no_root_squash,no_all_squash,insecure)里面
    
75. no_all_squash和insecure这两个的作用
    
76. -------------------------------------------------------------
    
77. docker stop rocky9.3我用这个命令打算停止这个开启了nfs的容器,但是提示下面的内容
    
78. Error response from daemon: cannot stop container: rocky9.3: tried to kill container, but did not receive an exit event
    
79. 这个时候容器还是被结束了  
    
80. 为什么会不能正常停止容器,是否需要我先在容器内停止nfs服务?
    
81. 
    
82. 哦,就是因为nfs服务还在运行,解决办法就是先停止nfs相关进程
    
83. # 1. 进入容器
    
84. docker exec -it rocky9.3 bash
    
85. # 2. 停止NFS相关进程（优雅清理）
    
86. rpc.nfsd 0          # 停止nfsd进程
    
87. killall rpc.mountd  # 停止mountd进程
    
88. killall rpcbind     # 停止rpcbind进程
    
89. exit                # 退出容器
    
90. # 3. 停止容器（此时不会报错）
    
91. docker stop rocky9.3
    
92. 
    
93. 然后测试重新启动
    
94. docker start rocky9.3
    
95. docker exec -it rocky9.3 bash
    
96. # 启动服务
    
97. rpcbind -w #这一步会产生111端口监听
    
98. exportfs -r
    
99. mount -t nfsd nfsd /proc/fs/nfsd
    
100. rpc.nfsd 8 #这一步会产生剩余端口监听
     
101. rpc.mountd -N 2
     
102. 检查
     
103. rpcinfo -p localhost
     
104. 应该有100003和100005
     
105. 
     
106. -------------------------------------------------------------
     
107. 然后开始弄客户端,直接写总结的吧 不要写过程了
     
108. 
     
109. docker run -it \
     
110. -d \
     
111. --name=nfs_client \
     
112. --restart unless-stopped \
     
113. -e TZ=Asia/Shanghai \
     
114. --cap-add SYS_ADMIN \
     
115. --cap-add DAC_READ_SEARCH \
     
116. --mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup,ro \
     
117. -v /root/docker/nfs/nfs_share_client:/root/nfs_share \
     
118. rockylinux:9.3 bash
     
119. 
     
120. docker exec -it nfs_client bash
     
121. yum install -y nfs-utils net-tools
     
122. rpcbind -w
     
123. showmount -e 172.17.0.5 #提示正常
     
124. mount -t nfs 172.17.0.5:/root/nfs_share /root/nfs_share
     
125. 
     
126. OK,客户端链接成功  忘记写了,-v参数可能后面还有加:share  貌似这里不用加,会提示无效参数 这里写错了,应该是shared
     
127. -------------------------------------------------------------
     
128. 先把这个导出试试
     
129. 52ea419beebc
     
130. docker export 52ea419beebc > /root/docker/docker-image/nfs_client-export.tar
     
131. 
     
132. 然后导出server
     
133. 0442ca5cd39b
     
134. docker export 0442ca5cd39b > /root/docker/docker-image/nfs_server-export.tar
     
135. 
     
136. -------------------------------------------------------------
     
137. 然后测试导入
     
138. cat /root/docker/docker-image/nfs_client-export.tar | docker import - nfs-client:latest
     
139. cat /root/docker/docker-image/nfs_server-export.tar | docker import - nfs-server:latest
     
140. 
     
141. -------------------------------------------------------------
     
142. 然后用刚刚导入的镜像创建server
     
143. docker run -it \
     
144. -d \
     
145. --name=nfs \
     
146. --restart unless-stopped \
     
147. -e TZ=Asia/Shanghai \
     
148. --privileged \
     
149. --net=host \
     
150. --mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup,ro \
     
151. -v /root/docker/nfs/nfs_share:/root/nfs_share \
     
152. nfs-server:latest bash
     
153. 
     
154. 测试不要用端口映射,直接host模式试试
     
155. -p 111:111/tcp -p 111:111/udp \
     
156. -p 2049:2049/tcp -p 2049:2049/udp \
     
157. -p 32767:32767/tcp -p 32767:32767/udp \
     
158. -p 32768:32768/tcp -p 32768:32768/udp \
     
159. 防火墙设置
     
160. iptables -I FORWARD 1 -p tcp -m multiport --dport 111,2049 -j INPUT_SSH___________________ -m comment --comment "NFS只允许我自己访问"
     
161. 
     
162. 如果是远程服务器,是否还需要多映射一些端口
     
163. netstat -antp
     
164. 41747
     
165. 20048
     
166. 45023
     
167. netstat -anup
     
168. 111
     
169. 45515
     
170. 20048
     
171. 60534
     
172. 
     
173. iptables -t nat -A DOCKER ! -i docker0 -p tcp --dport 41747 -j DNAT --to 172.17.0.4:41747
     
174. iptables -t nat -A DOCKER ! -i docker0 -p tcp --dport 20048 -j DNAT --to 172.17.0.4:20048
     
175. iptables -t nat -A DOCKER ! -i docker0 -p tcp --dport 45023 -j DNAT --to 172.17.0.4:45023
     
176. 
     
177. 
     
178. iptables -t nat -A DOCKER ! -i docker0 -p udp --dport 111 -j DNAT --to 172.17.0.4:111
     
179. iptables -t nat -A DOCKER ! -i docker0 -p udp --dport 45515 -j DNAT --to 172.17.0.4:45515
     
180. iptables -t nat -A DOCKER ! -i docker0 -p udp --dport 20048 -j DNAT --to 172.17.0.4:20048
     
181. iptables -t nat -A DOCKER ! -i docker0 -p udp --dport 60534 -j DNAT --to 172.17.0.4:60534
     
182. 
     
183. 
     
184. docker exec -it nfs bash
     
185. # 启动服务
     
186. rpcbind -w #这一步会产生111端口监听
     
187. exportfs -r
     
188. mount -t nfsd nfsd /proc/fs/nfsd
     
189. rpc.nfsd 8 #这一步会产生剩余端口监听
     
190. rpc.mountd
     
191. #rpc.statd
     
192. 检查
     
193. rpcinfo -p localhost
     
194. 应该有100003和100005
     
195. IP是172.17.0.4
     
196. 
     
197. -------------------------------------------------------------
     
198. 然后用刚刚导入的镜像创建client
     
199. 
     
200. docker run -it \
     
201. -d \
     
202. --name=nfs_client_daoru \
     
203. --restart unless-stopped \
     
204. -e TZ=Asia/Shanghai \
     
205. --cap-add SYS_ADMIN \
     
206. --cap-add DAC_READ_SEARCH \
     
207. --mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup,ro \
     
208. -v /root/docker/nfs/nfs_share_client:/root/nfs_share \
     
209. nfs-client:latest bash
     
210. 
     
211. docker exec -it nfs_client_daoru bash
     
212. rpcbind -w
     
213. showmount -e 172.17.0.4 #提示正常
     
214. mount -t nfs 172.17.0.4:/root/nfs_share /root/nfs_share
     
215. OK,成功
     
216. ---------------------------------
     
217. 测试用另外一台服务器当client
     
218. docker run -it \
     
219. -d \
     
220. --name=nfs_client \
     
221. --restart unless-stopped \
     
222. -e TZ=Asia/Shanghai \
     
223. --cap-add SYS_ADMIN \
     
224. --cap-add DAC_READ_SEARCH \
     
225. --mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup,ro \
     
226. -v /root/nfs_share_client:/root/nfs_share:shared \
     
227. nfs-client:latest bash
     
228. 
     
229. #测试直接用最高权限
     
230. --privileged \
     
231. 
     
232. docker exec -it nfs_client bash
     
233. rpcbind -w
     
234. showmount -e 110.42.34.125 #这里卡住了,是否需要在服务端开放更多端口?
     
235. mount -t nfs 110.42.34.125:/root/nfs_share /root/nfs_share
     
236. OK,成功
     
237. 
     
238. 继续问问
     
239. 在110.42.34.125这台服务器上,我只对nfs的docker容器映射了111和2049端口
     
240. 然后我在另外一台服务器上用这条命令挂载nfs
     
241. mount -t nfs 110.42.34.125:/root/nfs_share /root/nfs_share
     
242. 提示
     
243. mount.nfs: mounting 110.42.34.125:/root/nfs_share failed, reason given by server: No such file or directory
     
244. 请问是服务器端口没有映射全吗?
     
245. 大概率是端口没有映射全,我在服务器上的client连内网IP是能成功的
     
246. 
     
247. 最后服务端使用host网络就成功了
     
248. 
     
249. -------------------------------------------------------------
     
250. 这个是我问AI的过程
     
251. https://www.doubao.com/thread/w850cb687bc542a99
     

复制代码

admin

1. 
   
2. 我把镜像打包了
   
3. 然后最终总结的使用方法:
   
4. 
   
5. 先上传镜像,然后导入
   
6. cat /root/docker/docker-image/nfs_client-export.tar | docker import - nfs-client:latest
   
7. cat /root/docker/docker-image/nfs_server-export.tar | docker import - nfs-server:latest
   
8. 
   
9. --------------------------------------------------------------------------------------------
   
10. 
    
11. 服务端:
    
12. docker run -it \
    
13. -d \
    
14. --name=nfs \
    
15. --restart unless-stopped \
    
16. -e TZ=Asia/Shanghai \
    
17. --privileged \
    
18. --net=host \
    
19. --mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup,ro \
    
20. -v /root/docker/nfs/nfs_share:/root/nfs_share \
    
21. nfs-server:latest bash
    
22. 
    
23. 防火墙严格设置:
    
24. iptables -A INPUT -p tcp -m multiport --dport 111,2049 -j INPUT_SSH___________________ -m comment --comment "NFS只允许我自己访问"
    
25. 
    
26. 
    
27. docker exec -it nfs bash
    
28. # 启动服务
    
29. rpcbind -w #这一步会产生111端口监听
    
30. exportfs -r
    
31. mount -t nfsd nfsd /proc/fs/nfsd
    
32. rpc.nfsd 8 #这一步会产生剩余端口监听
    
33. rpc.mountd
    
34. 
    
35. #检查具体用了哪些端口
    
36. rpcinfo -p
    
37. #结果如下
    
38.    program vers proto   port  service
    
39.     100000    4   tcp    111  portmapper
    
40.     100000    3   tcp    111  portmapper
    
41.     100000    2   tcp    111  portmapper
    
42.     100000    4   udp    111  portmapper
    
43.     100000    3   udp    111  portmapper
    
44.     100000    2   udp    111  portmapper
    
45.     100003    3   tcp   2049  nfs
    
46.     100003    4   tcp   2049  nfs
    
47.     100227    3   tcp   2049  nfs_acl
    
48.     100021    1   udp  37543  nlockmgr
    
49.     100021    3   udp  37543  nlockmgr
    
50.     100021    4   udp  37543  nlockmgr
    
51.     100021    1   tcp  36141  nlockmgr
    
52.     100021    3   tcp  36141  nlockmgr
    
53.     100021    4   tcp  36141  nlockmgr
    
54.     100005    1   udp  20048  mountd
    
55.     100005    1   tcp  20048  mountd
    
56.     100005    2   udp  20048  mountd
    
57.     100005    2   tcp  20048  mountd
    
58.     100005    3   udp  20048  mountd
    
59.     100005    3   tcp  20048  mountd
    
60. #然后防火墙只放行这些端口,只允许指定客户端访问
    
61. iptables -A INPUT -p tcp -m multiport --dport 36141,20048 -j INPUT_SSH___________________ -m comment --comment "NFS只允许我自己访问"
    
62. iptables -A INPUT -p udp -m multiport --dport 111,37543,20048 -j INPUT_SSH___________________ -m comment --comment "NFS只允许我自己访问"
    
63. #到这里服务端就设置完全了
    
64. 
    
65. 
    
66. --------------------------------------------------------------------------------------------
    
67. 
    
68. 
    
69. 客户端:
    
70. docker run -it \
    
71. -d \
    
72. --name=nfs_client \
    
73. --restart unless-stopped \
    
74. -e TZ=Asia/Shanghai \
    
75. --cap-add SYS_ADMIN \
    
76. --cap-add DAC_READ_SEARCH \
    
77. --mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup,ro \
    
78. -v /root/nfs_share_client:/root/nfs_share:shared \
    
79. nfs-client:latest bash
    
80. 说明:主要是-v参数后面的shared,这个参数加了以后,在docker内挂载了nfs,才可以在物理机访问
    
81. 
    
82. docker exec -it nfs_client bash
    
83. rpcbind -w
    
84. showmount -e 110.42.34.125 #这一步其实可以不要,这个是检测的
    
85. mount -t nfs 110.42.34.125:/root/nfs_share /root/nfs_share
    
86. OK,成功
    
87. 
    
88. 
    
89. --------------------------------------------------------------------------------------------
    

复制代码