基于COS对象存储的文件存储网关部署 单目录挂载1PB!

一、方案目的介绍

  • 目标客户群体:企业文件共享,大数据企业等使用内部文件服务实现云端灾备服务,实现目录挂载1PB
  • 方案目标:实现企业云端或本地文件服务器的云端海量数据存储和备份,支持热点数据实时调备
  • 使用产品:COS对象存储、4核8G云服务器CVM、1核1G测试机CVM、10G云盘、30G云盘

二、技术架构

COS文件储网关架构

三、方案部署

1.登陆控制台,创建存COS对象存储桶

2.创建主机

注:建议用4核8G内存配置以上的云主机配置

2.1选择创建与存储桶相同可用区下的云主机

2.2为云主机安装云市场中的“文件存储网关”镜像

2.3为云主机配置至少两块云数据盘(这里我添加了10G和30G的云盘)

注:存储网关有缓存盘和元数据存储盘,元数据存储盘至少要比缓存盘大1.5倍

2.4配置放通端口安全策略(仅限共享传输协议端口)

注:此处必须放通这些端口的安全策略,否则后面是挂在不上NFS的

最终配置结果:

2.5登陆存储网关云主机的登陆账号

账户:csguser 密码:csg123

3.创建激活文件存储网关,关联存储桶。

3.1创建存储网关

注:这里可以填写公网或者内网IP;

3.2设置缓存的两块云盘

另外设置两块硬盘时记住,元数据存储盘比缓存盘大1.5倍(该处一次性设置不可更改的)

3.3创建文件系统关联COS对象存储桶

4.创建一台测试的云主机,系统盘50G,CenterOS7.5系统。

5.挂在NFS文件存储网关

5.1在测试云主机上安装NFS-util

Yum –y install nfs-utils ##安装挂载软件需求包

5.2挂在NFS存储网关

mout –t nfs 【共享存储路径】 【挂载路径】 ##挂载命令

df -h ##查看挂载命令

注:本次可以看到挂载的是1PB大小的一个存储桶。

6.测试验证。

上传一个视频文件到云主机,然后再将该文件移动到nfs挂载目录中

移动&查看

7.总结:

本次测试是基于的-COS对象存储网关部署实践,是想拓展COS对象存储+云主机CVM的共享存储解决方案实践,

(1) 存储资源分配、海量存储

(2) 冷热数据分离、备份及归档

(3) 灾难恢复、数据处理及分发

8.实践问题汇总:

(1)配置存储网关的配置至少要4核8G,1核1G带不动

(2)安装存储网关时至少需要两块云盘,并且元数据存储盘比缓存盘大1.5倍。

(3)存储网关在云上共享的是10.0.0.0内网地址,不能挂在本地的IDC电脑上,只能挂在相同可用区的云主机上,或者VPC内网中。

(4)存储网关的安全策略一定要放通以下共享协议端口,自己是全放通才执行成功。

22、80、3260、111、562、892、2049、8082、32803、662、32769等

(具体参考官网文档https://cloud.tencent.com/document/product/581/12274)

注:原理详解参考链接https://cloud.tencent.com/developer/article/1075806