快速业务通道

moosefs分布式文件系统实施配置方案

作者 佚名技术 来源 Linux系统 浏览 发布时间 2012-04-03

基于linux下分布式文件系统方案 前言 现在有大量的企业采用共享存储服务器NFS的方式,来对应用数据进行网络存储,但这存在性能瓶颈和单点故障的问题,于是分布式文件存储管理系统开始流行起来.其优点是不言而喻的,以下介绍的是分布式文件系统MFS,相信对大家有所帮助. 随着公司业务量的增加,相关的业务数据也随着成倍的增加.相应的机器存储空间不足的问题就成为目前一个比较突出的问题,随之而来的备份亦成为一个很为头痛的问题.公司虽然有几台大容量的计算机可用来存放相关数据,但其位置位于各个机房,一时较难以组织,即使将其组织起来只能满足在一段时间内的存储需求,这个需要利用多台服务器上空闲空间加以组织利用,以提供更大的磁盘空间.目前绝大多数业务系统采用NFS文件共享的方式来解决文件惟一性的问题,这种方法在规模较小、访问量低的时候还可以;随着量(访问及文件数目)的增加,这种共享架构显得有些力不从心了,性能与用户体验会有不小的下降.除此之外,还要努力保证这台NFS服务器不能宕机,所有靠共享提供数据的应用就不再可用.基于这样一种需求,我们需要对NFS服务器进行优化或采取别的解决方案,然而优化并不能对应对日益增多的客户端的性能要求,因此只能是采取别的解决方案了.分布式文件系统是一个比较合适的选择,采用分布式文件系统后,服务器之间的数据访问不再是一对多的关系(1个NFS服务器,多个NFS客户端),而是多对多的关系,这样一来,性能大幅提升毫无问题,同时可靠性也高了许多. Moose File System是一个具备容错功能的网络分布式文件系统,它将数据分布在网络中的不同服务器上,MooseFS通过 FUSE 使之看起来就是一个 Unix 的文件系统. 以下是使用mfs共享的网络拓扑图: 关于分布式文件系统MFS 选择了moosefs(以下简称MFS)这种分布式文件系统来作为我的共享存储服务器.为什么要选它呢? 1. 安装简单方便(易用性). MFS的安装、部署、配置相对于其他几种工具来说,要简单和容易得多. 2.扩容方便(高可靠性). MFS框架做好后随时增加服务器扩充容量;扩充和减少容量皆不会影响现有的 服务. 3.管理方便(可操作性).你可以很方便的动态调整集群运行参数,即时生效而不用重启服务! 4.恢复服务容易.除了MFS本身具备高可用特性外,手动恢复服务也是非常快捷的. MFS特性 ★ 高可靠性(数据能被分成几个副本存储在不同的计算机里) ★ 通过增加计算机或增加新的硬盘动态扩充可用磁盘空间 ★ 可以设置删除文件的空间回收时间 mfs系统的组成部分: 1、元数据服务器.在整个体系中负责管理管理文件系统,目前MFS只支持一个元数据服务器master,这是一个单点故障,需要一个性能稳定的服务器来充当.希望今后MFS能支持多个master服务器,进一步提高系统的可靠性. 2、数据存储服务器chunkserver.真正存储用户数据的服务器,存储文件时,把文件分成块,然后这些块在数据服务器chunkserver之间复制,数据服务器可以是多个,并且数量越多,可使用的"磁盘空间"越小,可靠性也越高. 3、客户端.使用MFS文件系统来存储和访问的主机称为MFS的客户端,成功挂接MFS文件系统以后,就可以像以前使用NFS一样共享这个虚拟性的存储了. 元数据日志服务器 4.Metalogger server(Metalogger).负责备份master 服务器的变化日志文件,文件类型为changelog_ml.*.mfs ,以便于在master server 出问题的时候接替其进行工作. 以下是mfs的官方示意图: 以下是具体得安装步骤 主控服务器Master server 安装 当我们安装主控服务器时,在配置过程中(./configure),可以取消安装chunk server --disable-mfschunkserver)以及MooseFS 客户端(--disable-mfsmount. 安装 主控服务器master 的具体步骤为: 1、添加mfs #groupadd mfs

凌众科技专业提供服务器租用、服务器托管、企业邮局、虚拟主机等服务,公司网站:http://www.lingzhong.cn 为了给广大客户了解更多的技术信息,本技术文章收集来源于网络,凌众科技尊重文章作者的版权,如果有涉及你的版权有必要删除你的文章,请和我们联系。以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息,谢谢!

分享到: 更多

Copyright ©1999-2011 厦门凌众科技有限公司 厦门优通互联科技开发有限公司 All rights reserved

地址(ADD):厦门软件园二期望海路63号701E(东南融通旁) 邮编(ZIP):361008

电话:0592-5908028 传真:0592-5908039 咨询信箱:web@lingzhong.cn 咨询OICQ:173723134

《中华人民共和国增值电信业务经营许可证》闽B2-20100024  ICP备案:闽ICP备05037997号