GlusterGS分布式文件系统

网址 http://www.gluster.org/
特性 分布式文件存储,不用namespace,可以像NFS那样使用,可以根据需要搭建大容量的高可用性的分布式文件存储系统。

一位兄弟按照网站上的快速教程做的安装过程(GlusterFS 安装/配置/测试)

可以考虑用来替代nfs使用,做文件镜像服务器等。

Popularity: 2% [?]

Related

一个轻量级的分布式文件存储FastDFS

国人做的用C语言写的轻量级的分布式文件存储,只有 tracker和storage 节点。没有使用数据库。

作者happy_fish写的介绍性页面: http://fastdfs.zhan.cn.yahoo.com/apps/ncpcontent/?module_id=19100000018373&action=read&articleid=18
项目地址: http://fastdfs.zhan.cn.yahoo.com/
文件下载地址: http://code.google.com/p/fastdfs/downloads/list

作者做的和MogileFS的对比

FastDFS设计时借鉴了MogileFS的一些思路。FastDFS是一个完善的分布式文件存储系统,通过客户端API对文件进行读写。可以说,MogileFS的所有功能特性FastDFS都具备,MogileFS网址:http://www.danga.com/mogilefs/。

另外,相对于MogileFS,FastDFS具有如下特点和优势:
1. FastDFS完善程度较高,不需要二次开发即可直接使用;
2. 和MogileFS相比,FastDFS裁减了跟踪用的数据库,只有两个角色:tracker和storage。FastDFS的架构既简化了系统,同时也消除了性能瓶颈;
3. 在系统中增加任何角色的服务器都很容易:增加tracker服务器时,只需要修改storage和client的配置文件(增加一行tracker配置);增加storage服务器时,通常不需要修改任何配置文件,系统会自动将该卷中已有文件复制到该服务器;
4. FastDFS比MogileFS更高效。表现在如下几个方面:
1)参见上面的第2点,FastDFS和MogileFS相比,没有文件索引数据库,FastDFS整体性能更高;
2)从采用的开发语言上看,FastDFS比MogileFS更底层、更高效。FastDFS用C语言编写,代码量不到2万行,没有依赖其他开源软件或程序包,安装和部署特别简洁;而MogileFS用perl编写;
3)FastDFS直接使用socket通信方式,相对于MogileFS的HTTP方式,效率更高。并且FastDFS使用sendfile传输文件,采用了内存零拷贝,系统开销更小,文件传输效率更高。
5. FastDFS有着详细的设计和使用文档,而MogileFS的文档相对比较缺乏。
6. FastDFS的日志记录非常详细,系统运行时发生的任何错误信息都会记录到日志文件中,当出现问题时方便管理员定位错误所在。
7. FastDFS还对文件附加属性(即meta data,如文件大小、图片宽度、高度等)进行存取,应用不需要使用数据库来存储这些信息。

Popularity: 2% [?]

Related

编译mogileFS的php模块

下载 php 的mofileFS 模块, 下载地址在http://www.sunnyu.com/?p=10有列出
1. 解压
2. 执行 phpize 命令
3. 执行 ./configure –with-php-config=/usr/local/php526/bin/php-config
4. 执行 make
碰到错误,原来是没有安装 neon 开发包,于是在linux安装盘上找到 neon-0.24.7-4.i386.rpm, neon-devel-0.24.7-4.i386.rpm
将其安装上

  1.  rpm -ivh neon-0.24.7-4.i386.rpm
  2.  rpm -ivh neon-devel-0.24.7-4.i386.rpm

再使用 make ,一切正常
5. make install
记录下拷贝到的路径
6. 修改php.ini 里面添加上新的模块
再module部分添加上上面记录下的文件路径
7. 编写一个php 页面做测试

Popularity: 2% [?]

Related

mogileFS的工作方式(译)

原文地址: mogileFS HighLevel Overview

下面简要阐述 MogileFS 是怎么工作的.

mogileFS由如下一些部分构成:

High-level 流程:

Popularity: 2% [?]

Related

mogileFS体系结构分析-Mogstored存储节点在做什么

存储节点的作用:对存储节点的信息做维护查询:

在存储节点上用来保存文件的文件存储目录结构
$docroot/dev$devnum/b/mmm/ttt/$fid.fid
其中 $docroot 为主机上用来存储的根路径
dev$devnum 表示是该主机上被登记的设备的映射路径
b/mmm/ttt 做目录分割将文件分散到不同目录中,b/mmm/ttt 是fid除1000得余数后转化为字符串通过\分隔开来得到,这样保证一个目录下不会有太多目录和太多文件。
$fid.fid 对应记录$fid的物理文件。
设有一个文件的fid=1234567890,则$devnum后面的文件目录结构如下 /1/234/567/1234567890.fid

Popularity: 2% [?]

Related

mogileFS体系结构分析-数据库表

前面对mogileFS做了一下简单介绍,这儿开始对他进行剖析。
首先剖析他用来做文件西信息track的表结构。
使用到的数据表

mogileFS是一个依赖数据库做数据信息交换的系统,为了减少DB的操作次数,使用了memcached做一些查询结果的缓冲。

Popularity: 2% [?]

Related

mogileFS分布式文件存储解决方案

mogileFS是一个分布式文件存储的解决方案,他由Six Apart开发下面列出了他的一些特性(由mogileFS页面http://www.danga.com/mogilefs/ 介绍翻译而来)

Mogilefs 的网站地址(http://www.danga.com/mogilefs)

php 扩展 的地址(http://www.capoune.net/mogilefs/)提供了一个php扩展用来在php中使用mogileFS。
这儿也有一个地址,svn的源码库 http://svn.usrportage.de/php-mogilefs/trunk/

mogileFS 安装步骤( http://durrett.net/mogilefs_setup.html
mogileFS 使用perl 编写的,在安装前你应该先安装好perl。同时mogileFS也需要一个数据库用来保存文件数据的跟踪信息(目前好像可以使用MySQL推荐, SQLite,Oracle,Postsql)。

这儿有一个兄弟的中文安装学习笔记 mogileFS学习

mogileFS 适合于静态存储,就是那种一次保存,多次读取型的资源,比如以html方式静态化处理的动态文件,图片文件,其他只提供下载的文件等。

Popularity: 2% [?]

Related