几个文件分布式存储系统的比较

pylist 366

几个文件分布式存储系统的比较,仅供参考:

HDFS vs WeedFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统
HDFS的特点是分割大文件,能很完美的读写大文件
《HDFS Architecture Guide》https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html 1
WeedFS 的特点是偏向于小文件, 追求更高的速度和并发能力

MogileFS vs WeedFS

MogileFS 有三层组件: tracers, database, storage nodes
WeedFS 有两层组件:directory server, storage nodes
多一层组件就意味着:很慢的访问、很复杂的操作以及更高的出错几率
MogileFS 适用于处理海量小文件
https://github.com/mogilefs
MogileFS 是一个开源的分布式文件系统,用于组建分布式文件集群,由 LiveJournal 旗下 Danga Interactive 公司开发,Danga 团队开发了包括 Memcached、MogileFS、Perlbal 等不错的开源项目:(注:Perlbal 是一个强大的 Perl 写的反向代理服务器)。目前国内使用 MogileFS 的有图片托管网站 yupoo 等

GlusterFS vs WeedFS

GlusterFS 是跟POSIX 规范完全兼容的, 所以更复杂, 适用于处理单个大文件
WeedFS只有一部分兼容POSIX
https://www.gluster.org/

Mongo's GridFS vs WeedFS

Mongo's GridFS 采用MongoDB管理分隔后的chunks, 每次的读写请求都需要数据的查询元文件信息,对于少量请求是没有问题的, 但对于高并发的场景,它很容易挂掉。
WeedFS 采用volume管理实际的数据, 查询任务分摊到各个volume节点, 所以很容易应对高负载的场景。
https://docs.mongodb.org/manual/core/gridfs/

WeedFS

weed-fs,全名Seaweed-fs,是一种用golang实现的简单且高可用的分布式文件系统。该系统的目标有二:

  • 存储billions of files
  • serve the files fast

https://github.com/chrislusf/seaweedfs

另外一个比较

MogileFS 适用于处理海量小文件
Ceph 是一个 Linux PB级别的分布式文件系统
MooseFS 通用简便,适用于研发能力不强的公司
Taobao Filesystem 适用于处理海量小文件
ClusterFS 适用于处理单个大文件
Google Filesystem GFS+MapReduce擅长处理单个大文件
Hadoop Distributed Filesystem GFS的山寨版+MapReduce,擅长处理单个大文件

登录发表评论

桂公网安备 45122402000014号