▇▇▇mfs权威指南(moosefs)分布式文件系统一站式解决方案(部署,性能测试)不断更新 - 分布式文件系统(FastDFS) - ChinaUnix.net -
[mooseFS]
▇▇▇mfs权威指南(moosefs)分布式文件系统一站式解决方案(部署,性能测试)不断更新
[复制链接]
- 论坛徽章:
- 0
#!/bin/tony
1. 我在性能测试中间遇到些问题,因为我时间有限,所以希望大家一起来测试解决,群策群力。有什么问题请大家及时指出来,因为我也处在一个不断摸索的阶段。
2. mfs不多做介绍,具体细节请参考本版mfs实践文章 http://bbs.chinaunix.net/thread-1643863-1-1.html ,或者baidu,google 关键字 田逸 。
3. 希望大家能提供更好的存储/文件系统的测试模型,来一起完善本文档。(热烈欢迎大家奉献 测试脚本 , 测试用例 等)。
4. 希望大家提供生产环境的实际案例,配置环境,脚本,监控机制等等。
5. 希望熟悉代码的朋友去看看mfs内部实现的机制。
6. 特别感谢 田逸 的文档 http://sery.blog.51cto.com/10037/263515 。
7. 特别感谢qq群战友: tt,灵犀,流云风,hzqbbc 在qq群内对广大爱好者分享宝贵经验。
8. 特别感谢存储专家-《大话存储》的作者: 冬瓜头 ,在我进行性能测试的时候,对我进行的指导。
9. 特别感谢qq群战友: 高性能架构, CU ID: leo_ss_pku , 制作更专业更精美的pdf版本:
(3.32 MB, 下载次数: 1956)
, 大家也可以他的blog上浏览在线版本: http://www.himysql.com/doc/mfs.html
mfs优势:
-1. Free(GPL)
0. 通用文件系统,不需要修改上层应用就可以使用(那些需要专门api的dfs好麻烦哦!)。
1. 可以在线扩容,体系架构 可伸缩性 极强。(官方的case可以 扩到70台了 !)
2. 部署简单。(sa们特别高兴,领导们特别happy!)
3. 体系架构高可用 ,所有组件 无单点故障。 (您还等什么?)
4. 文件对象高可用 ,可设置任意的文件冗余程度(提供比 raid1+0更高 的冗余级别),而绝对不会影响读或者写的性能,只会加速哦!)
5. 提供Windows回收站的功能.(不怕误操作了,提供类似oralce 的闪回等高级dbms的即时回滚特性,oralce这些特性可是收费的哦!)
6. 提供类似Java语言的 GC(垃圾回收).
7. 提供netapp,emc,ibm等商业存储的 snapshot 特性。
8. google filesystem的一个c实现。(google在前面开路哦!)
9. 提供web gui监控接口。
10. 提高随机读或写的效率(有待进一步证明)。
11. 提高海量小文件的读写效率(有待进一步证明)。
可能的瓶颈:
0. master本身的性能瓶颈。(不太恰当的比方:类似mysql 主从复制,从的可以扩展,主的不容易扩展)。 (qq群战友 : hzqbbc )
短期对策 :按业务切分
1. 体系架构存储文件总数的可遇见的上限。
(mfs把文件系统的结构缓存到master的内存中,个人认为文件越多,master的内存消耗越大,8g对应2500kw的文件数,2亿文件就得64GB内存 )。(qq群战友 : hzqbbc )
短期对策 :按业务切分
2. 单点故障解决方案的健壮性。(qq群战友 : tt , hzqbbc )
▇▇▇mfs权威指南(moosefs)分布式文件系统一站式解决方案(部署,性能测试)不断更新 - 分布式文件系统(FastDFS) - ChinaUnix.net -