元数据性能大比拼：HDFS vs S3 vs JuiceFS( 二 ) _生活百科

S3 非常慢，尤其是 Rename 操作，因为它是通过 Copy + Delete 实现的。本文测试的还只是单个空文件的 Rename，而大数据场景常用的是对整个目录的 Rename，差距会更大。
JuiceFS 的速度比 HDFS 更快。

文章插图
上图是 100 个并发时的吞吐量对比，可以发现：

S3 的吞吐量非常低，和其它两个产品有一到两个数量级的差距，意味着它需要使用更多的计算资源，产生更高的并发，才能获得同等的处理能力。
JuiceFS 比 HDFS 的处理能力基本和 HDFS 持平，部分操作性能高于 HDFS 。
随着并发的持续升高，HDFS 的性能仍然可以继续提升，但 JuiceFS 受制于元数据引擎本身的性能，到达瓶颈。如果需要高吞吐，可以使用 TiKV 作为元数据引擎。

JuiceFS 社区版可以适配各种成熟的元数据引擎，各种元数据引擎性能都有其相应的特点。比如 Redis 的低时延迟，MySQL 的可靠性，TiKV 的高吞吐。更多测试详见：元数据引擎性能对比测试 | JuiceFS Document Center
如有帮助的话欢迎关注我们项目 Juicedata/JuiceFS 哟！ (0?0?)
【元数据性能大比拼：HDFS vs S3 vs JuiceFS】