DeepSeek开源周最后一弹:超快的数据存储和访问方式3FS

今天北京德比肯定是焦点,一方面是德比战,还有一方面是孙悦退役仪式。不过赛前的焦点还是比较多的。就比如北京这边,赛前训练时曾凡博的肌肉明显又变壮了,这对于他在进攻端是巨大的助力。

2月28日消息,今日,DeepSeek开源周第五天,也是最后一天,亮出的是3FS,一种高性能并行文件系统。

3FS(Fire-Flyer File System)专为充分利用现代固态硬盘(SSD)和远程直接内存访问(RDMA)网络的带宽而设计,能够加速对数据存储和访问。

据介绍,在180节点的集群中,3FS能够提供高达6.6 TiB/s的聚合读取吞吐量。此外,在25节点的集群上,3FS通过GraySort基准 ,达到了3.66 TiB/min的吞吐量。

3FS不仅在数据吞吐量上表现突出,还在单客户端节点的K ache查询中,达到了每秒40+ GiB的峰值吞吐量。其去中心化架构和强一致性语义,确保了在各种分布式应用场景中,数据的 访问和一致性维护。

特别是在V3/R1版本中,3FS支持训练数据预处理、数据集加载、检查点保存与重载、嵌入向量搜索和K ache查询等关键功能。(袁宁)

DeepSeek开源周最后一弹:超快的数据存储和访问方式3FS

本文来自 科技报道,更多资讯和深度内容,关注我们。

关键词:吞吐量数据节点