移动硬盘使用exfat与NTFS，发现差别还是挺大的

发表于 2016-1-25 11:33

本帖最后由 909648183 于 2016-1-25 11:34 编辑

看驱动之家的测试 http://news.mydrivers.com/1/225/225024_all.htm
测试结果是 NTFS、exFAT在SSD跑分时（ASSD，CDI之类的测试）性能差别不大

我最近买了一块1T 移动硬盘，加在路由器（OP固件）上使用SMB，开始时使用ntfs，读写都不到5M，很不满意（可能是ntfs-3G效率的原因），又格式化为exfat（毕竟OP使用的是微软自己写的驱动），速度好了一点，读10M写5M

但是exfat在直连PC转移数据时发现，单独复制一个目录时速度可以达到100+M，但如果同时复制两个目录，总速度会极速下降到不到30M，之前使用NTFS时没有这个问题，无论多少个目录，大文件拷贝总速度都是大概100M。而且把SMB映射到PC Z盘，使用迅雷直接下载到Z盘时经常卡死，难道也是exfat格式性能导致的？

然后又看到有人博客提到exfat的大量文件处理性能比ntfs差很多 http://blog.sina.com.cn/s/blog_6270b0ef01017pmt.html

现在很纠结的是使用什么格式比较好，其实我换个固件或者在OP里优化下ntfs SMB的性能会好很多，但ntfs 3G在写入大文件（4G以上）时似乎有bug，可能导致分区表或MFT出问题；使用exfat的话担心同时读写的话性能会下降太厉害（比如PC在写入的同时，手机在读取，会卡顿）。

由于单个文件大小限制，fat32不考虑，ext3/4的话又不能把硬盘直接挂PC读写（或者说比较麻烦）

补充内容 (2016-3-1 20:26):
真的遇到ntfs-3g BUG了，已经几次丢失文件，一插上PC就提示需要修复...............

Pale_Cheung · 发表于 2016-1-25 12:22

真是追求速度的. 又是自己一个人用的. 主机和路由器之间移动数据的.

windows 上装个linux vm. 移动硬盘格式化为 ext4 或者 xfs ,反正linux支持良好的fs就好.

移动硬盘传递给linux虚拟机,window上用 sftp/ftp 下载文件.
注意 sftp协议对cpu有一定压力,故而速度没有ftp快.host only的网络,无须考虑加密,推荐ftp.

发表于 2016-1-25 12:32

本帖最后由 909648183 于 2016-1-25 12:36 编辑

Pale_Cheung 发表于 2016-1-25 12:22
真是追求速度的. 又是自己一个人用的. 主机和路由器之间移动数据的.

windows 上装个linux vm. 移动硬盘格 ...

其实我有centos VM，曾经试过在虚拟机和主机间拷贝文件，真的很慢（全SSD，虚拟硬盘固定分配，使用主机挂载虚拟硬盘的方式，主机加载ext4分区拷贝）

如果不是ntfs-3G可能的bug的话，还是ntfs最好，听说有个闭源的linux NTFS驱动比较不错，有些路由器买了授权用起来不错，不过由于版权没人移植

发表于 2016-1-25 12:37

Pale_Cheung 发表于 2016-1-25 12:22
真是追求速度的. 又是自己一个人用的. 主机和路由器之间移动数据的.

windows 上装个linux vm. 移动硬盘格 ...

主机与VM间FTP速度可以到多少？

frontwing · 发表于 2016-1-25 13:02

exfat是给闪存设计的，不是给机械硬盘设计的。

Halry · 发表于 2016-1-25 13:48

exfat本来就没被人放在心上，只是为了兼容性而存在的东西，因为ntfs始终是“NT”。
你还把硬盘挂在路由器上，肯定是很慢的，唯一的解决方法就是上nas。
迅雷一定会卡死，因为他要先写入和下载数据同等容量的文件到硬盘后才继续下载（不信你按暂停肯定会卡在正在暂停上面，我给迅雷提了多次已经也没用）

发表于 2016-1-25 13:53

frontwing 发表于 2016-1-25 13:02
exfat是给闪存设计的，不是给机械硬盘设计的。

不过在linux驱动支持上还是exfat好一些

发表于 2016-1-25 13:55

本帖最后由 909648183 于 2016-1-25 14:00 编辑

frontwing 发表于 2016-1-25 13:02
exfat是给闪存设计的，不是给机械硬盘设计的。

有时间的话，我搞个SSD的exfat分区测试下混合读写性能

我感觉应该不光是给闪存设计的问题，可能是设计的时候就不是为了高性能

发表于 2016-1-25 14:08

本帖最后由 909648183 于 2016-1-25 14:12 编辑

发现有人已经测试过混合读写了
http://storage.it168.com/a2012/0427/1343/000001343042_8.shtml

80%读/20%写，80%随机/20顺序，驱动之家的翻译也不翻译完整.....

overthink · 发表于 2016-1-25 15:14

xfs或者ext4

dert88 · 发表于 2016-1-25 15:26

本帖最后由 dert88 于 2016-1-25 15:29 编辑

exfat本来不就是为了解决fat32不支持大于4G文件而推出的么？性能啥的和它有关么？

还有就是移动盘快速卸载，exfat相比ntfs直接拔盘更方便。

nighttob · 发表于 2016-1-25 15:33

dert88 发表于 2016-1-25 15:26
exfat本来不就是为了解决fat32不支持大于4G文件而推出的么？性能啥的和它有关么？

还有就是移动盘快速卸载 ...

文件系统当然影响性能
不然数据库这种极其强调磁盘性能的也不会自己做专用文件系统甚至裸文件系统了

发表于 2016-1-25 15:41

nighttob 发表于 2016-1-25 15:33
文件系统当然影响性能
不然数据库这种极其强调磁盘性能的也不会自己做专用文件系统甚至裸文件系统了

本来想着linux内核原生支持exfat，性能会好点，但没想到exfat在windows上拷贝大文件都有性能问题

nighttob · 发表于 2016-1-25 15:46

909648183 发表于 2016-1-25 15:41
本来想着linux内核原生支持exfat，性能会好点，但没想到exfat在windows上拷贝大文件都有性能问题
...

exfat本身没什么问题，也不存在跨平台兼容性
任何事物都有短板，就在于你怎么用了

Pale_Cheung · 发表于 2016-1-25 16:48

909648183 发表于 2016-1-25 12:37
主机与VM间FTP速度可以到多少？

sftp> lcd "J:\Shared Virtual Machines\WMS"
sftp> lpwd
J:/Shared Virtual Machines/WMS
sftp> lls -l
d 0 Nov 24, 2014 16:35 caches
772341760 Jul 15, 2015 16:37 Template_2008_R2_IE11-cl1.vmdk
283056 Jul 15, 2015 16:37 vmware.log
536870912 Jul 15, 2015 16:37 WMS-flat.vmdk
8684 Jul 15, 2015 16:37 WMS.nvram
472 Jul 15, 2015 15:44 WMS.vmdk
192 Nov 24, 2014 16:23 WMS.vmsd
2418 Jul 15, 2015 16:37 WMS.vmx
3283 Nov 24, 2014 16:23 WMS.vmxf
sftp> pwd
/root
sftp> put WMS-flat.vmdk
Uploading WMS-flat.vmdk to /root/WMS-flat.vmdk
100% 524288KB 74898KB/s 00:00:07
J:/Shared Virtual Machines/WMS/WMS-flat.vmdk: 536870912 bytes transferred in 7 seconds (74898 KB/s)

复制代码

这个是 securecrt的sftp-tab。速度已经70MB多了。
ftp 再快一点吧。

我这个是桥接模式，如果是host-only，应该能更快。

发表于 2016-1-25 16:54

本帖最后由 909648183 于 2016-1-25 17:01 编辑

Pale_Cheung 发表于 2016-1-25 16:48
这个是 securecrt的sftp-tab。速度已经70MB多了。
ftp 再快一点吧。

70M的话，难道硬盘是瓶颈？还是虚拟网卡？

我的centos VM其实是用来跑运算的，分配的100G用了大部分，因为有大量数据库文件

另外问下，android可以使用什么软件挂载FTP到本地吗？SMB可以用cfis manager挂载（需要root），简单点用ES也可以（不需要root）

Pale_Cheung · 发表于 2016-1-25 17:05

本帖最后由 Pale_Cheung 于 2016-1-25 17:10 编辑

909648183 发表于 2016-1-25 16:54
70M的话，难道硬盘是瓶颈？还是虚拟网卡？

我的centos VM其实是用来跑运算的，分配的100G用了大部分，因 ...

70MB,

虚拟机和上传目录分散2块ssd,应该不是瓶颈.

网卡桥接模式可能是瓶颈.

你有兴趣可以,ftp用host-only,在修改 vmx文件用"vmxnet3"的万兆网卡,跑跑看.
windows 到 windows 破 150M我觉得不是问题.

android我不熟，不过linux mount命令应该可以直接挂在ftp路径啊。

bssharp · 发表于 2016-1-25 19:13

exFAT的文件目录是顺序结构，文件多了查找速度很慢，至于同时复制两个文件，理论上exFAT和NTFS一样支持位图，应该不会因此出现更多碎片，那只能理解成实现不好了……
用ext4我也想过，但复制个文件就得启动虚拟机还是有点蛋疼，不过现在巨硬江河日下的情况下，转投开源要变成现实的选择了

发表于 2016-1-25 22:12

bssharp 发表于 2016-1-25 19:13
exFAT的文件目录是顺序结构，文件多了查找速度很慢，至于同时复制两个文件，理论上exFAT和NTFS一样支持位图 ...

是同时复制两个目录，每个目录内都有10G以上的视频文件

不过复制两个目录实际上应该就是同时复制两个文件

发表于 2016-1-25 22:13

Halry 发表于 2016-1-25 13:48
exfat本来就没被人放在心上，只是为了兼容性而存在的东西，因为ntfs始终是“NT”。
你还把硬盘挂在路由器上 ...

实在不行我还可以用UT之类的BT客户端，只是这样的话迅雷会员就有点浪费了