请教快速读文件的问题

nudtwsn · 发表于 2010-10-20 23:24

我对版主的专业知识非常钦佩，在这里请教一个问题。
我有大约350G的数据，需将这些数据读到内存中做查找匹配。
这些数据一次生成就不再写入了，每次操作都要将这些数据顺序读到文件中，读取速度越快，算法速度越快。
需要1000MBps的速度了。
不知道现在的硬盘是否能满足，存储时是否有优化方法？

neeyuese · 发表于 2010-10-21 03:32

1000MB/s的传输率不难办，8块 15.7很轻松能搞定，问题在于：

1.350G是随机的文件还是整个持续的文件，如果是随机，就要考虑使用SSD的阵列。
2.操作时的平均Q是多少，如果Q高的话效率就高。

应该说你解释的不够详细，如果对自己的需求不是很清楚的，应该先用些检测软件检测，确认自己对传输率，IOPS的要求，再决定耗费资金的大小，再在这个范围内选设备。

nudtwsn · 发表于 2010-10-21 09:02

非常感谢版主版主。我的350g是一个文件，每次匹配都从头开始读文件。匹配算法很快，就是读文件用了大量时间。
“8块 15.7”是什么意思，我还不太懂您的平均Q是什么意思？
用photefast的pcie固态硬盘行吗？

neeyuese · 发表于 2010-10-21 09:05

买photofast的那块，你还不如弄8块60G的然后用LSI 9260 8i 组个阵列，再加上Fastpath，速度是它2倍多。

nudtwsn · 发表于 2010-10-21 09:12

请问版主，速度能达到多少？
我平时读内存主要就是用fread函数，可以达到1000M吗？
而且我的机箱体积还是轻点，小点好，8块还是多了一点

neeyuese · 发表于 2010-10-21 09:17

那张”红手套“性能发挥不出，如果你有8块60G加卡的话，写入最低有500MB/s以上，那张卡有300就不错了。

nudtwsn · 发表于 2010-10-21 10:05

我只需要读文件的速度，文件写一次就够了，我看了您的文章后非常相信您对该photofast的评价。
我请教您，4块120的硬盘+卡可不可以，还有photofast能不能达到这个1000M读的速度，毕竟它还是小

neeyuese · 发表于 2010-10-21 10:13

确切说5~6块才能达到1000MB/s读取速度。

xxy · 发表于 2010-10-21 11:31

1000MB/s

nudtwsn · 发表于 2010-10-21 15:09

感谢版主
我又看了您对红手套的文章，终于明白是怎么回事了
9260 8i那个Fastpath Key是否能在国内买到？
主板上有多个PCI,能插多个卡吗,近一步提速？
怎么通过IPOS，计算fseek的速度？
麻烦版主解释这几个问题