windows services的重复数据删除技术

不太懂这个
两个相同文件，文件名不一样，算重复文件吗？
删除某个位置的文件另外位置的会删除吗？
修改某个位置的文件，其他位置的文件会保持不动吗？

平时收藏的时候重复东西还挺多的，比如视频里面带的专辑什么的，经常重复

这个不建议用，因为如果重装系统或者系统挂了，重复的数据也就都完蛋了。

学习win server的时候，老师讲过。

eva2015 发表于 2016-8-6 23:46
这个不建议用，因为如果重装系统或者系统挂了，重复的数据也就都完蛋了。

学习win server的时候，老师讲过 ...

....重装系统都能挂？？...
那太不安全了吧

应该是类似md5或者sha1吧

2个大概念你去了解一下。

hash
和你这个问题相关的子概念 md5 sha1 sha256 sha512

link
和你这个问题相关的子概念 hard link

Pale_Cheung 发表于 2016-8-7 09:22
2个大概念你去了解一下。

hash

hash清楚，依靠这个不会大幅影响磁盘性能？
link依托操作系统吗？

az6338890 发表于 2016-8-7 09:25
....重装系统都能挂？？...
那太不安全了吧

去重的磁盘都是独立的，拔下来装在另一台2012的去重系统里可以直接访问。

neeyuese 发表于 2016-8-7 12:42
去重的磁盘都是独立的，拔下来装在另一台2012的去重系统里可以直接访问。

...

就是类似于intel的存储池？
只是需要操作系统的支持？

数据恢复之类的应该不支持吧

az6338890 发表于 2016-8-7 14:45
就是类似于intel的存储池？
只是需要操作系统的支持？

如果数据坏的地方是在索引那里，你丢的可就不是一个小数据那么简单了，数据恢复自然也不是那么容易。

neeyuese 发表于 2016-8-7 12:47
如果数据坏的地方是在索引那里，你丢的可就不是一个小数据那么简单了，数据恢复自然也不是那么容易。

...

用作储存用途的家用NAS那一般就不推荐使用？

az6338890 发表于 2016-8-7 14:48
用作储存用途的家用NAS那一般就不推荐使用？

我自己用的Freenas的ZFS，去重内存要求太大（每TB要10GB内存），我机器比较老N36L也就不折腾了。

话说家用的话，你平日习惯性的整理下不就好了，要什么去重呀。

az6338890 发表于 2016-8-7 12:17
hash清楚，依靠这个不会大幅影响磁盘性能？
link依托操作系统吗？

影响不大。
本来就是仓库盘上运用的技术，性能不重要。

link 倚赖 文件系统。

现代的文件系统一般都支持 link

neeyuese 发表于 2016-8-7 12:42
去重的磁盘都是独立的，拔下来装在另一台2012的去重系统里可以直接访问。

...

好吧，也许我听到的例子有些极端，看了下微软论坛的解答：
https://social.technet.microsoft ... orum=winserver8zhcn

好像只要保留扇区没事，硬件(raid?)一致就没事。

http://bbs.saraba1st.com/2b/thread-1296624-1-1.html

dedup用到的功能不是hardlink/softlink，而是NTFS的其他特性，虽然没有明确说明，不过猜想和wimboot的pointer是同一个

去重的最大优势就是随便塞， 用的时候也不要特别回忆，用搜索就好。另外 去重对VHD高读取负载的场景特别好，比如靠windows服务器做大规模iscsi无盘的场景。因为内存里只要缓存索引指向的那些UUID的数据了，而不是缓存每个vhd。

数据都能重复存储，也太马虎太不在意自己的仓库盘容量了吧。但凡是这种功能，非让伦家纠结担心死不行。对于我这种人，去重必须来纯人工的才放心。

“仓库盘”开了去重之后，最大的福利是能存好几倍的mkv，wmv，avi，mp4，dat，iso等等，这些东西几十个加起来开个去重，就占用2个空间

OstCollector 发表于 2016-8-7 16:37
http://bbs.saraba1st.com/2b/thread-1296624-1-1.html

dedup用到的功能不是hardlink/softlink，而是NTFS ...

嗯，数据块级别的去重，不是 hardlink

hard link 也做不到。

不过思想是一样的，把大文件，看成有许多块组成的。

更小级别的，hash，最后保留指针，进行引用。

红色狂想 发表于 2016-8-7 20:19
数据都能重复存储，也太马虎太不在意自己的仓库盘容量了吧。但凡是这种功能，非让伦家纠结担心死不行。对于 ...

我的理解是，不仅是什么视频、音频去重，你各种软件 *.dll *.js  都能去重，这种情况，你不能手工删除，系统级别只保留一份才有意义。

ljz6600 发表于 2016-8-8 12:22
我的理解是，不仅是什么视频、音频去重，你各种软件 *.dll *.js  都能去重，这种情况，你不能手工删除， ...

那看来去重比hard link和卷压缩的空间利用率还要高了？MS真应该让windows默认对C卷启用去重功能，想想以前的win98，再看看现在的win10，吃掉了用户多少磁盘空间。。。