PCEVA,PC绝对领域,探寻真正的电脑知识

标题: 征集类似于群晖Hyper Backup的多重/差量文件备份解决方案 [打印本页]

作者: 板砖财 时间: 2017-7-18 13:25
标题: 征集类似于群晖Hyper Backup的多重/差量文件备份解决方案
以前备份一直都靠右手（鼠标流），后来增加了老婆、老爸老妈的文档照片数据也一起备份，就开始启用FreeFileSync，存为ffs_batch批处理，通过开机启动的命令行自动化。

举个栗子：

net use K:\\MYNAS\backup
REM 备份用户文件到 NAS 服务器
echo 备份用户文件到 NAS 服务器……
"C:\ProgramFiles\FreeFileSync\FreeFileSync.exe""%USERPROFILE%\Documents\FreeFileSync\同步我的全部文档.ffs_batch"
echo 用户文件备份和同步任务全部完成，3秒钟后自动关闭此窗口。
ping 127.0.0.1 -n 3 > nul

复制代码

这样Windows每次开机用户登录就能自动备份用户数据了。

但是最近数据备份的内容和范围越来越大了，一蛋疼连单位的OA和网站每日备份也要扛下来，都靠人肉明显操作太复杂工作量太大。

自己家好办，因为入了群晖，群晖Hyper Backup，Cloud Station Backup，Cloud Station Drive功能很强。

大概的说要求有以下几点——

[attach]391128[/attach]
备份目录不暴露——可以取消NFS和CIFS访问权限，只有存储内部或者通过6690端口群晖私有协议访问，不会被加密勒索木马直接写入替换加密文件

[attach]391129[/attach]
可以备份指定目录下文件和指定应用的数据

[attach]391130[/attach]
添加计划任务定时备份或者Once备份

差量备份，只备份上一个版本的新增删除差量文件，备份空间占用较小。

[attach]391131[/attach]
多版本备份，可以按月，按周，按天保留最后的指定个数版本，哪怕定时炸弹一样潜伏的勒索病毒也不能经年累月的潜伏，加密所有历史文件。

[attach]391132[/attach]
内建备份文件浏览器，可以按时间逐一review所有的历史文件版本

[attach]391133[/attach]
可以按备份版本，时间批次，目录，逐个文件选择还原文件到原备份地址或者提取查看文件内容。

这完全是理想中的备份方式和方案，感人的是群晖Hyper Backup一站式解决。

那么问题来了，我不方便推荐单位买台群晖NAS，也不可能装一台黑群晖——单位的数据安全和责任不能都落在自己头上，

Windows，Linux不同系统下有同样功能的一站式备份解决方案吗？

求大家推荐。

作者: dixnuits 时间: 2017-7-18 13:25
VERITAS NUB/BE
Commvault

国产的有：爱数、数腾等等

还可以用CDP：飞康

作者: kknd1928 时间: 2017-7-18 15:10
CRCserve Backup吧，公司用的是这个做备份。
全备，增量，兼容网络文件操作，时间点的恢复等，还有什么报表，压缩，没用过的功能，可以研究一下。贴一下界面吧。[attach]391139[/attach]
[attach]391135[/attach]
[attach]391135[/attach]
[attach]391136[/attach]
[attach]391137[/attach]

作者: 板砖财 时间: 2017-7-18 17:01

kknd1928 发表于 2017-7-18 15:10
CRCserve Backup吧，公司用的是这个做备份。
全备，增量，兼容网络文件操作，时间点的恢复等，还有什么报表 ...

软件不错，不知道多少钱，要是价格还超过采购台群晖就囧了。

作者: nighttob 时间: 2017-7-18 22:52
有基于x86服务器的备份一体机方案
可以理解为服务器上装了一套定制的备份管理软件去实现需求

不管是纯软件，还是软硬结合的方案，价格肯定都很感人

作者: eterfinity 时间: 2017-7-19 06:09
本帖最后由 eterfinity 于 2017-7-19 06:51 编辑

群晖距离稳定可靠还差得很远,推荐它就是给自己埋雷.
就不给你介绍server+agent型备份方案或者备份容灾一体机了.
单机版有企业级功能,又可以下载学习的,目前最好用莫过于symantec拆分前的作品， symantec system recovery 2013r2版本。
目前网上能还下到，装完且联网更新后，可以支持到win10 rs2，你所需要的所有windows client os单机备份需求都可以做到。
可以安装windows adk后制作裸机异机恢复介质, 所以逻辑上这个软件的license不绑定硬件的,具体逻辑自己体会.
学习完,可以采购拆分出来的veritas 家的新版也不贵, desktop版不到一千.

并不是广告,所以发个图仅供参考
[attach]391151[/attach][attach]391152[/attach]

作者: ghost106 时间: 2017-7-19 09:38
黑群不升级用得好好的，只要不是妖蛾子性的硬件要买通用型的PC来装，就算是黑群系统蹦了也是可以恢复文件出来的

作者: 909648183 时间: 2017-7-19 10:21
本帖最后由 909648183 于 2017-7-19 10:32 编辑

如果只是文件历史版本功能，其实windows不就自带了吗？
备份用的服务器上开文件历史功能就行了

差量备份的话resilio sync就支持，使用的是类似BT协议，将文件分块，相同的部分不用再次传输，也支持计划任务，是文件夹同步，自己随便添加同步文件夹就行
其实sync本身也有简单的存档功能，类似网盘的时光机功能，可自定义允许该功能使用的空间
另外resilio sync这个软件本身就是跨平台的，几个大的NAS系统（群晖，Drobo等）都支持，开源的路由器系统都支持，各个平台的客户端也很齐全
至于防勒索病毒，服务器上开自动更新打好补丁不就没事了？sync也不需要你开ftp、nfs、smb共享

sync的权限管理管理做得非常好，每个同步文件夹都是一个单独的秘钥，读写权限的秘钥不同

作者: 909648183 时间: 2017-7-19 10:25
真的数据很重要的话，直接坚果云这种付费网盘怎么样？

作者: xudaiqing 时间: 2017-7-19 10:37
本帖最后由 xudaiqing 于 2017-7-19 10:50 编辑

Veeam agent for windows/linux 免费版就可以定时自动差分备份到网络共享、按电脑／分区／文件进行备份、按天数的备份保留规则、独立文件恢复。
搭配Veeam Backup & Replication （任意最新版本，不消耗许可数）就可以走私有协议、集中备份管理、GFS备份规则、远程／云灾备。

作者: 板砖财 时间: 2017-7-19 14:42

909648183 发表于 2017-7-19 10:25
真的数据很重要的话，直接坚果云这种付费网盘怎么样？

开什么玩笑……单位的数据你放在外网云，哪天一个公告就停了，你背锅啊，而且全部数据量最少都有500G，本地千兆网完全备份一次都要3~4小时，外网上传那小水管得传好几年。

作者: 板砖财 时间: 2017-7-19 14:44

909648183 发表于 2017-7-19 10:21
如果只是文件历史版本功能，其实windows不就自带了吗？
备份用的服务器上开文件历史功能就行了

网络中存在上网行为管理设备，阻断BT协议。

作者: 板砖财 时间: 2017-7-19 14:46
本帖最后由板砖财于 2017-7-19 15:07 编辑

ghost106 发表于 2017-7-19 09:38
黑群不升级用得好好的，只要不是妖蛾子性的硬件要买通用型的PC来装，就算是黑群系统蹦了也是可以恢复文件 ...

不升级CVE漏洞没得修补噢，黑群依然不考虑，这里是流水的兵，2年后可能就不在这个单位，不想离开后还要背锅，我连群晖都不想科普，更别提说跟交接的人科普黑群晖了，尤其是跟领导解释这个问题——为什么要装盗版的黑群晖。

作者: 909648183 时间: 2017-7-19 15:32
本帖最后由 909648183 于 2017-7-19 15:36 编辑

板砖财发表于 2017-7-19 14:42
开什么玩笑……单位的数据你放在外网云，哪天一个公告就停了，你背锅啊，而且全部数据量最少都有500G，本 ...

坚果云一直是坚持走收费路线的，主要是靠收费个人用户和企业用户盈利的，不怎么担心他会跨掉

坚果云同样支持差分同步功能，还可以部署局域网同步服务器，一开始就是设计为为企业用户提供服务的

作者: 909648183 时间: 2017-7-19 15:34
本帖最后由 909648183 于 2017-7-19 15:40 编辑

板砖财发表于 2017-7-19 14:44
网络中存在上网行为管理设备，阻断BT协议。

我不知道sync是否会被识别为BT协议，不过内网也不允许BT协议？Sync可以直接在内网同步，担心数据外泄还可用设置为仅允许通过Lan同步
我晚上可以试下cfospeed是否会把内网同步的sync流量识别为p2p

作者: eterfinity 时间: 2017-7-19 16:06
群晖无论黑白个人都不推荐就那升级会导致软阵列出错的风格你敢用？

企业用就要用企业级产品 symantec CAARC veeam 都是好选择

作者: risigcd123456 时间: 2017-7-19 16:19

909648183 发表于 2017-7-19 10:25
真的数据很重要的话，直接坚果云这种付费网盘怎么样？

瞎扯蛋，你以为是没有墙的网，没有文件就停的网盘，是AWS还是微软的ONEDRIVE才放心
国内的云全是瞎扯蛋，明显说的是废话，楼主自己备份，公司也要备份，公司的数剧就算要放云上，人家本地也要存放
你这答非所问

作者: 909648183 时间: 2017-7-19 17:52
本帖最后由 909648183 于 2017-7-19 17:55 编辑

risigcd123456 发表于 2017-7-19 16:19
瞎扯蛋，你以为是没有墙的网，没有文件就停的网盘，是AWS还是微软的ONEDRIVE才放心
国内的云全是瞎扯蛋， ...

坚果云可以部署本地同步服务器

云盘的意义是将数据安全的风险转嫁到云服务提供商了，小企业自己搞数据备份，容灾备份什么的真不一定有这种云盘成本低，效果好

作者: 909648183 时间: 2017-7-19 17:59
本帖最后由 909648183 于 2017-7-19 18:12 编辑

risigcd123456 发表于 2017-7-19 16:19
瞎扯蛋，你以为是没有墙的网，没有文件就停的网盘，是AWS还是微软的ONEDRIVE才放心
国内的云全是瞎扯蛋， ...

国内云怎么了？百度云什么时候爆出过丢数据，无法访问吗？就连已经关闭的360云盘也没出过什么事故，倒是微软的云服务经常出问题

但是百度云的权限管理功能不行，不是很适合企业用户，所以我才推荐坚果云这个一开始就定位于提供企业云服务的产品
（另外提醒下千万别想着用坚果云大量分享资源，为了规避版权问题，限制得很死）

另外拿AWS这个VPS当云盘，得多奢侈呀，带宽、流量、存储容量都是钱

作者: jedi1029 时间: 2017-7-19 23:40
本帖最后由 jedi1029 于 2017-7-19 23:42 编辑

既然公司用，建议能买正版就去买正版，遇到问题还有官方支持，Acronis、Altaro VM Backup、Veeam 都支持备份虚拟机以及重复数据削重，对于虚拟机备份能节省占用的网络带宽，当然需要CPU运算削重，这类的企业版大多也支持CPU消耗控制、带宽消耗控制，自然也卖得贵，后2者也有免费版，在功能上阉割下、不过也能用了

Iperius Backup、AOMEI Backupper、Ashampoo Backup、EaseUS Todo Backup、Uranium Backup 虽然不带重复数据削重（对虚拟机效果好），也都有差异、增量、任务计划备份，前3个都有中文界面。

对于备份是一方面，另外遇到事故时需要多久恢复，更是企业用户要考虑的，比如备份为专用格式，然后需要从这些格式里面把数据取出来，要花费多少时间，请自己测试下。国外有测试过免费备份的备份、恢复性能（时间），AOMEI、EaseUS 算比较好的。

另外也可考虑下同步类软件BTsync（我买了个人版，2.X，虽然号称支持4MB的数据块削重，但内网同步几十G的VMDK文件，性能自己实测下吧）、Syncovery、2BrightSparks、Goodsync 都是支持基于WIN的VSS卷影服务（基本上WIN下的备份软件备份、同步热数据时都基于VSS，除非能实现实时同步），这种是最短达到15分钟内的数据恢复

R1soft、doubletake、这些是基于自己驱动的异步实时同步程序，对操作系统、虚拟机、数据库都能基于内存读取数据达到近乎100%的同步率，讲个故事：MS SQL 数据库在有ERP客户端录入时，源数据端遭遇突然断电，然后这类程序把SQL数据库同步到另一台没断电的服务器上，数据保证一致性。当然，费用比较高

作者: 909648183 时间: 2017-7-20 00:13
本帖最后由 909648183 于 2017-7-20 00:15 编辑

jedi1029 发表于 2017-7-19 23:40
既然公司用，建议能买正版就去买正版，遇到问题还有官方支持，Acronis、Altaro VM Backup、Veeam 都支持备 ...

对你最后提到的R1soft、doubletake这些异步实时同步程序很好奇，推测原理是加载自己的文件过滤驱动，拦截对同步文件的写入操作并将该操作同步到同步服务器，等待本地和同步服务器均确认写入完成后再返回文件写入完成的信息，但这样的话应该会对随机写入性能有很大的影响吧

另外所谓的增量同步或者说是重复数据削重都应该是对文件进行分块，然后校验，找到发生更改的文件块，然后仅同步这些文件块即可，但如果不加载文件过滤驱动的话，无法知道文件具体更改了什么，还是得每次都重新分块校验然后同步，这一步骤会比较消耗资源

作者: jedi1029 时间: 2017-7-20 17:33
是通过驱动，在源服务器内存中复制一份IO操作发到备机上，性能有一定影响。我现在不做IT了。
增量备份，不是同步，一种是对比备份的驱动器镜像，把新增数据块生成新的备份文件。如果是基于文件的，是备份新的文件。
在服务器上备份或是在存储上备份，IO操作肯定消耗对应设备的CPU，这也是专业存储如EMC、Netapp、HP的3PAR、DELL的康贝等设备也有功能类似微软VSS的CDP（持续数据保护）功能却还要单买授权（很贵），并且也是按时间间隔。

以前doubltake被收购前，买了一家Timedata的CDP公司，提供基于微软SQL数据库的IO操作触发事件的CDP，即无保存、删除、覆盖等操作时，是不会触发CDP保护的，这种跟踪记录是保存在微软SQL数据库的。

@楼主、和楼上的兄弟，提到CDP，个人能用的简易CDP软件有 Genie Timeline、Altaro.Backup.FS（就是 Altaro Hyper-V backup 的老版文件级别备份，已经停产）、Memeo（希捷的Backup Plus集成的CDP软件就是这家的)
能备份驱动器并支持一键恢复有： AX64.Time.Machine，Macrium Reflect，

作者: li2921578 时间: 2017-7-20 21:39
最简单的方案是 zfs文件系统开去重....

作者: 板砖财 时间: 2017-7-20 23:01

jedi1029 发表于 2017-7-20 17:33
是通过驱动，在源服务器内存中复制一份IO操作发到备机上，性能有一定影响。我现在不做IT了。
增量备份，不 ...

对了，我还有一个要求是无人值守，支持纯cmdline最好。

作者: jedi1029 时间: 2017-7-21 00:15
本帖最后由 jedi1029 于 2017-7-21 00:30 编辑

我要释放最终推荐了：Acronis 系列软件，支持自己的付费云存储、好像支持备份到国际大的云服务商，Acronis专用文件协议备份到远程服务器，支持一键恢复、支持恢复盘在其他机器裸机恢复、支持无人的计划任务调度，应该支持无窗口的执行作业（命令行调配是没问题的），支持虚拟机备份、颗粒度恢复虚拟机里面的文件（单独恢复VMDK、VHD里面的某个文件，还有SQL、EXCHANGE邮箱，自然也支持历史文件列表），支持Linux、WIN、MAC 多平台OS，备份、恢复速度都比较快，对勒索软件也有专门的小软件（收购了其他厂商），支持重复数据删除，支持差异、增量备份，支持文件级、驱动级的备份，而且订阅广告邮件的话，经常有促销信息发过来。国内有不少代理商，某宝也有。

缺点：必须付费购买，版本很多（按功能模块区别卖的），贵的工作站版本自然支持上面的绝大多数功能，反勒索需要单独购买，不同OS版本需要单独买授权。不知道他家的云存储是否被墙。微软的 onedriver 抽风就是悲剧

为什么我用了好像、应该，因为这个软件太大，我以前作IT时用过很老的11系列（嘿嘿，暴露了我的年纪），效率能接受（备份开销、恢复时间都基本满意，还能控制开销）。

作者: jedi1029 时间: 2017-7-21 00:25
偷偷说下，在国内的某ODAY网站，能看到我推荐的大部分备份软件的XX版（这几年的新版本哦），不要PM我，自己duckduckgo搜索吧

文件级别同步的话我推荐 Syncovery，虽然是英文界面，比起 Goodsync、2BrightSparks 在超多小文件的目录同步上（比如某企鹅系列软件的聊天记录），性能有优势，并且不容易出错（同步到坚果云WebDAV模式，后2者比对目录时容易报错）
对VMDK、VHD等大体积虚拟机文件，或是镜像文件，推荐在千兆内网下用 Bvckup 2，基于类似linux下Rsync的算法，只同步修改的文件数据，如果是互联网环境，数据比对的开销非常大，还不如用贵的多的 double-take、R1soft，是的，没看错，这些实时同步数据软件，当然也支持同步离线数据，毕竟后者是商业环境设计的

作者: wwh0501 时间: 2017-7-21 11:09
傲梅轻松备份专业版

这个有人用过么？如果个人用的话不知道如何

作者: 909648183 时间: 2017-7-21 13:10

jedi1029 发表于 2017-7-21 00:25
偷偷说下，在国内的某ODAY网站，能看到我推荐的大部分备份软件的XX版（这几年的新版本哦），不要PM我，自己 ...

数据比对和是内网还是外网有什么关系？

消耗的都是机器自己的CPU和RAM资源，对网络带宽的占用没区别

作者: jedi1029 时间: 2017-7-21 13:47

wwh0501 发表于 2017-7-21 11:09
傲梅轻松备份专业版

这个有人用过么？如果个人用的话不知道如何

AOMEI Backupper 就是你说的奥美备份，免费版国外有测试过，备份、恢复性能都还不错

作者: jedi1029 时间: 2017-7-21 13:59

909648183 发表于 2017-7-21 13:10
数据比对和是内网还是外网有什么关系？

消耗的都是机器自己的CPU和RAM资源，对网络带宽的占用没区别

Bvckup 2，基于类似linux下Rsync的算法，在不同网络下，同步效果完全是2种感受：
千兆有线内网，最大60G、最小22G的VMDK文件，其中VMDK里面有bitlock加密的驱动器文件，一共1XX G，完成同步是在 20分钟内
换成真千兆电力猫 D-LINK AV701 1对，平时TCP类测速可达到 80-9X Mbps，近似百兆有线网络的速度，要完成这一组的同步（差异数据差不多），需要2小时以上

作者: 909648183 时间: 2017-7-21 14:39
本帖最后由 909648183 于 2017-7-21 14:46 编辑

jedi1029 发表于 2017-7-21 13:59
Bvckup 2，基于类似linux下Rsync的算法，在不同网络下，同步效果完全是2种感受：
千兆有线内网，最大60G ...

千兆局域网 100+G花了20分钟，这就是把整个文件传过去了，还什么仅传输修改部分呀

简单的差分同步软件，用Resilio sync（原BT sync）就可以了，默认4M粒度对文件分块，跨平台支持，使用私有协议，全程加密传输

作者: jedi1029 时间: 2017-7-21 15:42
Bvckup 2 同步说花20分钟是好久没看作业状态了（以前没Bitlock加密数据在VMDK里面，好像是数分钟），一般都是后台启动后就去做美剧、动画了，经常是等中途插播时，看下作业情况，显示已于20分钟前完成（默认程序显示是这样的，如果等看完一集再去看会变成40分钟）。

Resilio sync 2.4 试过，不管是强制LAN传输或是默认传输，4MB数据分割，完全是个悲剧，CPU消耗很多，测试过2台不同配置的客户端，每次等了20分钟以上，还没开始传输。。。

作者: 909648183 时间: 2017-7-21 16:53
本帖最后由 909648183 于 2017-7-21 17:00 编辑

jedi1029 发表于 2017-7-21 15:42
Bvckup 2 同步说花20分钟是好久没看作业状态了（以前没Bitlock加密数据在VMDK里面，好像是数分钟），一般 ...

遇到bug了？

我用J1800 CPU，2T数据也就丢一个晚上就计算完成了（另一台开的选择性同步，所以只需要计算，没有实际的数据传输，webui里看的状态），接近100G的数据也就20分钟搞定，CPU占用其实还好，可能瓶颈在硬盘读取速度

而且resilio sync同步也不需要全部计算完成才开始呀，计算完一个文件就可以开始传输这个文件了

另外resilio sync千兆跑不满倒是真的，可能是因为加密以及协议额外消耗了资源，向J1800 8G RAM的NAS上同步文件，大概速度可以到60M，直接SMB可以轻易跑到100M

作者: jedi1029 时间: 2017-7-21 17:00
我用resilio sync试过2种从头开始传输，和同步修改过的VMDK文件，因为效果不显，主要用 Bvckup 2同步虚拟机文件

作者: 909648183 时间: 2017-7-21 17:08
本帖最后由 909648183 于 2017-7-21 17:10 编辑

jedi1029 发表于 2017-7-21 17:00
我用resilio sync试过2种从头开始传输，和同步修改过的VMDK文件，因为效果不显，主要用 Bvckup 2同步虚拟 ...

难道 Bvckup 2 文件粒度可变，所以对VMDK这种大块头文件计算的效率更高？

我一般同步的文件都是单个10G(大部分单个文件 1-2G)以内，没发现resilio有什么问题

作者: jedi1029 时间: 2017-7-23 23:54
下面是 Bvckup 2 的 log，这次因为虚拟机关机了，释放了内存对应的VMDK文件，总数据量减少了

2017.07.23 23:24:09.078 (UTC+8) 2 1 Completed in 7 min 51 sec with no errors
2017.07.23 23:24:09.078 (UTC+8) 3 2 Read 104.00 GB, wrote 8.08 GB, throughput 226.20 MBps / 237184160 bps

可以看到 Bvckup 2 是需要读取源数据，然后去和目标数据比对的，这也是为什么百兆LAN下性能不满意的地方。而据我以前做IT听介绍（大概意思，太久不做IT了），赛门铁克的Netbackup 、康袱等商用备份软件，他们的重复数据销重可以进行客户端销重的，减少传输数据量

resilio sync 的最新2.56版本更新说明提到修复CPU消耗问题，可能和我这种几十GB的文件处理有关系

作者: 909648183 时间: 2017-7-24 00:46
本帖最后由 909648183 于 2017-7-24 00:49 编辑

jedi1029 发表于 2017-7-23 23:54
下面是 Bvckup 2 的 log，这次因为虚拟机关机了，释放了内存对应的VMDK文件，总数据量减少了

2017.07.23 2 ...

数据比对和网络带宽有什么关系？
数据比对的时候服务器和客户端仅需要交换极少量数据即可（类似于一个BT种子的数据量而已），又不是客户端要通过网络读取服务器端的对应文件，真正占用带宽的是后续的差异数据传输过程

而且你这个 throughput 226.20 MBps是怎么回事？千兆局域网才跑到200MBps的速度？还是计算速度的时候把比对消耗的时间也加入算了一个平均速度？

作者: xffsfy 时间: 2017-7-27 21:37
LZ人呢。最后结果如何啊

作者: wheat0r 时间: 2017-8-13 12:00
作为爱数某地区的代理商，我觉得LZ这个需求做一个软件版AnyBackup就好了，价格我不知道

作者: evangely 时间: 2017-8-22 18:12
Urbackup 解决你的一切困扰，公司用也没问题。

作者: 板砖财 时间: 2017-8-22 19:18
本帖最后由板砖财于 2017-8-22 19:21 编辑

wheat0r 发表于 2017-8-13 12:00
作为爱数某地区的代理商，我觉得LZ这个需求做一个软件版AnyBackup就好了，价格我不知道 ...

刚刚报明年预算里面采购备份系统，参考品牌：爱数飞腾

不过前面有个人先提到爱数了，所以最佳答案给他了。

作者: 板砖财 时间: 2017-8-22 19:19
刚刚报明年预算里面采购备份系统，参考品牌：爱数飞腾

作者: 杰迪武士 时间: 2017-11-13 14:06
这个帖子里干货很多呀

欢迎光临 PCEVA,PC绝对领域,探寻真正的电脑知识 (https://bbs.pceva.com.cn/)