1. 首页
  2. 科技数码

NAS 篇一:把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

前言

其实,这次的nas已经是我的第5台NAS了。

早前,我玩过HP SFF小机箱,使用的好像是G4560,放弃原因是盘位太少。已经弃用

后来,组了个i3 8100+16G+3*14T Element拆机盘+3*4TWD RED。这套机子被我折腾过All in One,当然最后All in Boom了。作为一台NAS,最大的问题是不能直装DS918+引导,重启后无法找到IP。而且最让我顾忌的一点是,这傻*玩意已经让我的2块14TElements拆机盘,1块WD RED坏掉了。焯!全新的硬盘就这么没了,我也懒得和城市慢车扯皮。就这样了,不敢放了。大约可能是没有正规硬盘固定位的原因吧,我之前还一直折腾,来回断电,寄。最傻*的是这玩意不认我买的LSI 2008。

再往后,我又折腾了猫盘,树莓派等等,但是实在是太卡了,当玩具玩的。

这次,我决定一雪前耻,组装一台5年内都够用、好用的NAS。

原机柜原机柜

硬件选择

历史平台

第一版(2021暑假)

其实这个计划我从去年暑假就已经开始了。这是当时的配置单。

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

当初,Chia已经开挖,硬盘疯涨。但是3T SAS没有涨价。故迫不得已选择了LSI 2008+多盘位+Expander的方案压缩成本。这么快的硬盘速度,必上10GbE啊。这就要求CPU的通道数量要多。这不巧了,我之前闲的没事捡了个RH1288hv2,支持双路X79。这玩意还支持DDR3,可以进一步压缩成本,这个好。下面是我总结的优缺点,你要是不怕缺点可以上,性价比很高。现在也可以改用大容量硬盘+少盘位,但为了还原,我就不改了。

优点:最大化利用现有硬件;硬盘便宜换着不心疼;硬盘数量多冗余量大。服务器硬件非常稳定

缺点:1U太了,缺少拓展性(华为的模组化网卡无法达到40GbE*2,最大为10GbE*2);32个硬盘+双路2667v2+C602芯片组+GTX1050ti完全是电老虎。初步估计idle下电耗能跑到200W

第二版(2022年暑假前期)

这是配置单。

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

这时候,硬盘价格已经降低。全新的100+/T的变得常见,二手的(Chia 拆机)也就50+/T。

其实,现在6T的SAS硬盘已经到了200R不包邮。但是希捷的盘最近不稳,零通电的就是清零,还有贴假标的(用低端盘体冒充主流盘),尤其是ST6000NM0034这个型号,重灾区。有的高温掉盘,有的坏道,有的只认4G。丢数据不值得。玩这种盘最好用Raid10,最次也要RAID6(Raid-Z2),否则极其容易丢数据。单盘还是别冒险了,容易寄。

优点:相对于上一版的改进主要是储存密度增加,升级了解码用独显,使用了开放式机箱,加强了散热,减小了噪音。

缺点:尽管储存密度增加,但双路CPU依旧耗电。X9DRi-LN4F+的机箱、散热非常难找。且这个主板原生不支持NVMe启用,需要使用MMTool进行hack。总感觉不是很稳。

新平台(现在)

先上配置单。稍后进行配置逻辑详解。

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

CPU详解

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

CPU我选择的是Xeon e5 2696 v3 。它有18核36线程。除此之外,它DDR3/DDR4通吃。且它的单核睿频最大可达3.8Ghz,在LGA 2011-3系列中傲视群雄,甚至超越了它的公开版本E5 2699v3,价格却一样。它新增了FMA3指令集的支持。根据维基百科,FMA指令集允许创建新的指令并有效率地执行各种复杂的运算,可结合乘法与加法运算(即进行积和熔加运算),通过单一指令执行多次重复计算,从而简化程序,从而使系统能快速执行绘图、渲染、照片着色、立体音效,及复杂向量运算等计算量大的工作。

它的唯一缺点是145W的TDP严重限制发挥,但这对于7*24h开机的服务器来说却是优势。更何况,你可以使用S3turbotool绕过TDP限制。但是寨板羸弱的6相供电......我惜命,我不超了。

BTW,这是2699v3的OEM版本,无法再Intel Ark中找到。

主板选择

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

别骂了别骂了。我也想上supermicro的带ipmi的服务器主板,但是我没找到支持DDR3的。又因为ZFS需要大量内存,DDR4太贵了,提升mem速度对ZFS的提升不大,只能上DDR3。这个主板支持8条DDR3 RECC内存,同时有两个PCIe x16 一个x4(Physically in x16 slot) 两个x1 两个NVMe。

众所周知,服务器的CPU有40条PCIe通道,PCH有8条。故据推测,通道分配如下:

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

需要注意的是,PCH与CPU互联仅为PCIe 2.0x4,即2GB/s(16Gb/s),所以不建议在pch上插太多设备。你可以看到,我的配置已经把PCIe通道吃满了,只剩了一个PCH出来的PCIe x1。我甚至用NVMe转了PCIe,笑死。

同时,华南金牌在2021夏末给所有的主板缩水了。所以我建议购买24pin处有G377Q ver 0.1标记的主板。这样才可以稳定跑到145w的tdp。

硬盘选择

前文说到,我硬盘基本上坏了一半。其实这是硬盘素质差叠加我经常通断电的后果。我们假设完全抛弃人为因素,那么故障率将会呈现“浴缸曲线”:

Bathtub CurveBathtub Curve

所以,不论是因为省钱因素还是省事,你都应该购买二手硬盘,起码跑个3k Hours,把第一段跑过去。需要注意的是,一定要在淘宝等有一定售后保障的店铺购买。虽然店保是灵车,但闲鱼直接没有。更何况,闲鱼的价格真不一定比淘宝便宜。一堆传家宝。当然,你有钱也可以京东,通过不停更换硬盘来绕过第一段时间。硬盘多的话,会在成型期浪费太多的重建时间,不如让别人帮你做了把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

Toshiba MG07/MG08硬盘的噪音,发热都比WD、Seagate低很多,且每T价格仅仅54R,当值无愧的终极选择。

网卡选择

互联网-2.5G网卡

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

这里选择的是RTL8125BG,原因是intel的i225有丢包问题与兼容问题。你可以看现在的主板自带的2.5G网卡,基本都来自RTL。不论何种原因,均不推荐i225做任何用途。把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

电脑直连-40G网卡

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

这里选用的是HPE 544+flr+KCORES 转接板的组合。至于为什么不选用更高的网卡,一是Truenas Scale目前不支持RDMA。要想支持,就要hack系统,装KSMBD,这是不推荐的。在目前没有RDMA的情况下,SMB最大速度是20Gbps左右,40GbE完全可以cover。25Gbps因为企业端很少采用,价格比40Gbps还贵,ybb。

我们来算一笔账。20Gbps=2.5GB/s。LSI 2308跑在PCIe3.0 x4下的最大带宽是4GB/s。12块Toshiba MG08的满速是2.7GB/s。4通道SFF8087 SAS2.0 的带宽是3GB/s,怎么这么巧呢。可见,即使我用的是NVMe转PCIe这种灵车,也不会影响磁盘性能。

544+FLR采用的是来在Mellanox的Connect-X 3 Pro。因此,之后Truenas Scale更新到5.15 Kernel支持KSMBD后,也可以享受到RDMA带来的红利。

需要注意的是,这个卡你拿到之后默认处于Infiniband模式。请参考网上教程更改为Ethernet模式。

BTW,这个网卡其实是支持56Gbps的速度的,但是好像只能用Mellanox模块/DAC线。太高端了,买不起,而且40Gbps完全够用。

软件选择

2022年,NAS系统的选择很多。其实选底层系统比选硬件纠结多了,因为软件在一定程度上会限制你的硬件选择方向。我们一个一个评价

黑群晖/Xpenology

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

说到NAS,绕不开的肯定就是DSM了。

对于新手,DSM永远是最推荐的系统。它不需要专业知识就能开始用,你的硬件也不可能超过群晖的限制。

对于老手,DSM最不推荐。我不知道DSM基于什么jb系统,但就那个老旧的Kernel,封闭的系统,我是不可能用的。更何况,它没有ZFS。而且,我这NAS上了Nvidia独显,DSM根本就不支持(没驱动)。如果你坚持要装,那么以下是DSM 7.x硬件限制。教程可以在各大论坛找到。

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

可见,如果你要Intel iGPU硬解,你的cpu最好不要超过8线程。

UNRAID

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

UNRAID是少有的对新手、老手都比较友好的系统。

它有最完善的VM/Docker/APP支持,活跃的社区。它拥有灵活的拓展性(新增硬盘直接插),更加适合没法一次性购置完全硬盘的家庭用户。

但对我来说,基于老旧的slackware(这个傻*包管理器甚至不能自己解决Dependence,梦回ruby是吧),付费,不支持ZFS都是劝退的点。况且我也不知道这个玩意的驱动怎么解决。后期折腾的话Debian还可以自己装,Slackware......况且,这个玩意的写入速度最大也只是单盘速度,完全没法加速。也许这就是拓展性的代价吧。

Unraid的付费选项Unraid的付费选项

如果你坚持使用,那么Unraid对中国用户是有5折优惠的。请自行搜索。

BTW,有大佬已经把ZFS做进Unraid。但Docker/VM什么的目录都要自己改,太灵车了。我不敢上。这个系统也是有开心版的,但我不推荐。

OpenMediaVault/OMV

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

这个系统完全免费开源,基于Debian,并且可以直接装在Debian上面,无需middleware,只要加个Source就行。真纯粹。加了Extras还支持ZFS w/WEBUI。但缺点也是纯粹。实际上,它就是一个打包了一堆services和webui的Debian。这就决定了,它的功能很少,或者说需要折腾。对新、老手完全不友好,只推荐给喜欢原生Debian、喜欢折腾的人。总之不推荐。

Proxmox VE/PVE

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

这也能算NAS?不推荐。仅推荐给虚拟机重度用户,虚拟出来DSM或者unraid或者truenas什么的。作为NAS系统的话,对于人类来说,还是太超前了。

TrueNAS

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

嘿嘿,好戏自然要留到最后。TrueNAS系经过与FreeNAS的合并,如今分为三支。

TrueNAS Core/Enterprise

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

TrueNAS Core/Enterprise基于FreeBSD。经过FreeNAS的多年发展,已变得非常稳定高效。但FreeBSD的市占率惨不忍睹,导致基本没有第三方驱动。且FreeBSD下的容器是Jail,教程极少。虚拟机不能硬件直通。如果你想使用docker,只能虚拟机里跑Docker。tm......

Enterprise是iXSystem搭配硬件销售的,价格我高攀不起,不做推荐。本质上就是Core加了个High Availability

TrueNAS Scale

把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

它来了,它来了,它带着Debian走来了。 把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

TrueNAS Scale拥有TrueNAS Core的所有优势。包括ZFS等等,在此基础上增加了原生Docker支持,虚拟机也是基于QEMU Kvm,支持功能与性能与PVE相同。把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比 现在,Scale也正式出了Release,稳定性有保障。且几乎支持所有支持Debian的硬件。比方说Infiniband,它不受官方支持,但你可以自己折腾。尽管我不推荐,但起码它给了你一条路。 把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

缺点是上手成本高(仍比PVE/OMV低);硬件利用效率比Core略低(等待优化);Docker是K3S(K8S简化版),默认禁用iptables,你需要Portainer或者Docker in Docker。在此推荐Sagit大佬的Blog,你可以学到很多。

据说,TrueNAS Core的性能比Scale好,但在我看来,在RDMA开放之前都一样,都跑不满。RDMA开放之后?Scale早就优化完了。不用担心。 需要注意的是,TrueNAS全系使用ZFS,极大需要内存。容量方面,TrueNAS文档建议不启用dedup的情况下,是8G+每T 1G。启用的话,是每T启用dedup的数据+5G。且ZFS使用内存作为ARC(读写缓存),因此极度依赖内存稳定性。我们与官方文档都推荐上ECC,最好是REG ECC,其拥有自动纠错能力。 ZFS的缓存机制决定了加SSD做缓存基本无意义。SSD做L2ARC只能读缓存+ZIL;做Special Device只能做Metadata。你还不如把SSD的钱加到RAM里。我这里的SSD是单独的一个pool。

装机文章随机更新把性价比拉满是什么体验?百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

原创文章,作者:夜风博客,如若转载,请注明出处:https://www.homedt.net/47676.html