Chia绘图P盘服务器版本–带有WD企业版硬盘的Dell R740xd

埃里克（Eric）是说服我建立原始NUC的人。前几天，他向我发送了有关在eBay上安装新服务器的消息，问我是否认为这很划算。多年来，我一直在与Dell合作（他们使用Intel SSD已有很长时间了），但实际上我从未真正拥有过Dell服务器。我在服务器上进行的大多数绘图工作都在Intel Wolf Pass Server平台上进行，尤其是在英特尔®服务器系统R2208WFTZSR上，因为它支持多达4个U.2 NVMe，直接通过主板上的OcuLink电缆直接连接到CPU。在组合式热交换背板上（U.2背板通过不同的电缆支持SAS，SATA和PCIe）。

并不是说我出于某种原因需要另一台服务器，但是我恐慌地在eBay上花了3000美元购买了它。为什么？我不需要任何其他绘图功能。因此，当我为一个朋友做图时，不妨去找点乐子并进行基准测试！

Dell r740xd 2U服务器

2个Intel®Xeon®Gold 6152处理器

256GB DDR4、4个64GB 2666 LRDIMM

它配备了16G光纤通道卡和2个25GB Mellanox NIC。我只是在使用闲散的Intel 10G NIC。

我必须购买附加组件才能以200美元的价格连接NVMe，包括重新定时器卡和细长的SAS电缆以连接NVMe。值得庆幸的是，我的背板支持多达12个NVMe SSD。

我在Storage Review上的朋友们对该服务器进行了出色的评测，并在下面显示了其连接方式的图表

我要说的只是关于iDRAC 9管理的WOW。我能够登录IP，远程更新BIOS，管理代码，所有设备固件，远程安装我的USB驱动器，安装Ubuntu，并且无需离开chrome就可以启动并运行。

我将使用Intel SSD D7-P5510对该系统进行基准测试，众所周知，除非我很幸运能以合理的价格找到Optane P5800X，否则这是我的首选。但是首先，我实际上使用的是新的WD企业级固态硬盘，它们足够优雅，可以向我发送一些SN640和SN840进行基准测试（谢谢大家！）。我对WD SSD不太了解，在接下来的几周进行测试将很有趣。

WD驱动器概述和完整规格可在此处找到

我已将它们输入耐力表。

小贩	模型	构成因素	界面	班级	用户容量（GB）：	在操作系统中可用的GiB	原始容量（GiB）	原始容量（GB）	预留空间/备用区	NAND P / E周期	写放大系数（WAF）	额定寿命（年）	估计的NAND耐久性（TBW，WAF = 1）	计算的耐力（TBW）	规格表额定TBW	超过5年的DWPD（计算得出）	磨损情况最严重之前绘制的总量（TiB）	磨损最佳情况（TiB）之前绘制的总量
西数	超星DC SN840	U.2 15毫米	NVMe	企业	1600	1455	2048	2199	27％	10000	2.5	5	21990	8796	8760	3	571	1429
西数	超星DC SN840	U.2 15毫米	NVMe	企业	3200	2911	4096	4398	27％	10000	2.5	5	43980	17592	17520	3	1143	2857
西数	超星DC SN840	U.2 15毫米	NVMe	企业	6400	5822	8192	8796	27％	10000	2.5	5	87961	35184	35040	3	2286	5714
西数	超星DC SN640	U.2 7毫米，M.2	NVMe	数据中心	960	873	1024	1100	13％	7000	5.5	5	7697	1399	1401.6	0.8	91	500
西数	超星DC SN640	U.2 7毫米，M.2	NVMe	数据中心	1920年	1747	2048	2199	13％	7000	5.5	5	15393	2799	2803.2	0.8	182	1000
西数	超星DC SN640	U.2 7毫米，M.2	NVMe	数据中心	3840	3493	4096	4398	13％	7000	5.5	5	30786	5598	5606.4	0.8	364	2000

愚蠢的我。我以为这些空白的驱动器盖是2.5英寸的球童。我将在eBay上以每本5美元的价格订购这些产品，但在那之前，我一直在偷懒。

我们走了，现在至少他们被隐藏了，直到我的球童到来

使用plotman进行第一次测试的绘图配置。

(venv) jm@r740xd:~/chialogs$ cat ~/.config/plotman/plotman.yaml
directories:
        log: /home/jm/chialogs
        tmp:
                - /mnt/ssd1
                - /mnt/ssd2
                - /mnt/ssd3
                - /mnt/ssd4
        dst:
                - /mnt/ssd0
scheduling:
        tmpdir_stagger_phase_major: 1
        tmpdir_stagger_phase_minor: 1
        tmpdir_stagger_phase_limit: 1
        tmpdir_max_jobs: 11
        global_max_jobs: 44
        global_stagger_m: 5
        polling_time_s: 20
plotting:
        k: 32
        e: False             # Use -e plotting option
        n_threads: 2         # Threads per job
        n_buckets: 128       # Number of buckets to split data into
        job_buffer: 3389     # Per job memory

SSD 1和2是SN640，SSD 3和4是SN840

(venv) jm@r740xd:~/chialogs$ sudo nvme list
Node             SN                   Model                                    Namespace Usage                      Format           FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------

/dev/nvme1n1     A068XXXX             WUS4BA138DSP3X3                          1           3.20  TB /   3.20  TB    512   B +  0 B   R2210000
/dev/nvme2n1     A068XXXX             WUS4BA138DSP3X3                          1           3.20  TB /   3.20  TB    512   B +  0 B   R2210000
/dev/nvme3n1     A06AXXXX             WUS4BB038D7P3E4                          1           1.77  TB /   3.20  TB      4 KiB +  0 B   R1410002
/dev/nvme4n1     A06AXXXX             WUS4BB038D7P3E4                          1           1.58  TB /   3.20  TB      4 KiB +  0 B   R1410002

使用默认的Ubuntu 20.04.2设置，并且没有任何调整，我每天大约要获得8TiB

(venv) jm@r740xd:~/chialogs$ grep -i "total time" /home/jm/chialogs/*.log |awk '{sum=sum+$4} {avg=sum/NR} {tday=86400/avg*44*101.366/1024} END {printf "%d K32 plots, avg %0.1f seconds, %0.2f TiB/day \n", NR, avg, tday}'
44 K32 plots, avg 47443.5 seconds, 7.93 TiB/day

Plotman具有非常酷的功能，我们可以通过临时驱动器分析时间，以了解我们的状况！

(venv) jm@r740xd:~/chialogs$ plotman analyze --bytmp *.log
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
|    Slice    | n  |   %usort    |   phase 1    |   phase 2    |    phase 3    |   phase 4    |  total time  |
+=============+====+=============+==============+==============+===============+==============+==============+
| x-/mnt/ssd1 | 11 | μ=100.0 σ=0 | μ=17.6K σ=2K | μ=9.3K σ=390 | μ=17.2K σ=401 | μ=1.3K σ=91  | μ=45.4K σ=2K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| x-/mnt/ssd2 | 11 | μ=100.0 σ=0 | μ=19.0K σ=2K | μ=9.0K σ=301 | μ=17.6K σ=392 | μ=1.3K σ=64  | μ=46.9K σ=2K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| x-/mnt/ssd3 | 11 | μ=100.0 σ=0 | μ=19.6K σ=2K | μ=9.1K σ=303 | μ=18.2K σ=747 | μ=1.4K σ=93  | μ=48.3K σ=3K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| x-/mnt/ssd4 | 11 | μ=100.0 σ=0 | μ=19.8K σ=2K | μ=9.3K σ=596 | μ=18.6K σ=639 | μ=1.5K σ=127 | μ=49.1K σ=2K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+

SN840的速度稍快（因为价格昂贵，这不足为奇）。我昨天刚得到这些驱动器，对它们了解不多，所以我将在接下来的几周内闲逛。当我将它们扔到每个核心CPU频率要快得多的台式机中时，我会确切地知道它们有多快。Xeon Gold在所有22个核心都处于活动状态时，可以达到高达2800MHz的所有核心睿频，因此我需要多进行一些设置。对于进行任何桌面设置的任何人来说，每个绘图时间都没有什么特别的，但这并不是在服务器上进行绘图的目的。当然，您希望将数量降到最低，但您希望拥有足够的DRAM和SSD容量，以至少能够覆盖所有物理核心（核心* 3400MB * 257GB SSD）。RAID，驱动器之间的比较，iowait，