おっかしいなぁ、同じ VLAN 内で 10G スイッチと10GbEインターフェースを通して通信しているはずなのに max 950.27 Mb/s しか出てない
CIFS とかストレージ側で律速になっている可能性はもちろんあるんだけど、ちょうど 1Gbps で頭打ちになっているとなると流石にネットワークを疑わざるを得ない
と思ったら 1.4 Gb/s いってた。じゃあどこが遅いんだ……？
ルータの LAN ポートもまともに通信している様子はないので全部手前のスイッチでちゃんと折り返していると思いたいけど、 fast path とかに入ってたらパケットがカウントされていないだけなどの可能性もあり、まあわからん
通信中にルータとの接続切ってみればいいのか
しばらくルータと繋がるケーブル抜いてみたが、普通にコピー進行してたし、なんなら最高で 2.38 Gb/s 出てる。どうやら通信路ではなく NAS 側を疑うべきっぽい
わかってきた、 7200rpm の玉は 220 MiB/s くらい出てるのに 5400rpm の玉が 110 MiB/s くらいしか出てない。これで mirror(2)+mirror(2) でアレイ組んでるから 5400rpm ミラーが律速になってるのか
220 MiB/s が 1.7Gbps、110MiB/s が880Mbps だから、平均して 1.29Gbps くらい。かなりそれらしい値になってきた
やっぱり 5400rpm とか使うのやめてさっさと 7200rpm のミラーを沢山追加すべきですね……
来月あたり頑張って HDD 4台くらい調達したい
うん？ ミラーを合わせて stripe を組んでいるから平均ではなく合算の速度が出るはずだが……
というかコピー終わっても HDD カリカリ言ってる、これ 07:00 にスケジュールされてるリモートバックアップのタスクが走ってるな。それで2で割って平均になっってしまったのか
てことは、フルスペックで頑張れば 3.2Gbps 出るってことだな。
20Gbps に全然届かないじゃん……
読み書き同時にやるとしても、全二重の 20Gbps のリンクを用意すると 20Gbps / (220MiB/s) だから 7200rpm の HDD の11.3倍くらいの速度が出るわけだ。
すると、 mirror vdevs 構成にするなら最低でも HDD 22台くらい積んでないとネットワークの速度をフルに出しきれないと。
とはいえ、もちろんこれは HDD に直にアクセスする場合の話で、ちゃんとキャッシュに載ったりなどすればもっと速くはなるわけだけど。
ZFS なら ARC があるから尚更。メモリも 256 GB 積んでるし……
しかし、このくらいの速度になってくると NVMe M.2 SSD でも積んで L2ARC なり ZIL なりをセットアップするのも手かもしれんな
その前に HDD アレイはそこそこにしておいて (たとえばアーカイブ専用にしておいて)、 SATA SSD でのアレイを組むことを検討すべきなのかもしれん。 600MB/s として 20Gbps まで4.2倍なので、4台で mirror vdevs を組めば書き込みは 10Gbps 近くいくだろうし読む方はちゃんと 20Gbps 活用できそう
CIFS や NFS のパフォーマンスがそこまで出るかは知らん。
だいたい速度を重要視する方の NAS に 12 TB の玉とかが載ってるのがそもそもおかしいんだよ。
多少割高でも 6 TB ×2 とかでやるべきだった。
まあ 12 TB も余ったら余ったで実家の NAS に積みたいので、容量あたり単価が安い方を先に買うだけ買っといて正解ではある。
2023-06-11 状況メモ:
SSD 1TB (WD Blue SA510): ¥8280
SSD 1TB (WD Red SA500): ¥15301
SSD 2TB (WD Red SA500): ¥30276 (¥15318/TB)
HDD 6TB (Seagate IronWolf Pro): ¥23120 (¥3853.3/TB)
HDD 6TB (WD Red Pro): ¥39420 (¥6570/TB)
HDD 6TB (TOSHIBA MN08ADA600/JP): ¥18980 (¥3163.3/TB)
選び方にもよるが、 SSD だと2〜5倍を覚悟する必要があるな……