Centos8にVDOをインストールして設定し、ストレージスペースを最適化する

[[400325]]

Virtual Data Optimizer (VDO) は、透過的なデータ重複排除を提供するブロック仮想化テクノロジーです。冗長なデータブロックを排除することで、VDO は実際に使用されるディスク容量を大幅に削減できます。

VDO は 2 つのカーネルモジュールと 2 つのコマンドで構成されています。

次の 2 つのカーネルモジュールで構成されています。

kvdo - このモジュールはデバイスマネージャーレイヤーにロードされ、データ重複排除用のブロックストレージボリュームを提供します。
uds - このモジュールは、VDO オンディスクユニバーサル重複排除インデックスとの通信を担当します。

2 つのコマンドラインツールが含まれています:

vdo - VDO ボリュームの作成、削除、開始、停止、およびその他の構成操作を実行するために使用されます。
vdostats - 物理ボリュームの効果的な削減と使用率など、VDO ボリュームのさまざまな側面を報告するために使用されます。

システム環境

セントオス8

VDOをインストールする

次のコマンドは、vdo と関連する依存関係をインストールし、インストールが完了したらシステムを再起動します。

 [root@localhost ~]# yum -y install vdo
 [root@localhost ~]# 再起動

VDOデバイスを作成する

VDO が使用できる空きディスクまたはパーティションがあることを確認します。 LVM 論理ボリューム上に VDO ボリュームを作成することはできますが、システムを再起動すると起動順序の問題が発生します。したがって、raw ディスク上に vdo ボリュームを作成し、その上に LVM 論理ボリュームを作成します。

次に、20GB のディスク /dev/sda を vdo ボリュームとして使用します。

vdo ボリュームを作成しましょう:

 [root@localhost ~]# vdo作成  --name=vdolvm --device /dev/sda --vdoLogicalSize 60G --writePolicy 非同期 
 VDO vdolvm の作成
      VDO ボリュームは、それぞれ 2 GB の 8 つのデータ スラブで16 GB をアドレス指定できます。
      8192 スラブで最大16 TBの物理ストレージに対応できるように拡張できます。
      より大きな最大サイズが必要な場合は、より大きなスラブを使用します。
 VDO vdolvm の起動
VDO vdolvmでの圧縮の開始
VDO インスタンス 0 ボリュームは/dev/mapper/vdolvmで準備完了です

コマンドを分解して、使用されるオプションを見てみましょう。

--device - vdoボリュームを作成するハードディスクを指定します

--vdoLogicalSize - ここでは容量を 60G に指定します。これは実際のディスクサイズの 20G よりもはるかに大きい値です。重複排除によって少なくとも 3:1 の削減が得られると仮定します。これはほとんどのデータに対してはかなり控えめな数値ですが、データに重複があまりない場合は比率が異なります。ログファイルやその他のプレーンテキストファイルは通常、適切に重複排除され、10:1 以上の重複排除率を達成できる場合があります。ただし、ビデオ、オーディオ、圧縮ファイルなどのバイナリファイルは 3:1 よりはるかに小さくなり、場合によっては 1:1 になることもあります。この場合、vdo ボリュームの使用はお勧めしません。

--writePolicy - vdo には 3 つの書き込みポリシーがあります。

同期: VDO ボリュームへの書き込みは、データが物理デバイスに書き込まれた後にのみ確認されます。

非同期: データはキャッシュに書き込まれた後に確認されます。デバイスの障害や電源喪失の前にキャッシュをフラッシュしないと、データが失われる可能性があります。

auto: このデフォルトモードでは、VDO はストレージデバイスをチェックし、フラッシュをサポートしているかどうかを判断します。その場合、VDO は非同期モードを使用します。そうでない場合は、同期モードが使用されます。

新しく作成されたVDOボリュームに関する情報を表示します

前の手順の出力からわかるように、VDO は /dev/mapper/vdolvm という名前の新しい dm デバイスを作成しました。これは、lvm ボリュームグループを作成するときに使用するデバイスです。

 [root@localhost ~]# ll /dev/mapper/vdolvm
 lrwxrwxrwx 1 ルート ルート 7 3月 4 13:31 /dev/mapper/vdolvm -> ../dm-2

vdostats を使用して vdo ボリュームについてどのような情報を取得できるかを見てみましょう。

 [root@localhost ~]# vdostats --hu  
デバイスサイズ使用済み 使用可能使用率スペース節約率
/dev/mapper/vdolvm 20.0G 4.0G 16.0G 20% 該当なし

ボリュームにまだデータを書き込んでいないため、Spacesaving% フィールドは N/A です。後でデータを書き込むときに、ここでさらに役立つ情報が表示されます。

上の図を見ると、まだデータを書き込んでいないのに、すでに 4GB、つまり 20% のスペースが使用されていることがわかります。これは、「ユニバーサル重複排除インデックス」がディスクに書き込まれているためです。これは基本的に、スラブの指紋とその位置を記録するデータベースです。これにより、データの重複排除が可能になります。

VDOボリュームを通常のディスクデバイスとして設定する

VDO デバイスを作成したので、これをパーティション分割してフォーマットしたり、この VOD ボリューム上に LVM 論理ボリュームを作成したりできます。次に論理ボリュームを作成します。

 # 物理ボリュームを作成する
[root@localhost ~]# pvcreate /dev/mapper/vdolvm
  物理ボリューム「/dev/mapper/vdolvm」が正常に作成されました。
 # ボリュームグループ vdo_vg を作成する
[root@localhost ~]# vgcreate vdo_vg /dev/mapper/vdolvm
  ボリュームグループ  「vdo_vg」が正常に作成されました
# vdo_vgボリュームグループの情報を表示します
[root@localhost ~]# vgdisplay vdo_vg
 --- ボリュームグループ ---  
  VG名vdo_vg
  システムID
  lvm2をフォーマットする
  メタデータ領域 1
  メタデータシーケンス  1位
  VGアクセス読み取り/書き込み
  VGステータスサイズ変更可能
最大レベル0
  カー LV 0
オープンLV0
最大PV 0
  現在のPV 1
  第1幕
  VGサイズ<60.00 GiB
  PEサイズ4.00 MiB
  合計PE 15359
  割り当て PE /サイズ0 / 0
空きPE/サイズ15359/<60.00 GiB
  VG UUID qfPiH6-eMCU-Z6kr-eeCu-jd0J-8lmf-49daZX

上記のように、ベースディスクが 40 GB しかないことがわかっているにもかかわらず、lvm はベースディスクが 120 GB であると認識しています。 LVM は VDO バックエンドディスクのサイズを認識しないためです。

次に、いくつかの論理ボリュームを作成しましょう。

 [root@localhost ~]# lvcreate -n vdo_lv01 -L 15G vdo_vg
 [root@localhost ~]# lvcreate -L 15G -n vdo_lv02 vdo_vg
 [root@localhost ~]# lvcreate -L 15G -n vdo_lv03 vdo_vg
 # 作成された論理ボリュームを表示する
[root@localhost ~]# lvs -o +デバイス

マウントポイントを作成し、ファイルシステムをマウントする

通常、ファイルシステムが作成された後、デバイス上で Trim 操作が実行されます。ディスク容量はオンデマンドで割り当てられるため、VDO を使用する場合はこれは理想的ではありません。したがって、ファイルシステムの作成プロセス中にブロックを破棄しないように mkfs に指示する必要があります。 XFS の場合は -K オプションを使用します。 EXT4 の場合は -E nodiscard を使用します。以下は、for ループを使用して 3 つの論理ボリュームを XFS ファイルシステムとしてフォーマットします。

 [root@localhost ~]# iが`seq 1 3`の場合; mkfs.xfs -K /dev/vdo_vg/vdo_lv0$i; を実行します。終わり
メタデータ=/dev/vdo_vg/vdo_lv01 isize=512 agcount=4、agsize=983040 blks
         = sectsz=4096 属性=2、projid32bit=1
         = crc=1 finobt=1、スパース=1、rmapbt=0
         =参照リンク=1
データ = bsize=4096 ブロック=3932160、imaxpct=25
         = 単位=0 幅=0 ブロック
命名 =バージョン 2 bsize=4096 ascii-ci=0, ftype=1
ログ =内部ログ bsize=4096 ブロック=2560、バージョン=2
         = sectsz=4096 sunit=1 blks、lazy- count =1
リアルタイム =なし extsz=4096 ブロック=0、rtextents=0
メタデータ=/dev/vdo_vg/vdo_lv02 isize=512 agcount=4、agsize=983040 blks
         = sectsz=4096 属性=2、projid32bit=1
         = crc=1 finobt=1、スパース=1、rmapbt=0
         =参照リンク=1
データ = bsize=4096 ブロック=3932160、imaxpct=25
         = 単位=0 幅=0 ブロック
命名 =バージョン 2 bsize=4096 ascii-ci=0, ftype=1
ログ =内部ログ bsize=4096 ブロック=2560、バージョン=2
         = sectsz=4096 sunit=1 blks、lazy- count =1
リアルタイム =なし extsz=4096 ブロック=0、rtextents=0
メタデータ=/dev/vdo_vg/vdo_lv03 isize=512 agcount=4、agsize=983040 blks
         = sectsz=4096 属性=2、projid32bit=1
         = crc=1 finobt=1、スパース=1、rmapbt=0
         =参照リンク=1
データ = bsize=4096 ブロック=3932160、imaxpct=25
         = 単位=0 幅=0 ブロック
命名 =バージョン 2 bsize=4096 ascii-ci=0, ftype=1
ログ =内部ログ bsize=4096 ブロック=2560、バージョン=2
         = sectsz=4096 sunit=1 blks、lazy- count =1
リアルタイム =なし extsz=4096 ブロック=0、rtextents=0

新しいファイルシステムをマウントポイントにマウントするときに、XFS にブロックを破棄するように指示します。これにより、ファイルの削除が大幅に高速化されます。

 [root@localhost ~]# mkdir -p /data/{01..03}
 [root@localhost ~]# iが`seq 1 3`の場合; mount -o destroy /dev/vdo_vg/vdo_lv0$i /data/0$i を実行します。終わり

デバイスに少量のデータを書き込んだので、VDO ボリュームを再度チェックして状況が変わったかどうかを確認できます。

 [root@localhost ~]# vdostats --hu  
デバイスサイズ使用済み 使用可能使用率スペース節約率
/dev/mapper/vdolvm 20.0G 4.0G 16.0G 20% 86%

起動時に開始するように設定する

次に、起動時に起動するように 3 つの論理ボリュームを設定します。 fstab ファイルに x-systemd.device-timeout=0 と x-systemd.requires=vdo.service を追加する必要があります。

blkid を使用して、3 つの論理ボリュームの UUID を表示します。

上記で取得した UUID を使用して、/etc/fstab ファイルに追加します。

 [root@localhost systemd]# vim /etc/fstab 
 
 UUID= "bd2c1c61-4656-4065-b5a0-3ca53ef0f949" /data/01 xfs デフォルト、x-systemd.device-timeout=0、x-systemd.requires=vdo.service 0 0
 UUID= "1e53579b-f1da-4f77-80e6-d61a40515525" /data/02 xfs デフォルト、x-systemd.device-timeout=0、x-systemd.requires=vdo.service 0 0
 UUID= "d41bf7e2-bf75-4db7-b323-a923375f6a6e" /data/03 xfs デフォルト、x-systemd.device-timeout=0、x-systemd.requires=vdo.service 0 0