IOの基本原則を実装する方法

最近、IO の基本的な実装原則を学ぶために、JAVA NIO について読んでいます。

IO に関連する基本的な概念は次のとおりです。

1) バッファ操作。 2) カーネル空間とユーザー空間。 3) 仮想メモリ。 4) ページング技術。

1. 仮想メモリ

仮想メモリは、ハードウェア例外 (ページ フォールト例外)、ハードウェア アドレス変換、メイン メモリ、ディスク ファイル、およびカーネル ソフトウェアの完全な相互作用であり、各プロセスに大規模で一貫性のあるプライベート アドレス空間を提供します。

仮想メモリの 3 つの主な機能: 1. メイン メモリをディスク上に保存されたアドレス空間のキャッシュとして扱います。 ②各プロセスに一貫したアドレス空間を提供する。 ③各プロセスのアドレス空間が他のプロセスによって破壊されないように保護する。

仮想メモリの 2 つの主な利点: ① 複数の仮想アドレスが同じ物理メモリ アドレスを指すことができます。 ② 仮想メモリ空​​間は、実際に使用可能なハードウェアメモリよりも大きくなる可能性があります。

[[207226]]

第二に、ユーザー空間とカーネル空間

仮想アドレスが 32 ビットであると仮定すると、仮想アドレス空間の範囲は 0 ～ 4G になります。オペレーティングシステムは 4G を 2 つの部分に分割し、最大の 1G バイト (仮想アドレス範囲: 0xC0000000-0xFFFFFFFF) をカーネルの使用に使用します。これをカーネル空間と呼びます。下位 3G バイトは各プロセスによって使用され、ユーザー スペースと呼ばれます。

カーネルはすべてのプロセスによって共有されるため、各プロセスはシステム コールを通じてカーネルに入ることができます。特定のプロセスごとに 4G の仮想アドレス空間が認識されます。これは、各プロセスが 4G の仮想アドレス空間を持つのと同じです。

3. IO操作

一般的な IO バッファ操作:

1) ユーザープロセスは、read() システムコールを使用して、ユーザー空間バッファを埋めるように要求します。

2) カーネルはディスク コントローラ ハードウェアにコマンドを送信し、ディスクからデータを読み取ります。

3) ディスク コントローラは DMA を使用してデータをカーネル バッファにコピーします (データは CPU を通過しません)。

4) カーネルは、ユーザー プロセスが read() 呼び出しを開始したときに指定されたユーザー バッファーにカーネル バッファーからデータをコピーします。

上の図からわかるように、ディスク内のデータは最初にカーネル バッファーに読み込まれます。次に、カーネルのバッファからユーザーのバッファにコピーされます。なぜこのようなことが起こるのでしょうか?

ユーザー空間プロセスはハードウェアに直接アクセスできない（ディスク コントローラーを操作できない）ためです。ディスクは、一度に固定サイズのブロックで動作するブロックベースのストレージ ハードウェア デバイスですが、ユーザー要求では任意のサイズのデータ​​ ブロックを要求する場合があります。したがって、データはディスクからユーザー空間に渡され、カーネルがデータの分解と再構成を担当します。

メモリマップ IO: 複数の仮想アドレスを再利用して、同じ物理メモリ アドレスを指します。カーネル空間（カーネルアドレス空間）のバッファアドレスは物理メモリアドレス領域にマッピングされ、ユーザー空間（ユーザーアドレス空間）のバッファアドレスも同じ物理メモリアドレス領域にマッピングされます。したがって、カーネル バッファーによってマップされた物理メモリ アドレスからユーザー バッファーによってマップされた物理メモリ アドレスにデータを移動する必要はありません。

要件: ① ユーザー バッファーとカーネル バッファーは同じページ サイズを使用してアラインメントされている必要があります。 ②バッファのサイズは、ディスク コントローラのブロック サイズ (512 バイトのディスク セクター) の倍数である必要があります。これは、ディスクがブロック ストレージ ベースのハードウェア デバイスであり、一度に固定サイズのデータ​​ ブロックのみを操作できるためです。

ユーザー バッファーはページ境界に配置され、IO 効率が向上します。このため、JAVA で新しいバイト配列を作成するときに指定するサイズは 2 の倍数 (4096) になります。

4 番目に、JAVA の IO は基本的に、データをバッファ内またはバッファ外へ移動することです。

read() および write() システム コールは、カーネル バッファーによってマップされた物理メモリ空間内のデータを、ユーザー バッファーによってマップされた物理メモリ空間にコピーするために使用されます。

したがって、メモリマップド IO を使用する場合、ユーザープロセスはファイルデータを直接メモリとして扱うと考えられ、read() または write() システムコールを使用する必要はありません。

read() システム コールが開始されると、読み取るデータの場所に応じて仮想アドレスが生成され (ユーザー プロセスは仮想アドレスを使用します)、MMU によって物理アドレスに変換されます。カーネル内に対応するデータがない場合、ページ フォールト要求が生成されます。カーネルは、ディスクからカーネル バッファーによってマップされた物理メモリにデータを読み込むためのページ ロードを担当します。ユーザー プログラムにとって、これはすべて無意識のうちに起こります。

つまり、基本的には、ページング技術によってデータがディスクからメモリにページ単位でロードされます。

5. JAVA NIO における直接キャッシュと非直接キャッシュ

ダイレクト キャッシュ: ヒープ上に割り当てられたストレージではなく、JVM の外部に配置されます。これは JAVA の GC によって管理されず、カーネル バッファと同等です。非直接キャッシュ: JAVA ヒープ上に構築され、JVM によって管理されるキャッシュ。ユーザー バッファーと同等です。

上記の 3 番目のポイントによると、直接キャッシュにデータをチャネルに書き込む方が、非直接キャッシュにデータを書き込むよりも高速です。チャネルに接続されているもう一方の端は、何らかの形式のハードウェアであるファイル (ディスク、FileChannel) またはネットワーク (ソケット チャネル) であるためです。したがって、非直接キャッシュの場合、データはカーネル バッファーを介してバッファーからハードウェアに転送されます。ダイレクト キャッシュはカーネル バッファに直接マップされるため、これは必要ありません。