分散KV-1スタンドアロンKVの実装

[[437220]]

この記事はWeChatの公開アカウント「roseduanの執筆場所」から転載したもので、著者はroseduanです。この記事を転載する場合は、roseduanが執筆しているローカルの公開アカウントまでご連絡ください。

多くのコードフレームワークが提供されており、特定のロジックを記入するだけで済む、シンプルな分散 kv を実現することを目的としています。

このコースは 4 つのプロジェクトに分かれています。

スタンドアロンKV
ラフトKV
マルチラフトKV
取引

KV のスタンドアロンバージョン、ラフト (およびマルチラフト) コンセンサスアルゴリズムに基づく KV、および分散トランザクションを備えた KV を実装する必要があります。難しくない最初のスタンドアロン KV を除いて、他のプロジェクトは手書きのラフトアルゴリズムと分散トランザクションを伴い、非常に困難です。

もちろん、このコースは分散ストレージの分野を始めて実践するための優れた学習リソースでもあるので、自分の学習プロセスを記録してください。

今日の記事では、最初のプロジェクトについて見ていきます。

最初のプロジェクトは、Badger を統合して、シンプルなスタンドアロン kv を実装することです。

Badger は、LSM ツリーに基づく優れたオープンソースのスタンドアロン kv ストレージエンジンであり、優れた読み取りおよび書き込みパフォーマンスを備えています。したがって、Badger の使い方をよく理解しておく必要があります。公式の例を参照できます: github.com/dgraph-io/bager。

TinyKV では、ストレージ層は、ラフトストレージ、メモリストレージ、スタンドアロンストレージを実装する抽象インターフェイスです。ここでは、スタンドアロンストレージを実装するだけで済みます。

具体的な実装は、kv/storage/standalone_storage/standalone_storage.go にあります。 Badger をカプセル化してから、ストレージインターフェイスで定義されたいくつかのメソッドを実装する必要があります。

構造の定義は次のとおりです。

タイプStandAloneStorage構造体{
  // ここにあなたのデータを入力してください (1)。
  バッジャDB *バッジャ.DB
  オプション アナグマ.オプション
}

Reader メソッドでは、StorageReader インターフェイスを返す必要があることに注意してください。これは抽象的なインターフェースであり、特定のロジックをカスタマイズする必要があります。

 func (s *StandAloneStorage) Reader(ctx *kvrpcpb.Context) (storage.StorageReader, error) {
  // ここにコードを記述します (1)。
  トランザクション:= s.badgerDB.NewTransaction( false )
  リーダー:= NewStandaloneReader(txn)
リーダーを返す、nil
 }

たとえば、StandaloneReader を定義しました。

 StandaloneReader 構造体型 {
  送信 *バジャー.送信
} 
 
 func NewStandaloneReader(txn *badger.Txn) *StandaloneReader {
 &StandaloneReader{を返す
    送信: 送信、
  }
 }

これを完了したら、kv/server/raw_api.go 内の対応する gRPC インターフェースを改善し、渡されたパラメータを直接解析して、Storage インターフェース内のメソッドを呼び出す必要があります。次に例を示します。

 func (server *Server) RawGet(_ context.Context, req *kvrpcpb.RawGetRequest) (resp *kvrpcpb.RawGetResponse, err error) {
  // ここにコードを記述します (1)。
  応答 = &kvrpcpb.RawGetResponse{} 
 
  // ストレージ リーダーを取得します。
  var リーダーストレージ.StorageReader
  リーダー、エラー = server.storage.Reader(req.Context)
  err != nil の場合 {
戻る 
  }
  読者を延期します。近い（） 
 
  val, err := reader.GetCF(req.Cf, req. Key )
  len(val) == 0 の場合 {
    回答: NotFound = true  
  }
  それぞれ値 = val
戻る 
 }