GOは、高度な並列性と可用性を備えた分散システムを実装します。Logマイクロサービスの実装

GOは、高度な並列性と可用性を備えた分散システムを実装します。Logマイクロサービスの実装

この記事はWeChatの公開アカウント「Coding Disney」から転載したもので、著者はChen Yiです。記事の転載についてはCodi​​ng Disney公式アカウントまでご連絡ください。

ビッグデータの時代では、高い同時実行性、高い可用性、マイクロサービス システム設計の理解を備えた人材が強く求められています。バックエンド開発に従事したい場合、JD の説明で最も一般的な要件は、いわゆる「高同時実行」システム開発の経験です。しかし、市場には「高同時実行性」と「高可用性」を直接ターゲットにしたチュートリアルがないことがわかりました。見つかる情報は、多くの場合、ほんの数語であったり、混乱を招く理論を説明しているものであったりします。しかし、技術の習得は実践から生まれなければなりません。長い間探していたのですが、マイクロサービスをベースにした高並列システムの開発を実践できるインストラクターが非常に少ないことがわかりました。したがって、私は自分の学習と実践経験に基づいて、特に分散システム設計の理論と技術を理解し習得するための具体的な実践を重視しながら、この技術を皆さんと共有したいと考えています。

いわゆる「マイクロサービス」には魔法のようなものは何もありません。もともと集約していたモジュールを、サーバープログラムの存在に基づいて複数の独立した形式に分解するだけです。開発したバックエンドシステムが、ログ、ストレージ、ビジネスロジック、アルゴリズムロジックなどのモジュールに分割されているとします。以前は、これらのモジュールが 1 つに集約され、複雑で大規模なアプリケーションが形成されていました。

このアプローチには多くの問題があります。 1 つ目は、モジュールをあまりに多く組み合わせると、モジュール間にさまざまな論理的な結合があるためにシステム設計が複雑になりすぎて、時間の経過とともにシステムの開発と保守がますます困難になることです。 2つ目は、システムがますます脆弱になっていることです。モジュールの 1 つがエラーを送信したりクラッシュしたりすると、システム全体が崩壊する可能性があります。 3 つ目は、スケーラビリティが強くなく、ハードウェアの性能向上によってシステムが対応する拡張を実現することが難しいことです。

高い同時実行性と高可用性を実現するための基本的な考え方は、モジュールを分解して独立したサーバー プログラムにすることです。モジュールはメッセージを送信することで相互に連携します。

このモデルの利点は次のとおりです。1. モジュールは分離されており、1 つのモジュールに問題が発生してもシステム全体にほとんど影響はありません。 2. スケーラビリティと高可用性。異なるサーバーにモジュールを展開できます。トラフィックが増加した場合は、サーバーの数を増やすだけで、システムの応答性を同様に拡張できます。 3. 堅牢性が向上します。複数のモジュールをバックアップできるため、1 つのモジュールに問題が発生した場合、要求を他の同様のモジュールにリダイレクトすることができ、システムの信頼性が大幅に向上します。

もちろん、いかなる利益にもそれに応じた代償が伴います。分散システムの設計と開発には、元の集約システムよりもはるかに多くの困難が伴います。たとえば、負荷分散、サービス検出、モジュールネゴシエーション、コンセンサスなどです。分散アルゴリズムはこれらの問題の解決を重視しますが、理論は常に抽象的で理解するのが困難です。高可用性と高同時実行性を備えたシステムを実装できない場合、いくら理論を読んでも混乱してしまいます。したがって、実践を通じて理論を理解し、習得する必要があります。まず、最も単純なサービスであるログ サービスから始めます。実装にはGOを使用します。

まず、go_distributed_system という名前のルート ディレクトリを作成します。以降のすべてのサービス モジュールはこのディレクトリに実装されます。次にサブディレクトリ proglog を作成します。入力後、サブディレクトリ internal/server/ を作成します。ここでは、ログ サービスの論理モジュールを実装します。まず、internal/server の下で初期化コマンドを実行します。

  1.  go mod init 内部/サーバー

ここで開発されたモジュールは他のモジュールから参照されるため、mod ファイルを作成する必要があります。まず、ログ システムに必要な基礎データ構造を完成させ、log.go ファイルを作成する必要があります。対応するコードは次のとおりです。

  1. パッケージサーバー
  2.  
  3. 輸入 （
  4.  「fmt」  
  5.  「同期」  
  6.  ） 
  7.  
  8. 型 Log 構造体 {
  9.     mu sync.Mutex
  10.     記録 [] 記録
  11. } 
  12.  
  13.  NewLog()関数 *Log {
  14.  &Log{ch : make(chan Record),}を返します。
  15.  } 
  16.  
  17.  func(c *Log) Append(record レコード) (uint64, error) {
  18.      c.mu.ロック()
  19.     c.mu.Unlock() を延期する
  20.     レコード.オフセット = uint64(len(c.records))
  21.     c.records = 追加(c.records、レコード)
  22.  record.Offset, nil を返す
  23. } 
  24.  
  25.  func (c *Log) Read (offset uint64)(Record, error) {
  26.     c.mu.ロック()
  27.     c.mu.Unlock() を延期する
  28.     オフセット >= uint64(len(c.records)) の場合 {
  29. レコード{}、ErrOffsetNotFoundを返す
  30.     } 
  31.  
  32.  c.records[オフセット]、nilを返す
  33. } 
  34.  
  35. レコード構造体型{
  36.     値 []byte `json: "value" `
  37.     オフセット uint64 `json: "offset" `
  38.  } 
  39.  
  40.  var ErrOffsetNotFound = fmt.Errorf( "オフセットが見つかりません" )

ログ サービスは、ログの読み取りおよび書き込み要求を http サーバー プログラムの形式で受信するため、複数の読み取りまたは書き込み要求が同時に実行されるため、レコード配列に対して排他操作を実行する必要があります。したがって、レコード配列の各読み取りの前に、ミューテックス ロックを使用してロックを取得します。これにより、複数の読み取りおよび書き込み要求を同時に受信したときに、サービスがデータの一貫性を損なうことを防ぐことができます。

すべてのログの読み取りおよび書き込み要求は http POST および GET の形式で開始され、データは json にカプセル化されるため、以下の http サーバー オブジェクトを作成し、新しいファイル http.go を作成し、次のコードを完成させます。

  1. パッケージサーバー
  2.  
  3. 輸入 （
  4.  「エンコーディング/json」  
  5.  「ネット/http」  
  6.  「github.com/gorilla/mux」  
  7.  ） 
  8.  
  9.  func NewHttpServer(addr string) *http.Server {
  10.     httpsrv := 新しいHttpServer()
  11.     r := mux.NewRouter()
  12.     r.HandleFunc( "/" 、 httpsrv.handleLogWrite).Methods( "POST" )
  13.     r.HandleFunc( "/" 、 httpsrv.hadnleLogRead).Methods( "GET" ) 
  14.  
  15.  &http.Server{を返す
  16.         住所:住所、
  17.         ハンドラ: r,
  18.     }
  19.  } 
  20.  
  21. タイプ httpServer 構造体 {
  22.     ログ *ログ
  23. } 
  24.  
  25. 関数newHttpServer() *httpServer {
  26.  &httpServer {を返す
  27.         ログ: NewLog(),
  28.     }
  29.  } 
  30.  
  31.  WriteRequest構造体型{
  32.     レコード レコード `json: "record" `
  33.  } 
  34.  
  35.  WriteResponse構造体型{
  36.     オフセット uint64 `json: "offset" `
  37.  } 
  38.  
  39.  ReadRequest構造体型{
  40.     オフセット uint64 `json: "offset" `
  41.  } 
  42.  
  43.  ReadResponse構造体型{
  44.     レコード レコード `json: "record" `
  45.  } 
  46.  
  47.  func (s *httpServer) handleLogWrite(w http.ResponseWriter, r * http.Request) {
  48.     var req 書き込みリクエスト
  49.     //サービスはjson形式でリクエストを受け取ります
  50.     エラー:= json.NewDecoder(r.Body).Decode(&req)
  51.     err != nil の場合 {
  52.         http.Error(w, err.Error(), http.StatusBadRequest)
  53. 戻る  
  54.     } 
  55.  
  56. オフ、エラー:= s.Log.Append(req.Record)
  57.     err != nil の場合 {
  58.         エラー:
  59. 戻る  
  60.     } 
  61.  
  62.     res := WriteResponse{オフセット:オフ}
  63.     //サービスは結果をjson形式で返します
  64.     エラー = json.NewEncoder(w).Encode(res)
  65.     err != nil の場合 {
  66.         エラー:
  67. 戻る  
  68.     }
  69.  } 
  70.  
  71.  func (s *httpServer) hadnleLogRead(w http.ResponseWriter, r *http.Request) {
  72.     var req 読み取りリクエスト
  73.     エラー:= json.NewDecoder(r.Body).Decode(&req)
  74.     err != nil の場合 {
  75.         http.Error(w, err.Error(), http.StatusBadRequest)
  76. 戻る  
  77.     } 
  78.  
  79.     レコード、err := s.Log。読み取り(req.Offset)
  80.     err == ErrOffsetNotFound の場合 {
  81.         http.Error(w, err.Error(), http.StatusNotFound)
  82. 戻る 
  83.     } 
  84.  
  85.     err != nil の場合 {
  86.         エラー:
  87. 戻る  
  88.     } 
  89.  
  90.     res := ReadResponse{レコード: レコード}
  91.     エラー = json.NewEncoder(w).Encode(res)
  92.     err != nil の場合 {
  93.         エラー:
  94. 戻る 
  95.     }
  96.  }

上記のコードは、「分散」と「マイクロサービス」の特徴を示しています。対応する機能コードは別のサーバーの形で実行され、ネットワークを介してサービス要求を受信します。これは「分散型」に相当します。それぞれの独立したモジュールは、「マイクロサービス」に対応する特定のタスクのみを完了します。この方法は、異なるマシン上で同時に実行できるため、「スケーラビリティ」を実現します。

同時に、サービスは http サーバーの形式で存在するため、サービス要求と戻りも Http 形式である必要があり、データは Json でカプセル化されます。同時に実装されるロジックは非常にシンプルです。ログ書き込み要求がある場合、要求をレコード構造に解析し、キューの末尾に追加します。ログの読み取り要求があった場合、クライアントから送信された読み取りオフセットを取得し、対応するレコードを取り出して JSON 形式にカプセル化し、顧客に返します。

サーバーコードが完成したら、サーバーを実行する必要があります。モジュール化を実現するために、サーバーの起動を別の場所に配置しました。 proglog ルート ディレクトリに cmd/server を作成し、そこに main.go を追加します。

  1. パッケージメイン
  2.  
  3. 輸入 （
  4.  "ログ"  
  5.  「内部/サーバー」  
  6.  ） 
  7.  
  8. 関数main() {
  9.     srv := server.NewHttpServer( ":8080" )
  10.     ログに記録されます。致命的です(srv.ListenAndServe())
  11.  }

同時に、internal/server の下のモジュールを参照するには、go mod init cmd/server を使用して cmd/server の下で初期化し、go.mod ファイルに次の行を追加する必要があります。

  1.  internal/server を ../../internal/server に置き換えます

次に、go mod tidy コマンドを実行して、ローカル モジュールが指定されたディレクトリ変換に従ってモジュールを参照するようにします。最後に、go run main.go を使用してログ サービスを開始します。ここで、サーバーの可用性をテストする必要があります。また、ディレクトリ内にserver_test.goを作成し、テストコードを記述します。基本的なロジックは、サーバーにログ書き込み要求を送信し、次に読み取り要求を送信して、読み取られたデータが書き込んだデータと一致しているかどうかを比較することです。コードは次のとおりです。

  1. パッケージメイン
  2.  
  3. 輸入（
  4.  「エンコーディング/json」  
  5.  「ネット/http」  
  6.  「内部/サーバー」  
  7.  「バイト」  
  8.  「テスト」  
  9.  「io/ioutil」  
  10.  ） 
  11.  
  12. 関数 TestServerLogWrite(t *testing.T) {
  13.     var テスト = [] 構造体 {
  14.         リクエストサーバー.WriteRequest
  15.         want_response サーバー.WriteResponse
  16.     } {
  17.         {リクエスト: server.WriteRequest{server.Record{[]byte(`これはログリクエスト1です`), 0}},
  18.          want_response: server.WriteResponse{オフセット: 0, },},
  19.          {リクエスト: server.WriteRequest{server.Record{[]byte(`これはログリクエスト2です`), 0}},
  20.          want_response: server.WriteResponse{オフセット: 1, },},
  21.          {リクエスト: server.WriteRequest{server.Record{[]byte(`これはログリクエスト3です`), 0}},
  22.          want_response: server.WriteResponse{オフセット: 2, },},
  23.     } 
  24.  
  25.  _の場合、テスト:=範囲テスト{
  26.         //リクエストをJSON形式に変換し、ログサービスに投稿します
  27.         リクエスト:= &test.request
  28.         request_json、エラー:= json.Marshal(リクエスト)
  29.         err != nil の場合 {
  30.             t.Errorf( "リクエストをJSONに変換できませんでした" )
  31. 戻る  
  32.         } 
  33.  
  34.         応答、エラー:= http.Post( "http://localhost:8080" 、 "application/json" 、bytes.NewBuffer(request_json))
  35.         延期resp.Body.Close ()
  36.         err != nil の場合 {
  37.             t.Errorf( "http post リクエスト失敗: %v" , err)
  38. 戻る 
  39.         } 
  40.  
  41.         //ログサービスの戻り結果を解析する
  42.         本文、エラー:= ioutil.ReadAll(resp.Body)
  43.         var レスポンス サーバー.WriteResponse
  44.         err = json.Unmarshal([]byte(body), &response)
  45.         err != nil の場合 {
  46.             t.Errorf( "書き込み応答のアンマーシャルに失敗しました: %v" , err)
  47.         } 
  48.  
  49.         // 結果が期待される結果と一致しているかどうかを確認します
  50.         response.Offset != test.want_response.Offset {の場合
  51.             t.Errorf( "オフセット: %d を取得しましたが、必要なオフセット: %d" 、 response.Offset、 test.want_response.Offset)
  52.         } 
  53.  
  54.     } 
  55.  
  56.     var read_tests = []構造体{
  57.         リクエストサーバー.ReadRequest
  58.         server.ReadResponse が必要
  59.     } {
  60.         {リクエスト: server.ReadRequest{オフセット: 0,},
  61.         欲しいもの: server.ReadResponse{server.Record{[]byte(`これはログリクエスト1です`), 0}} },
  62.         {リクエスト: server.ReadRequest{オフセット: 1,},
  63.         欲しいもの: server.ReadResponse{server.Record{[]byte(`これはログリクエスト2です`), 0}} },
  64.         {リクエスト: server.ReadRequest{オフセット: 2,},
  65.         欲しいもの: server.ReadResponse{server.Record{[]byte(`これはログリクエスト3です`), 0}} },
  66.     } 
  67.  
  68.  _の場合、テスト:=範囲read_tests{
  69.         リクエスト:= test.request
  70.         request_json 、エラー:= json.Marshal(リクエスト)
  71.         err != nil の場合 {
  72.             t.Errorf( "読み取り要求を JSON に変換できませんでした" )
  73. 戻る  
  74.         } 
  75.  
  76.         //リクエストをjsonに変換し、GETリクエスト本体に挿入します
  77.         クライアント:= &http.Client{}
  78.         要求、エラー:= http.NewRequest(http.MethodGet、 "http://localhost:8080" 、bytes.NewBuffer(request_json))
  79.         必須ヘッダーを設定します( "Content-Type" 、 "application/json" )
  80.         応答、エラー:= client.Do(req)
  81.         err != nil の場合 {
  82.             t.Errorf( "読み取り要求失敗: %v" , err)
  83. 戻る  
  84.         } 
  85.  
  86.         //読み取り要求によって返された結果を解析する
  87.         延期resp.Body.Close ()
  88.         本文、エラー:= ioutil.ReadAll(resp.Body)
  89.         var 応答サーバー.ReadResponse
  90.         err = json.Unmarshal([]byte(body), &response)
  91.         err != nil の場合 {
  92.             t.Errorf( "読み取り応答のアンマーシャルに失敗しました: %v" , err)
  93. 戻る  
  94.         } 
  95.  
  96.         res := bytes.Compare(response.Record.Value、test.want.Record.Value) を返します。
  97.         res != 0 の場合 {
  98.             t.Errorf( "値: %q を取得しましたが、必要な値は : %q" 、 response.Record.Value、 test.want.Record.Value)
  99.         }
  100.     } 
  101.  
  102.  }

上記のコードが完成したら、go test を使用して実行します。結果は以下のようになります。

結果から、テストが合格したことがわかります。つまり、ログ サービスに書き込み要求を送信しても、読み取り要求を送信しても、得られる結果は期待どおりになります。要約すると、このセクションでは、JSON ベースの http 書き込み要求と読み取り要求を受信できるシンプルな JSON/HTTP ログ サービスを設計しました。今後はgPRC技術をベースにしたマイクロサービス開発技術についても学習していきます。

コードを取得する

https://github.com/wycl16514/golang_distribute_system_log_service.git

<<:  Techo Hubテクノロジーツアー北京駅がオープン、多くの専門家が「デジタル金融イノベーションと実践」の饗宴に参加

>>:  企業向けマルチクラウドコンピューティングのメリットとデメリット

推薦する

プロジェクトの本質は情報の非対称性であり、それがプロジェクトの成功の究極の鍵でもある。

ショートビデオ、セルフメディア、インフルエンサーのためのワンストップサービス2018年の春節は少し異...

マーケティングの悩み: インターネットの「diaosi」ユーザーへの対処方法

情報化時代におけるデータの急速な増加は、マーケティング担当者にとって困難な状況を生み出しています。数...

コロクロッシング春祭り 4.8% 生涯割引: VPS は年間 19.91 ドルから、ベアメタル クラウドは年間 80.64 ドルから (8g/4c 専用/120gssd/20t)

コロクロッシング傘下のクラウドサーバーブランドは現在、旧正月特別永久割引48%オフを提供しています。...

ASO 最適化丨トラフィック思考は決して死なない (アプリプロモーションへの道を探る)

この記事は、主に CEO や会社の幹部向けに書かれており、アプリのプロモーションに関する新しいアイデ...

組織がクラウドコンピューティングを使用してリモートワークを実現する方法

調査会社ガートナーの調査によると、新型コロナウイルスの流行により、74％の組織が従業員の一部を在宅勤...

県レベルポータルステーションの計画と運営に関する議論

現在、地域ポータルサイトは多くのウェブマスターに好まれており、ポータルサイトの構築を思いついた人も多...

CBC ホリデー マーケティングのルール: 母の日と子供の日のホットスポットを追う方法

2018年最もホットなプロジェクト：テレマーケティングロボットがあなたの参加を待っていますフェスティ...

ウェブサイトのスナップショットの3つの異なる形式の原因と解決策の簡単な分析

ウェブサイトのスナップショットは、ウェブマスターにとって常に関心事です。友好的なリンクの交換やウェブ...

budgetvm ビジネス プロファイル、VPS、サーバー

budgetvm は ENZU 傘下のホスト ブランドであり、具体的な運用は 2007 年に開始され...

仮想化について語る - カーネルとIO

[[211645]]序文時間は流れる水のように、あっという間に過ぎていきます。自分が仮想環境にいるの...

hudsonvalleyhost-40USD/E3-1240v3/8GB RAM/1TB HDD/10TB フロー

colocrossing.com コンピュータルームの直営ブランド Hudsonvalleyhost...

Oracle: オープンソースデータ戦略の台頭

Oracle は業界最大の単一データベースベンダーであり、クラウドコンピューティングとオープンソース...

zji: 香港 VDS (専用リソース)、450 元、16G メモリ/8 コア (Platinum 8352Y)/240g SSD/10M 帯域幅 (cn2+bgp)/無制限トラフィック/2IPv4

zji は、KVM 仮想化と専用リソースに基づく新製品シリーズ「Hong Kong VDS」を発表し...

10月の注目アプリは何ですか?支出額によるゲームとアプリのトップ10

10月に最も人気のアプリは何ですか?どの開発会社が資金援助者ですか? App Growing は、ネ...

SEO 職に応募する際に面接官に示すべき 3 つの輝かしいポイント

今日では、検索エンジンが常に新しいアルゴリズムを導入しており、今日の SEO ネットワーク プロモー...