分散トランザクション - 信頼性の高いメッセージ最終一貫性ソリューション

[[405809]]

みなさんこんにちは。私はバスケットボールが大好きなプログラマーのウルフキングです。

よく言及される ACID など、トランザクションはおそらく誰にとっても馴染み深いものでしょう。ただし、分散トランザクションのその後の内容については、まず ACID について説明し、次に分散トランザクションとは何かを紹介し、最後に信頼性の高いメッセージに基づく分散トランザクションソリューションに焦点を当てます。

取引とは何か

厳密に言えば、トランザクションには、ACID と呼ばれる原子性、一貫性、独立性、耐久性が必要です。

アトミック性とは、トランザクション内のすべての操作が実行される、または実行されない、という意味です。
一貫性は、データが整合性制約を満たすこと、つまりデータの中間状態が存在しないことを意味します。たとえば、あなたの財布に 100 元があり、私の財布にも 100 元があり、あなたが私に 50 元を送金した場合、あなたの財布のお金は 50 元になり、私の財布のお金は 150 元になります。私のお金は追加されるが、あなたのお金は差し引かれないといった中間状態は発生しません。
分離とは、複数のトランザクションが同時に実行されたときに互いに干渉しないことを意味します。つまり、トランザクション内のデータは他のトランザクションから分離されます。
耐久性とは、トランザクションが完了した後、データが永久に保存され、その後の他の操作や障害がトランザクションの結果に影響を与えないことを意味します。

一般的な意味では、トランザクションは、一部の更新操作が成功または失敗することを保証するように設計されています。

分散トランザクションとは何か

名前が示すように、分散トランザクションは分散システムで実装されます。それらは実際には複数のローカルトランザクションで構成されています。

大規模な操作は、異なるサーバーに分散されたさまざまな小さな操作で構成されます。分散トランザクションでは、これらの小さな操作がすべて成功するか、すべて失敗するかを保証する必要があります。本質的に、分散トランザクションは、異なるデータベース間でのデータの一貫性を確保するように設計されています。

一般的な分散トランザクションソリューションには、2PC、3PC、TCC、ローカルメッセージテーブル、信頼性の高いメッセージの結果整合性、ベストエフォート通知などがあります。

今日は、信頼性の高いメッセージの結果一貫性のソリューションに焦点を当てます。

信頼性の高いメッセージ最終整合性ソリューションとは何ですか?

信頼性の高いメッセージ最終整合性ソリューションとは、トランザクションイニシエーターがローカルトランザクションを完了し、メッセージをメッセージミドルウェアに送信すると、トランザクション参加者 (メッセージコンシューマー) が確実にメッセージを受信し、トランザクションを正常に処理することを意味します。このソリューションは、メッセージがトランザクション参加者に送信されている限り、トランザクションは最終的に一貫性を保つことを強調しています。

このアプローチの問題点は何でしょうか?

このソリューションは、メッセージミドルウェアを通じて実装されます。トランザクションイニシエーター (メッセージプロデューサー) はメッセージをメッセージミドルウェアに送信し、トランザクション参加者はメッセージミドルウェアからメッセージを受信します。ネットワーク通信の不確実性により、次の図に示すように、分散トランザクションの問題が発生する可能性があります。

1. ローカルトランザクションとメッセージの原子性の問題

上記の点線ボックスに示すように、次のような状況があります。

1) ローカルトランザクションがコミットに失敗した場合、メッセージは送信されません。
2) ローカルトランザクションは成功し、メッセージの送信は失敗し、ローカルトランザクションはロールバックされます。
3) ローカルメッセージは成功し、メッセージはタイムアウトし、ローカルトランザクションはロールバックされ、最終的にメッセージは失敗します。
4) ローカルメッセージは成功し、メッセージがタイムアウトし、ローカルトランザクションはロールバックされ、最終的にメッセージが成功します。

まとめると、ローカルトランザクションがメッセージ参加者のトランザクションと矛盾する 4 番目の状況があります。

2. メッセージを受信するトランザクション参加者の信頼性。

メッセージミドルウェアとトランザクション参加者は、メッセージを正常に使用できることを確認する必要があります。

3. メッセージの繰り返し消費

トランザクション参加者のインターフェースのべき等性に注意してください。メッセージ参加者はメッセージを正常に消費した可能性がありますが、ネットワークの問題により、メッセージミドルウェアはメッセージが消費されていないと判断し、再試行が発生する可能性があります。

解決

1. ローカルメッセージテーブル

ローカルメッセージテーブルの鍵となるのは、メッセージログをローカルに保存するためのレコードテーブルがあることです。メッセージを送信できることを確認するには、メッセージログレコードを継続的にスキャンするスケジュールされたタスクを開始する必要があります。具体的なプロセスは以下のとおりです。

上記のプロセス:

1) トランザクションイニシエーターのローカルトランザクションが正常に実行され、メッセージログがローカルメッセージテーブルに記録されます。
2) スケジュールされたタスクを開始し、ローカルメッセージテーブルを周期的にスキャンします。
3) スケジュールされたタスクがメッセージをスキャンすると、そのメッセージがメッセージミドルウェアに送信されます。
4) メッセージミドルウェアはメッセージを受信し、トランザクションイニシエーターに成功を通知するメッセージを返します。
5) トランザクションイニシエーターは、正常に送信されたメッセージを受信すると、ログメッセージを削除します。
6) トランザクション参加者はメッセージをサブスクライブして消費します。
7) 取引参加者は現地での事務処理を行います。
8) ローカルトランザクションが正常に処理され、成功確認がメッセージミドルウェアに送信されます。

注意点:

トランザクション参加者はインターフェースの冪等性を保証します。

2.RocketMqトランザクションメッセージソリューション

Apache RocketMQ 4.3 以降のバージョンでは、トランザクションメッセージが正式にサポートされており、分散トランザクションの実装に便利なサポートが提供されます。 RocketMQ 4.3 以降では、完全なトランザクションメッセージが実装されました。実際、これはローカルメッセージテーブルのラッパーです。プロデューサー側でのメッセージ送信とローカルトランザクション実行の原子性問題を解決するために、ローカルメッセージテーブルが MQ 内に移動されます。

実装プロセス:

1) トランザクションイニシエーターはハーフトランザクションメッセージを送信する
2) RocketMqは、半分が正常に送信されたと応答します。
3) トランザクションイニシエーターがローカルトランザクションを実行する
4) トランザクションイニシエーターはローカルトランザクションを正常に実行し、RocketMq にコミットを送信し、mq はメッセージをトランザクション参加者に配信します。トランザクションイニシエーターはローカルトランザクションの実行に失敗し、RocketMq にロールバックを送信し、mq はメッセージを削除します。
5) RocketMq は、一定期間内に取引開始者から確認情報を受信しなかった場合、取引開始者に対して取引の審査を実施します。
6) トランザクションイニシエーターはローカルトランザクションのステータスを照会します。
7) トランザクションイニシエーターは、照会されたトランザクションステータスに基づいて、RocketMq にコミット/ロールバックを送信します。
8) RocketMq がコミットを開始すると、コミットが失敗するか、一定時間内に正常な ACK を受信しなかった場合、再試行を開始します。