Amazon Kinesis Dara Streamsのスループットエラーのトラブルシューティングについて

Amazon Kinesis Dara Streamsからデータを読み込んでいるとき、

ロットリングが発生して、定期的にエラーが出る場合。

 

●ストリームを再シャードして、シャードの数を増やす

シャードの数を増やすと、処理能力が向上し、スロットリング問題が軽減されます。

シャードの増加は、データ処理能力を向上させます。

 

●拡張ファンアウト機能を備えたコンシューマを使用する

拡張ファンアウト機能を利用すると、各コンシューマが専用の帯域幅を得ることができ、スロットリングが軽減されます。

 

●コンシューマロジックでエラーの再試行と、エクスポネンシャルバックオフメカニズムを使用する

これらを使用すると、負荷を分散することができます。

 

コンシューマとは?

・・・個人間の取引のこと。個人の消費者のこと

 

Exponential Backoffとは?

・・・リクエスト処理が失敗したとき、リトライする間隔を許容可能なハニで徐々に減らしていくアルゴリズムのこと