データは、モバイル アプリケーションや Web アプリケーションを使用して顧客が生成したログ ファイルの形式、商取引の購入、ゲーム プレーヤーのアクティビティ、その他多くのソースの形で、私たちの周りにあふれています。より具体的には、AWS Kinesis および Kafka サービスは、データのストリームを管理および制御し、SQL を使用して AWS ストレージ サービスに保存する準備にも利用されます。
このガイドでは、Kinesis と Kafka について詳しく説明します。
キネシスとは？
膨大な量のデータを管理することは、収集、保存、および分析を必要とする非常に複雑な仕事です。 AWS Kinesis サービスを使用して、この高スループットの情報を制御し、ユーザーがビジネス、組織、および顧客の最新情報を把握できるようにします。
キネシスのサービス
Kinesis は次のサービスで構成されます。
キネシス ストリーム : Kinesis ストリームは、低レイテンシーのストリーミング取り込みを大規模に提供します。
キネシス分析 : さまざまなリソースからデータをキャプチャし、SQL を適用してストリームのリアルタイム分析を実行するために使用されます。
キネシス消防ホース : ストリームを準備し、S3、Redshift、ElasticSearch などの AWS サービスに一貫してロードするために使用されます。
カフカとは？
Kafka は、パブリッシュとサブスクライブのメカニズムを使用してデータをストリーミングする分散メッセージ ストリーミング プラットフォームです。アマゾンの「 Apache Kafka のマネージド ストリーミング 」 (MSK) は、リアルタイム ストリーミング パイプラインの構築に使用されるフル マネージド サービスです。ただし、予測不可能で未知のワークロードの場合、プラットフォームによって Amazon MSK サーバーレスが導入されます。
Kafka のコアコンセプト
Kafka の中心的な概念のいくつかを以下に示します。
列 : 非同期メッセージを送受信するメカニズムを提供し、サービス間通信を提供します。
PubSub : これは非同期メッセージング サービスです。つまり、ユーザーがデータ ストリームを送信、受信、およびフィルター処理するのに役立ちます。
キネシスはカフカと同じですか?
Apache Kafka はオープンソースの PubSub メッセージング ソリューションであり、Kinesis は Kafka をモデルにしたマネージド AWS サービスです。 MSK はデータ (トピック) のキー値をパーティションに格納し、Kinesis はデータ レコードをシャードに格納します。 Kinesis と Kafka はどちらもほぼ同じサービスを提供するように設計されていますが、違いはファンアウトの概念にあります。
結論
要約すると、AWS Kinesis および Kafka サービスは、高スループットと低レイテンシーのワークロードの提供などのアクティビティを実行するように設計されています。 Kinesis は、AWS ストレージ サービスでのデータのストリーミングと保存を利用して、ビッグ データを管理するために使用されます。 Amazon MSK は、キューイング メカニズムも使用する PubSub メッセージング ストリーミング サービスです。