Amazon MSKとは？データを高速に中継し分析する

前提：Apache Kafkaとは

Apache Kafkaとは、ログ、センサーなどIot機器のストリーミングデータを高速に中継保管し、処理サーバへ受け渡す機能というイメージとなります。

分散データストリーミング・プラットフォームで、レコードのストリームをリアルタイムで公開、サブスクライブ、保存、処理できます。複数のソースからデータストリームを処理し、複数のコンシューマーに配信することに特化しており、ただ A から B に動かすのではなく、A から Z までの複数の地点、および必要なあらゆる場所に、同時に大量のデータを移動させることが可能で、パイプラインの役割とアプリケーションを構築するためのオープンソースプラットフォームとして使用されます。

Amazon MSKとは？

Amazon MSK は、Apache Kafka をストリーミングデータの処理に使用するアプリケーションを簡単に構築および実行できようにする完全マネージド型のサービスです。また、ネイティブ Apache Kafka API を使用し、データレイクへの入力、データベースとの間での変更のストリーミング、機械学習および分析アプリケーションの強化を行うことができます。

Amazon MSKの利点

・完全互換

Apache Kafka の実行を管理、自動で行います。これにより、アプリケーションコードを変更しなくても、AWS で既存の Apache Kafka アプリケーションを簡単に移行して実行することができるようになります。

・フルマネージド型

Apache Kafka 環境を管理する運用上のオーバーヘッドについて心配しなくても、ストリーミングアプリケーションの作成に集中できます。Amazon MSK は、ApacheKafka クラスターと Apache ZooKeeper ノードのプロビジョニング、設定、メンテナンスを自動的に管理します。主要な Apache Kafka パフォーマンスメトリクスも AWS コンソールに表示されます。

・伸縮自在なストリーム処理

Apache Flink は、オープンソースの強力なストリーム処理フレームワークです。ストリーミングデータのステートフル計算向けに使用できます。SQL、Java、Scala で作成されたフルマネージド型の Apache Flink アプリケーションを Amazon MSK 内で実行し、データストリームを処理するために伸縮自在にスケールできます。

・高い安全性

VPC ネットワーク分離、コントロールプレーン API 認可用の AWS IAM、保管時の暗号化、転送時の TLS 暗号化、TLS ベースの証明書認証、AWS Secrets Manager によって保護された SASL/SCRAM 認証など、Apache Kafka クラスターに複数レベルのセキュリティを提供しています。

参考資料
https://aws.amazon.com/jp/msk/
https://www.redhat.com/ja/topics/integration/what-is-apache-kafka