概要
IoT big data pipeline for serverless analytics and anomaly detectionセッションを受講しました
講演者: Gabriel Ramírez
https://aws.amazon.com/jp/developer/community/heroes/gabriel-ramirez/
セッションは大きく下記2つのパートに分かれ話されていました。
- StreamingDataProcessiong
- アーキテクチャ
- デモ1
- KinesisDataPipelineを作成
- KinesisDataGeneratorを利用してデータを流し込みS3へ保存出来ているか確認
- デモ2
- AWS Connected Vehicle Solutionについて実際に動いている動画の紹介
車のエンジンをOnにして...場所や速度のデータがリアルタイムに近いかたちで飛んでくる様子
また、GeoFencingを設定して、特定区域から出たらアラートを鳴らす等を見る事ができました。
- AWS Connected Vehicle Solutionについて実際に動いている動画の紹介
参考リンク
- KinesisDataGeneratorの利用方法
https://aws.amazon.com/jp/blogs/news/test-your-streaming-data-solution-with-the-new-amazon-kinesis-data-generator/ - AWS Connected Vehicle Solution
https://docs.aws.amazon.com/ja_jp/solutions/latest/connected-vehicle-solution/overview.html
セッションについて
StreamingDataProcessingで問題になる事
- Retry
- Too many requests
- Throttling
- ServerOutOfMemory
どのようなアーキテクチャでクリアするか
EC2 Pattern
Serverless Pattern
ReliableServerless Pattern
間にキューを挟む事により...
Streaming and Real-time data systems
ストリーミングデータをリアルタイムに処理するためには Amazon Kinesis を利用する事がベスト
Kinesisの基本的な概念であるThroughputやShard設定等について触れた上でKinesisのAnormalyDetect (RANDOM_CUT_FOREST) に関して触れられていました。
例: ストリームでデータの異常を検出する (RANDOM_CUT_FOREST 関数)
https://docs.aws.amazon.com/ja_jp/kinesisanalytics/latest/dev/app-anomaly-detection.html
AWS Connected Vehicle Solutionでの利用例
車から発信された情報が、AWS IoT経由で入ってきてその後、どのようにデータベースに保管されるか(リアルタイムで異常検知を実施した上で)
という事が記載されています。
デモ動画が面白かったのですが、見つけられず...
詳細は下記リンク先に詳しく記載されていました
https://docs.aws.amazon.com/solutions/latest/connected-vehicle-solution/architecture.html