はじめに
本日Amazon Bedrock(以降、Bedrock)が大阪リージョンで利用可能となりました。
いくつか調査した内容をお伝えできればと思います。
https://aws.amazon.com/jp/about-aws/whats-new/2025/02/amazon-bedrock-hyderabad-osaka-regions/
なにができるの?
コンソール画面を確認
大阪リージョンに切り替えて、Bedrockのコンソール画面を開きます。
ナレッジベースやエージェント、フローなどはまだ利用出来ないようですね。
東京リージョンにBedrockが対応した直後を思い出します。
機能が充実してくることを楽しみに待っております!
利用出来る機能としては、LLMモデルの呼び出しやガードレール機能といった最低限の機能だけのようです。
新リージョンにBedrockが登場したらまずやることは何でしょう。
そうです、ログ設定ですね!忘れずにログの設定を行なっておきましょう。
対応モデル
利用可能なモデルについて確認してみましょう。
AnthropicのClaude 3.5 Sonnet v2のみのようですね。
ではモデルアクセスより有効化の作業を行いましょう。
申請後すぐにステータスが「アクセスが付与されました」に変更されました。
モデル名の横に「Cross-region inference(クロスリージョン推論)」と記載があるかと思います。
こちらのモデルはクロスリージョン推論を通してのみ使用できるものとなります。
余談ですが、ほぼ同じタイミングで東京リージョンでもClaude 3.5 Sonnet v2が利用出来るようになっていました。すぐにモデル有効化を行いましたが、こちらもクロスリージョン推論のみとなります。
有効化が済みましたので、プレイグラウンドのページより試してみます。
推論も「推論プロファイル」のみしか選択出来ないようになってますね。
大阪リージョンで利用出来る喜びの声を聞いてみました。
ハレシネーションってますが、一旦目を瞑りましょうw
さてお待ちかねログの確認です。
CloudWatch Logsより確認したところ、クロスリージョン推論によって呼び出されてることが分かります。ルーティング先としては、どうやらシドニーリージョンのようです。
何度かリクエストを送ってみたのですが、シドニーリージョンにしかルーティングされなかったため少しクロスリージョン推論について深掘りしてみます。
クロスリージョン推論について
アジアリージョン(APAC)にて利用出来るモデル一覧を整理します。(2025/2/21時点)
boto3よりlist_foundation_modelsを実行して、リージョン毎に一覧化しました。
(PROVISIONEDモードは除外しております)
リージョン名 | モデル名 | サポート推論タイプ |
---|---|---|
東京(ap-northeast-1) | Claude 3 Haiku | オンデマンド |
東京(ap-northeast-1) | Claude 3.5 Sonnet | オンデマンド |
東京(ap-northeast-1) | Claude 3 Sonnet | 推論プロファイル |
東京(ap-northeast-1) | Claude 3.5 Sonnet v2 | 推論プロファイル |
ソウル(ap-northeast-2) | Claude 3.5 Sonnet | オンデマンド |
ソウル(ap-northeast-2) | Claude 3 Haiku | オンデマンド |
ソウル(ap-northeast-2) | Claude 3 Sonnet | 推論プロファイル |
ソウル(ap-northeast-2) | Claude 3.5 Sonnet v2 | 推論プロファイル |
大阪(ap-northeast-3) | Claude 3.5 Sonnet v2 | 推論プロファイル |
ムンバイ(ap-south-1) | Claude 3 Sonnet | オンデマンド |
ムンバイ(ap-south-1) | Claude 3 Haiku | オンデマンド |
ムンバイ(ap-south-1) | Claude 3.5 Sonnet | 推論プロファイル |
ムンバイ(ap-south-1) | Claude 3.5 Sonnet v2 | 推論プロファイル |
シンガポール(ap-southeast-1) | Claude 3 Haiku | オンデマンド |
シンガポール(ap-southeast-1) | Claude 3.5 Sonnet | オンデマンド |
シンガポール(ap-southeast-1) | Claude 3 Sonnet | 推論プロファイル |
シンガポール(ap-southeast-1) | Claude 3.5 Sonnet v2 | 推論プロファイル |
シドニー(ap-southeast-2) | Claude 3 Sonnet | オンデマンド |
シドニー(ap-southeast-2) | Claude 3 Haiku | オンデマンド |
シドニー(ap-southeast-2) | Claude 3.5 Sonnet | 推論プロファイル |
シドニー(ap-southeast-2) | Claude 3.5 Sonnet v2 | オンデマンド,推論プロファイル |
boto3のモデル一覧結果としては、シドニーリージョンのみ推論タイプが複数記載されていました。
ただ実際には、オンデマンドに対応しているリージョンでは推論プロファイルにも対応しているかと思います。ドキュメントにも記載があるのと、APACのBedrockのコンソール画面から全て確認し まとめた結果が下記図となります。
大阪リージョン以外の傾向になりますが
・Claude 3 Haiku:全てのリージョンでオンデマンド/クロスリージョン推論が利用可能
・Claude 3 Sonnet/Claude 3.5 Sonnet:クロスリージョン推論のみのリージョンが存在
-> ちょうど対になってますね。分散させてる形でしょうか。
下記は大阪リージョンも加わりまして
・Claude 3.5 Sonnet v2:シドニー以外全てクロスリージョン推論
調査過程でクロスリージョン推論の仕組みを理解出来たのですが
上記で調べた通り、Claude 3.5 Sonnet v2がAPACの中でオンデマンドで利用可能なのはシドニーリージョンのみになります。そのためルーティング先のリージョンはシドニーのみとなるようです。
またその際に、ルーティング先のリージョンにおいてモデルの有効化作業は不要のようです。
https://aws.amazon.com/jp/blogs/machine-learning/getting-started-with-cross-region-inference-in-amazon-bedrock/
Claude 3.5 Sonnet v2を東京や大阪リージョンから呼び出すことは可能ですが、しばらくはシドニーリージョンのみにルーティングされないようです。
1つのリージョンのままではあまり分散の意味がないので、早く複数のリージョンにルーティングされるようになるといいですね!
Bedrock新モデルお知らせ君
Bedrockに新しいモデルが追加されたタイミングで、Slackに通知を送るバッチを動かしております。
その名も「Bedrock新モデルお知らせ君」です。
これまで全リージョンはお知らせ対象にしておらず、下記のリージョンのみ対象としておりました。
・バージニア北部(通称:バー北)
・オレゴン
・東京
大阪リージョンが加わったことで、「Bedrock新モデルお知らせ君」のソースコードを修正しました。
動作確認を実施し、きちんとSlackに通知が飛んできました。
新しいモデルが追加されてガンガンSlackの通知が来るのを待ってます!
余談ですがAWS ChatbotのアイコンがAmazon Qに変わってますね。
おわりに
大阪リージョンにてBedrockが利用可能となったため色々と調査しておりましたが
クロスリージョン推論について深掘り出来たことは収穫でした。
私個人としての熱い要望は下記になります。
・大阪リージョンでもRAGやエージェントが使えるようになると国内リージョンでの幅が広がり嬉しい!
・まずはAPAC内にて、Claude 3.5 Sonnet v2のルーティング先に東京含む複数のリージョンも含まれて欲しい
・さらに欲をいうと、APACでなく国内リージョンの東京/大阪リージョンのみのクロスリージョン推論が可能になると非常にありがたいですね。
国内リージョンのみでしか利用できないお客様もいらっしゃるため、そのような機能が増えれば非常に嬉しいです。
最後に、Bedrockを利用した生成AIアプリ開発やその他お困りのお客様、是非スカイアーチまでご相談ください!
投稿者プロフィール
-
2021/2にスカイアーチネットワークスにJoin。
(前職ではAIのシステム開発やPoCなどを主に担当)
2024 Japan AWS Top Engineers (Services)
2024 Japan AWS All Certifications Engineers
現在の業務では主にクラウドネイティブなWebアプリケーション/APIのインフラ構築から開発まで幅広く担当。
好きなAWSサービス:AWS CDK、Amazon Bedrock
趣味:読書と競馬鑑賞