どんな場面で検討するか
Microsoftのクラウド環境で生成AIアプリを組み立てる検討に。
組織で使う条件
Azureの課金・権限、モデルと地域・利用形態を確認。 生成品質、認可、データ送信、評価と本番監視を別々に確認。
採用前に試すこと
- 合成の社内質問20件と正解表を用意し、Azure地域、モデル、ID、データ接続を固定する。
- 正答・不明・アクセス権の異なる質問を試し、アクションは検証先だけに限定する。
- 出力品質、接続権限、監視記録、遅延と費用条件を同じ処理量で照合する。
合格と判断する条件
- 権限外の情報や操作が拒否され、回答20件の根拠を追える。
- モデル変更時の再評価、停止・監視・承認担当を定められる。
見落としたくない点
- 生成品質、認可、データ送信、評価と本番監視を別々に確認。
- 生成品質、認可、データ送信、評価と本番監視を別々に確認。
- 生成品質の確認と、実行アクションの認可・監視を分けられない場合は本番の自律実行を先に有効にしない。