どんな場面で検討するか
自社データから予測・分類モデルを学習し、評価結果とモデル版を管理してアプリに提供したい場合。現行の SageMaker はデータ・分析・AI の広い基盤名であり、この掲載の機械学習開発・学習・推論は SageMaker AI の領域として比較する。
組織で使う条件
学習データ・コード・パラメータ・評価データ・モデル版を結び付けて保存し、本番への昇格基準と前モデルへの切戻しを決める。 推論の品質劣化、処理時間、利用量、端末・ジョブの終了、IAM・ネットワークの制限を管理する。モデルの精度が一度合格しても実業務への適合済みとは扱わない。
採用前に試すこと
- 比較する単純な基準モデルと評価指標を定め、固定シードの合成データで学習ジョブを実行する。
- バッチまたは予定する推論方式で正常・境界・欠損入力を処理し、基準モデルと品質・時間を比較する。
- 別モデルへ更新して前版へ戻す手順を試し、不要な開発環境・推論エンドポイントを終了して費用内訳を確認する。
合格と判断する条件
- 分割した評価データが学習に混入せず、特徴量・コード・パラメータ・モデルの生成物を再現できる。
- 事前に決めた誤判定の許容条件を満たし、不正入力を成功した予測に置換しない。モデル版と入力条件を結果に結び付けられる。
- 前モデルの出力を再現でき、稼働を続ける対象と停止した対象を確認できる。学習費と月次推論・保存費を分けて説明できる。
見落としたくない点
- 完成済みモデルを API で呼ぶだけなら、専用 AI API や Bedrock 等と構築・評価・運用負荷を比較する。データの権利やラベル品質が未整理なまま学習基盤だけを導入しない。 推論頻度が少ない処理に常設エンドポイントを選ぶ前に、バッチや Serverless の対応条件を確認する。GPU・レイテンシー・モデル容量等で方式の適合が異なる。
- 完成済みモデルを API で呼ぶだけなら、専用 AI API や Bedrock 等と構築・評価・運用負荷を比較する。データの権利やラベル品質が未整理なまま学習基盤だけを導入しない。
- 推論頻度が少ない処理に常設エンドポイントを選ぶ前に、バッチや Serverless の対応条件を確認する。GPU・レイテンシー・モデル容量等で方式の適合が異なる。
根拠となる資料
The center for all your data, analytics, and AI – Amazon SageMaker