どんな場面で検討するか
プロンプトやモデルの挙動を、小さな合成素材で確かめる検討に。
組織で使う条件
プロジェクト、API利用条件、料金とデータの取り扱い条件を確認。 試行と本番評価を区別。APIキーをクライアント側へ埋め込まない。
採用前に試すこと
- 合成の抽出課題20件と正解表を作り、モデル・設定・入力形式とプロジェクトを固定する。
- プロンプトとAPI接続を試し、正答・不明・エラー、キーの保管とデータ送信を確認する。
- 正解率・遅延・レビュー時間、試行枠と本番APIの利用条件を比較する。
合格と判断する条件
- 20件の出力と不明・エラーを照合でき、公開資産へAPIキーを含めない。
- 試行と本番の条件差、費用単位と運用担当を特定できる。
見落としたくない点
- 試行と本番評価を区別。APIキーをクライアント側へ埋め込まない。
- 試行と本番評価を区別。APIキーをクライアント側へ埋め込まない。
- 試行画面での成功を本番性能の保証にしたり、APIキーを公開クライアントへ埋め込む構成には向かない。