Prompt Testing & Evaluation

概要

プロンプトのテスト、評価、反復改善を専門とするスキル。テスト設計、A/Bテスト、LLM-as-Judge自動評価、評価メトリクス分析を通じて、本番環境で信頼性の高いプロンプトを実現します。

ワークフロー

Phase 1: テスト設計

目的: プロンプトのテストケースと評価基準を設計

Task: agents/test-design.md

入力:

• プロンプト
• 期待動作の概要
• 評価観点

出力:

• テストケース一覧（正常系・異常系・エッジケース）
• 評価ルブリック（スコアリング基準）
• テスト実行計画

実行タイミング: 新規プロンプト作成時、プロンプト改善前

Phase 2: 評価実行

目的: 設計に基づきテストを実行し、スコアを算出

Task: agents/evaluation-execution.md

入力:

• Phase 1 のテストケースとルブリック
• プロンプトバージョン（A/Bテスト時は複数）

出力:

• スコアリング結果
• A/Bテスト結果（統計的有意性含む）
• 評価ログ

実行タイミング: テスト設計完了後、プロンプト比較時

Phase 3: 分析・改善

目的: 評価結果を分析し、改善提案と次イテレーションを計画

Task: agents/analysis-improvement.md

入力:

• Phase 2 のスコアリング結果
• A/Bテスト結果
• 評価ルブリック

出力:

• 分析レポート（弱点・傾向）
• 改善アクションプラン
• 次イテレーションのテスト計画

実行タイミング: 評価完了後、改善サイクル開始時

Task仕様

詳細仕様: 各Taskの詳細は agents/ ディレクトリを参照

• agents/test-design.md
• agents/evaluation-execution.md
• agents/analysis-improvement.md

ベストプラクティス

すべきこと

• テスト実行前に期待値と評価基準を定義（テストファースト）
• 正常系・異常系・エッジケースを網羅的に設計
• A/Bテストで統計的有意性を確保（N≥30）
• LLM-as-Judgeを活用したスケーラブルな自動評価
• 継続的改善サイクル（PDCA）を確立
• すべての評価結果をログに残す

避けるべきこと

• 評価基準なしのテスト実行
• サンプルサイズ不足のA/Bテスト
• 主観的・非再現的な評価
• 改善せずに同じテストを繰り返す
• 盲検評価を怠る（バイアス混入）

リソース参照

references/（詳細知識）

scripts/（決定論的処理）

assets/（テンプレート）

変更履歴