Promptfoo

Promptfooは、LLM/AIアプリケーションの評価とred teamingを自動化するOSSのCLI/ライブラリである。企業運用では「評価が通った」という結果だけを見るのではなく、target、test corpus、assertion、grader、Promptfoo version、provider/model revision、red-team plugin/strategy、data flowを固定した再現可能な証拠として扱う。

2026年10月20日時点でauthor-maintained repositoryのrelease manifestとGitHub Releasesは0.124.1を示す。0.124.0（2026-10-06）ではhosted ChatKit provider削除や複数SDK/providerのopt-in化などbreaking changesが入り、0.124.1（2026-10-08）ではassertion gradingやprovider関連の修正・追加が続いている。評価harness自体の変更がexecution pathやscoreへ影響し得るため、結果artifactにはPromptfoo versionを固定する。

Promptfooは決定論的assertionとmodel-graded evaluationを同じsuiteに組み込めるが、両者は同じ証拠ではない。JSON/schema/equality/regex等の決定論的判定は固定入力に対して比較的再現しやすい。一方、LLM-as-judge等のmodel-graded判定はgrader model、provider、rubric、threshold、sampling、provider側更新の影響を受ける。

CI gateでは少なくとも、deterministic assertionのpass/fail、model-graded assertionのscore/pass/fail、provider/transport/runtime error、skipped/unsupported case、target model、grader model、Promptfoo version、corpus/config hashを分離して記録する。

greenになったsuiteは「その構成・そのtest envelopeで合格した」という観測であり、品質、安全性、法令適合、本番SLOの包括保証ではない。

Promptfooのred teamingはplugin、strategy、target、attack generation、gradingを組み合わせる。結果は選択したplugin/strategy、attempt数、生成model、grader、target interface、生成corpusに依存する。

したがって「red teamで脆弱性が見つからなかった」を「脆弱性がない」と表現しない。未選択plugin、未探索attack path、multi-turn条件、tool/RAG権限、production-only contextは別のfailure envelopeとして残す。

比較時はplugin/strategy set、generated corpus、target version、grader、attempt limitを固定または差分記録する。構成を変えた前後の単純なpass rate差をモデル品質差へ直結させない。

Promptfooのrepositoryはlocal evaluationを主要特性として掲げるが、実際のdata boundaryはtarget/provider構成に依存する。外部LLM APIをtargetまたはgraderとして使えば、その入力は当該providerへ送られる。Cloud共有、hosted機能、telemetry等を利用する構成も、単にCLIをlocal起動したことだけでは閉域と判定できない。

機密用途では、target、generation、grading、embedding/moderation、telemetry、update check、Cloud機能のegressを個別にinventoryし、network observationでreadbackする。promptや評価fixtureへ本番credentialや実顧客データを無条件投入しない。

0.124.0ではprovider/dependency構成にbreaking changesが入った。0.124.1でもassertion処理のbug fixやprovider追加が行われている。このため旧調査時点の0.123.1をlatestとして固定し続けない。

CIではversion pinとupgrade regressionを分離する。upgrade時は同一corpus、同一target/grader条件で旧versionと新versionを比較し、harness変更によるscore drift、provider loading、assertion semantics、error classificationの差を確認する。

author-maintained repositoryは現在、PromptfooがOpenAIの一部になったことと、OSS/MIT licensingを継続することを掲示している。これは組織所有関係の変更であり、個別providerの独立性、将来roadmap、契約条件を推測する根拠にはしない。

• Promptfoo versionをlockfile/container imageと結果artifactへ記録する。
• target model/provider revision、grader、prompt/config、test corpus、assertion threshold、red-team plugin/strategyをversioned artifactとして保存する。
• deterministic assertionとmodel-graded assertionを別集計する。
• provider error、timeout、rate limit、grader errorを品質failureと混同しない。
• red-team generated corpusを保存し、filtered rerunで分母が変わった場合は別runとして扱う。
• external/hosted inferenceを許可する環境と閉域環境を分離し、egress destinationを観測する。
• telemetry/update check/Cloud sharingを組織policyに応じて明示設定・検証する。
• upgrade時は同一corpusでregressionを実施し、harness変更によるscore driftを確認する。
• custom JS/Python provider/assertion等の実行コードは通常のsupply-chain/code-review対象として扱う。
• 評価artifactに実行日時、config/corpus hash、target/grader識別子を残す。

評価harnessをversion固定しても、grader modelやtarget providerが外部サービスで継続更新される場合、完全なbit-for-bit再現性は保証できない。必要に応じてresponse fixture、model snapshot/revision、provider revision、実行日時を保持する。

公式repositoryやrelease noteは製品機能と変更履歴の主要根拠になるが、Promptfooが他のevaluation frameworkより高い脆弱性検出率や判定妥当性を持つことを独立に証明するものではない。DeepEval、RAGAS、Inspect AI等との比較は同一corpus・grader・metric条件で別途評価する。

• Enterprise契約/SLA、tenant固有のretention、RBAC、region、support条件。
• hosted/Cloud機能のversion別data-flow matrix。
• 各graderのorganization-specificな妥当性とinter-rater agreement。
• DeepEval、RAGAS、Inspect AI等との同条件での独立比較。
• target/provider側の非公開更新が長期score比較へ与える影響。

PromptfooはLLM/AIアプリの評価・red-teamを構成可能なOSS harnessである。pass/failやred-team scoreは、固定したtest corpus、assertion、grader、target、Promptfoo version、plugin/strategyの範囲で得られた観測であり、品質・安全性・法令適合・本番SLOの包括保証ではない。機密用途では実際のegressとdeployment modeを確認する。

• promptfoo/promptfoo, author-maintained GitHub repository, accessed 2026-10-20: https://github.com/promptfoo/promptfoo
• promptfoo/promptfoo Releases, 0.124.1 (2026-10-08), 0.124.0 (2026-10-06), accessed 2026-10-20: https://github.com/promptfoo/promptfoo/releases
• promptfoo/promptfoo .release-please-manifest.json, main shows 0.124.1, accessed 2026-10-20.
• Existing EA-175 formal supplement/provenance: Drive document 1Pex_pGEmYlGDAdgBZ_hxXc1a-PjS-PlRZ-KRJfKBO_w; prior research as-of 2026-09-29.