10月31日(土)AI・LLMモデルAIエージェント
LLMエージェントの評価指標に新手法
フィードバックを活用して回答を改善する能力を定量化する評価手法Seq@Kを発表しました。
従来の指標Pass@Kは「一度で正解を出す能力」を測るものであり、エージェント型AIが実務で求められる「試行錯誤しながら精度を高める能力」を捉えられていませんでした。この新指標の登場は、AIモデルの選定・調達・システム設計の判断基準に影響を与える可能性があります。エージェントAIの導入・評価に関わるIT部門や調達担当者にとって、自社の評価基準を見直す際の参照点となりえます。
