evaluation
페이지 4개
PAPER·2026
The Agent Loop: A Survey
분석 단위를 모델에서 agent loop로 옮긴 서베이. 루프 모양, mechanics, trained loop, 스킬, harness를 묶고 통제 실험 4건으로 반증을 실측한다
↳ 20 agentsagent-loop
ARTICLE·2026
AI PRD는 무엇이 달라야 하는가 (article)
AI PRD는 단일 행동이 아니라 허용 가능한 답변의 범위와 판단 방법을 정의해야 한다는 글. Eval Plan, 3층 평가 피라미드, 회귀 테스트, 8가지 필수 항목, 가격 모델을 다룬다
↳ 4 prdeval
REPO·2024
Marker-Inc-Korea/AutoRAG (repo)
사용자의 QA와 corpus 데이터로 여러 RAG module 조합을 자동 평가해 최적 파이프라인을 고르는 RAG AutoML 도구. YAML 3계층 설정과 summary.csv 결과
↳ 2 ragautoml
PAPER·2025
Rethinking Retrieval (PwC)
SEC filing 1,200건과 150문항으로 vector 기반 agentic RAG와 계층 node-based RAG를 비교한 금융 실험
↳ 8 ragfinancial-qa