Project 03

한국 세무 AI 벤치마크 설계

맞다·틀리다로는 부족합니다. 무엇을 근거로 어떤 과정을 거쳐 답했는지 채점 가능하도록 했습니다.
Dataset
302문항 · 6도메인
회계·세무 실무 질문을 평가 문항으로 정리
→
Run Modes
closed-book / RAG / Agent
지식 접근과 도구 사용 조건을 나눠 비교
→
Grading
코드 채점 + 독립 LLM judge
정답 JSON과 외부 심사를 결합
→
Leaderboard
모델별 점수와 오류 유형
신뢰도 차이를 리더보드로 확인
평가 신뢰도를 높이는 통제 레이어
Grounding법령·기준서 근거 확인
Isolation레포·로컬 MCP 접근 차단
Holdout공개셋과 비공개셋 분리
회계·세무는 근거 조문, 계산 과정, 예외 조건, 도구 사용까지 특히 엄격성을 요구하는 도메인입니다.