검증과 게이트Review gates

llm-verdict-gate

리뷰 게이트가 판정 줄 없이 침묵으로 통과하지 못하게 하는 검사기입니다. 판정이 없으면 실패로 처리합니다.

어떤 문제를 푸나The problem

품질 게이트의 통과 조건이 '해당 섹션이 있다'이면 그 게이트는 절대 실패하지 않습니다. 에이전트 파이프라인을 12사이클 돌리는 동안 가장 흔했던 우회는 반박이 아니라 판정 칸을 비워 둔 채 다음 단계로 넘어가는 것이었습니다.

이 도구는 QA 보고서를 읽어서 허용된 심사자가 쓴 명시적 판정(PASS 또는 FAIL) 한 줄이 있을 때만 통과로 인정합니다. 설정이 잘못됐거나 파일이 없을 때는 통과가 아니라 입력 오류(종료 코드 2)로 끝납니다.

이런 분께 맞습니다Who it is for

AI 에이전트나 사람이 채우는 리뷰·QA 보고서에 게이트를 걸어 둔 팀, 게이트가 항상 통과한다고 느끼는 사람.

무엇을 하나What it does

판정 줄이 없거나 '좋아 보임' 같은 자유 서술이면 실패로 처리합니다.
같은 게이트에 라운드가 여러 번 있으면 마지막 판정이 이기고, 하위 라운드의 FAIL이 앞선 PASS에 가려지지 않습니다.
제목 매칭에 앵커를 걸어 '2026-08-12' 같은 날짜가 섹션 번호로 읽히지 않습니다.
심사자 이름은 허용 목록에 있는 역할이어야 하고, 작성자 역할은 거부합니다. 이름은 자기 신고라서 깜빡함은 막아도 거짓말은 못 막습니다.
열린 발견 건수(closure) 줄과 라운드 상한을 강제하고, 건수 줄이 아예 없으면 실패입니다.

직접 돌려 본 출력Real output

저장소의 examples 폴더를 실행한 결과입니다.

$ bash examples/demo.sh
# A report whose every gate has an explicit verdict from an eligible judge
$ node scripts/check-verdicts.mjs tests/fixtures/good.md --config tests/gates.example.json
tests/fixtures/good.md: verdict check

  [PASS] greybox-fun
  [PASS] final-polish

All required gates PASS.
[exit 0]

# A report with a long, enthusiastic section and no verdict line: silence is FAIL
$ node scripts/check-verdicts.mjs tests/fixtures/prose_only.md --config tests/gates.example.json
tests/fixtures/prose_only.md: verdict check

  [FAIL(no verdict)] greybox-fun: last round has no "Verdict: PASS|FAIL" line (prose does not count)
  [FAIL(no closure line)] final-polish: this gate requires a closure count line (regex new\s+consensus\s+findings?\s*[:=]?\s*(\d+)) and none was found

알아둘 한계Limits

심사자 이름은 보고서에 적힌 글자일 뿐 인증된 신원이 아닙니다.
판정이 존재하고 자격이 맞는지만 확인합니다. 리뷰의 질은 판단하지 않습니다.

받아서 쓰기Get it

# 저장소를 받습니다
git clone https://github.com/Kein-chronicle/llm-verdict-gate.git

# Claude Code 스킬로 쓰려면 이 폴더 이름으로 받습니다
git clone https://github.com/Kein-chronicle/llm-verdict-gate.git ~/.claude/skills/verdict-gate

정보Info

분류Category: 검증과 게이트Review gates
형태Type: 명령줄 도구Command-line tool
라이선스License: MIT
필요한 것Requires: Node.js 22 이상
저장소Repository: llm-verdict-gate
토픽Topics: claude-code claude-skills agent-skills llm-evaluation quality-gates code-review qa ci ai-agents

2026-10-18 기준: 저장소의 테스트를 로컬에서 실행해 통과했고, 예제 출력은 저장소의 examples 폴더를 실제로 실행한 결과입니다.