cold-read-comprehension-review
아무것도 모르는 독립 독자를 시켜 영상이나 글이 전달되는지 정답 파일과 비교해 채점합니다. 오래된 판정도 걸러 냅니다.
어떤 문제를 푸나The problem
만든 사람은 자기 설명을 평가할 수 없습니다. 완성물만 본 독자 두 명에게 무엇을 말하는지, 어떤 단계가 나오는지, 결과가 어떻게 생겼는지 물어보고 그 답을 의도한 내용과 비교합니다. 혼란은 심각도와 함께 기록하고 독자가 한 명이면 거부합니다.
grade.py는 주장, 단계, 결과 키워드, 구조, 심각한 혼란, 모른다고 답한 필수 항목을 확인하며 모든 독자가 모든 항목을 통과해야 통과입니다.
이런 분께 맞습니다Who it is for
영상, 튜토리얼, 랜딩 페이지가 처음 보는 사람에게 이해되는지 확인하고 싶은 제작자.
무엇을 하나What it does
- 심각도가 minor, low, trivial이 아니면(누락 포함) 심각한 혼란으로 봅니다.
- 정답 파일이 아무것도 채점하지 않거나 철자가 틀린 키가 있으면 거부합니다. 같은 답변을 두 번 낸 것도 거부합니다.
- staleness.py --stamp로 산출물의 내용 해시를 판정에 기록해, 이후 변경을 폴더 단위로 잡아 냅니다.
- 독자용 프롬프트 골격이 references/reader-prompt.md에 있습니다.
직접 돌려 본 출력Real output
저장소의 examples 폴더를 실행한 결과입니다.
$ bash examples/demo.sh
# Two independent readers who saw only the video/page, graded against the author's truth file
$ python3 scripts/grade.py examples/truth.json examples/reader-1.json examples/reader-2.json
examples/reader-1.json
[PASS] claim recovered
[PASS] steps recovered
[PASS] result recovered
[PASS] structure recovered
[PASS] no severe confusion
[PASS] no required field unknown
examples/reader-2.json
[PASS] claim recovered
[PASS] steps recovered
[PASS] result recovered
[PASS] structure recovered
[PASS] no severe confusion
[PASS] no required field unknown
COLD READ PASS
[exit 0]알아둘 한계Limits
- 독자의 품질이 결과의 상한입니다. 독립된 독자를 쓰십시오.
- 키워드 채점은 같은 뜻의 다른 표현을 놓칠 수 있습니다.
받아서 쓰기Get it
# 저장소를 받습니다
git clone https://github.com/Kein-chronicle/cold-read-comprehension-review.git
# Claude Code 스킬로 쓰려면 이 폴더 이름으로 받습니다
git clone https://github.com/Kein-chronicle/cold-read-comprehension-review.git ~/.claude/skills/cold-read-review정보Info
- 분류Category
- 게임·미디어 제작Games & media
- 형태Type
- 명령줄 도구Command-line tool
- 라이선스License
- MIT
- 필요한 것Requires
- Python 3.10 이상
- 저장소Repository
- cold-read-comprehension-review
- 토픽Topics
reviewusabilityai-agentsllm-evaluationcontent-qaclaude-codeclaude-skillsagent-skills
2026-10-18 기준: 저장소의 테스트를 로컬에서 실행해 통과했고, 예제 출력은 저장소의 examples 폴더를 실제로 실행한 결과입니다.