# 모델별 질문 형식 실험

2026-11-08 전문가 페이지의 문서 기반 제안을 확인하기 위한 소규모 실측이다. 모델 실행 전 `2026-11-08/manifest.json`에 과제·형식·반복·순서를 고정했다.

## 비교 설계

- 요청 모델: `gpt-6-astra`, `gpt-6.1-sol`, `gpt-6.1-terra`, `gpt-6-luna`.
- 질문 형식: 같은 다섯 항목을 문단으로 나열한 문단형, 제목만 추가한 공통 구조형, 구조형에 기존 전문가 페이지의 모델별 응답 지침을 덧붙인 적용형.
- 문단형과 공통 구조형의 차이는 제목이다. 적용형은 모델별 지침도 추가하므로 그 효과와 길이 증가를 함께 측정한다.
- 과제: 반품·할인·세금 정산, 수정 이력의 최신 상태 추출, 문서 근거 판정, 시차·완충 시간을 포함한 일정. 한국어 합성 과제 4개, 기준 필드 총 48개.
- 각 모델·형식 조합에서 4개 과제를 각각 2회, 총 96개 최초 응답. 고정 시드로 섞은 순서대로 동시성 1로 실행한다.
- 추론 수준 medium, 독립된 새 문맥, 외부 도구 미사용, 동일한 JSON 답변 요구. API의 JSON 스키마 강제 기능은 사용하지 않는다.
- 기존 ChatGPT 로그인과 Codex CLI 0.163.0의 기본 모델별 실행 환경을 사용한다. 일반 ChatGPT UI나 독립 Responses API의 결과와는 실행 환경이 다르다. 서버의 불변 모델 스냅샷은 응답 이벤트에 노출되지 않으므로 요청한 모델 ID를 기록한다.

## 채점과 수정

기준 답은 실험 작성 시 정했다. 금액 계산과 일정 후보는 별도의 계산 코드로 검산한다. AI가 작성한 합성 과제·기준과 자동 채점이며 독립적인 사람 평가 자료는 없다.

정확도는 최초 응답의 기준 필드 일치율을 과제별로 구한 뒤 평균한다. JSON 파싱이나 필드 형식 실패는 별도 기록한다. 최초 통과는 모든 값과 요구 형식이 맞은 경우다. 배열은 문제에서 요구한 순서를 따른다. 숫자 2와 2.0은 동일하게 취급한다.

실패 시 틀린 필드 경로와 형식 위반 여부만 돌려준다. 정답 값은 알려주지 않는다. 수정은 최대 2회이며 이후 실패도 그대로 남긴다. 수정마다 새 호출에 원래 질문·앞선 응답·피드백을 텍스트로 전달한다. 일반 ChatGPT의 대화 이어가기 기능을 측정한 실험은 아니다.

시간은 CLI 프로세스 시작부터 종료까지의 벽시계 시간이다. 실행 준비, 네트워크, 생성 시간을 포함하고, 자동 채점·사람의 읽기 시간은 제외한다. 총 응답 시간은 수정 호출 시간까지 합친다. 순수 모델 추론 시간은 분리할 수 없다. 서버 캐시·부하를 완전히 고정할 수 없으며 사용량에 표시된 캐시 토큰을 보존한다.

타임아웃·CLI 오류·도구 사용은 실행 오류로 기록하고 정확도 표에서 분리한다. 결과를 보고 과제나 질문을 바꾸지 않는다. 반복된 같은 과제는 새로운 독립 과제로 세지 않는다. 네 합성 과제로 실제 사용자 업무, 창작, 시각 이해, 긴 문맥 전체의 성능을 추정하지 않는다.

## 실행

```sh
python3 evals/model-prompting/run.py validate
python3 evals/model-prompting/run.py preflight
python3 evals/model-prompting/run.py run
python3 evals/model-prompting/run.py summarize
```

`run`은 완료된 건을 재실행하지 않는다. 원본 CLI 이벤트와 오류 로그는 `runs/`에 보존한다. 공개 파일에는 합성 질문·최종 응답·점수·시간·사용량만 포함하고 내부 스레드 식별자나 로컬 경로는 제외한다.

## 채점 기준의 사후 검토

기록 추출 과제의 `due_source`에는 날짜를 직접 명시한 R1과 그 날짜의 유지를 확인한 R3이 모두 근거가 된다. 최초 정답표는 R1만 허용했으나 질문은 원문에 날짜가 명시된 기록으로 제한하지 않았다. 이 모호성을 발견한 뒤에도 최초 실행·피드백 기준은 유지했다.

공개 표의 내용 정확도는 R1과 R3을 모두 인정한 보조 분석이다. `reviewed_accuracy`에 이 값을 저장하고, 원래 기준의 점수는 `accuracy`, 개별 `grade`에 그대로 남긴다. 통과율과 수정 횟수는 원래 고정 기준이다. 출처 표기 차이만으로 발생한 수정 횟수를 따로 합산한다. 이 기준 검토는 AI가 수행했다. 독립적인 사람 평가는 수행하지 않았다.

## 오류에 대한 추가 진단

96개 최초 응답의 비교를 마친 뒤 `diagnostic.py`로 Luna의 일정 계산을 별도 시험한다. 기존 일정과 시간대를 바꾼 새 일정에 대해 공통 구조형과 명시적 구간 검증 절차를 각 2회 실행한다. 총 8개 응답이며 수정 피드백은 제공하지 않는다. 이 설계는 최초 비교 중 일정 오류를 관찰한 뒤 작성한 사후 진단이다. 원래 96회와 분리해 공개한다.

새 질문은 정답 시각을 주지 않고, 준비·회의·정리를 합친 구간과 금지 구간의 겹침 여부를 계산하는 절차를 제시한다. 새 과제도 같은 종류의 일정 문제이므로 확인 범위는 좁다. 실행 계획을 `diagnostic-plan.json`, 실제 응답을 `diagnostic-results.json`에 저장한다.