System 1.5 — 검증 결과, 재설계 방향 및 진행 현황

2026년 7월 21일 · 작성 허상훈 · 대상: 지도교수님

근거 데이터: ConvFinQA 공식 dev 분할(봉인 관리), 예측 원본 JSONL 및 실행 로그 전량 보존

1요약

1. 기존 논문의 핵심 수치(Full DEQ Solver 64.9%)는 재현되지 않음을 실측으로 확인했습니다. 원인은 사전학습 블록을 고정점 연산자로 사용한 구조적 오류이며, 구현 결함 7건과는 별개의 문제입니다.
2. 검증 가능한 방식(토큰-CoT 지도학습 + 외부 실행기 채점)으로 재구축한 결과, held-out 평가에서 78.6%를 달성해 기존 목표치를 상회했습니다. 단, 이는 DEQ 반복 없이 얻은 기준선입니다.
3. 반복 계산의 학술적 가치를 검증하기 위한 단계적 실험(G0 → G1)이 진행 중이며, 2주 내 조기 판정 기준(G1)에 따라 지속 여부를 결정합니다.

2경위 개요

3문제 진단과 조치

그 외 FWP 랭크 불일치, 중복 초기화, 수렴 임계값 부적정 등 구현 결함 총 7건 수정 완료. 상세는 부록의 진단 문서 참조.

4성과 추이

측정 조건: dev-A 210세션·737턴(사전 봉인 분할), 단일 seed, 멀티턴 이력은 정답 조건(teacher-forced). 최종 보고 수치는 3-seed 평균±표준편차 및 봉인 셋(dev-B) 평가 후 확정 예정.

5세 가지 접근 방식 비교

5.1 구조·작동 원리

5.2 자원·성능 (✓ 실측 / ~ 추정)

6단계적 검증의 논리 — ①에서 ③으로 직행하지 않는 이유

기체가 액체를 거쳐 고체가 되듯, ②는 ③에 도달하기 위한 필수 안정화 단계입니다. 학술적으로는 다음 네 가지 근거로 요약됩니다.

1. 변인 통제(원인 분리). 7/14 시점의 0%에는 네 가지 잠재 원인(데이터 결함, 채점 결함, 백본 능력 부족, 반복 구조 결함)이 얽혀 있었습니다. ② 단계에서 앞의 세 변인을 각각 수정·검증했으므로(질문 절단 수정, 실행기 채점 도입, 78.6% 달성), 이후 ③이 실패하면 원인은 슬롯 반복 메커니즘 하나로 특정됩니다. ①→③ 직행 시 실패 원인을 영구히 특정할 수 없습니다.
2. 교사 신호 확보. ③의 슬롯 학습은 "도달해야 할 정답 풀이 분포"를 필요로 하는 증류 학습입니다. 그 교사가 ② 모델입니다. ② 없이는 ③의 학습 신호 자체가 존재하지 않습니다.
3. 비교 기준선 확보. ③의 성패는 "②의 78.6%를 더 적은 계산으로 재현(또는 초과)하는가"로 정의됩니다. 기존 논문이 무너진 근본 이유가 정직한 기준선의 부재였으므로, 동일한 실수를 구조적으로 차단합니다.
4. 부품 재사용. 절단 수정, 실행기 채점, 분할 봉인, 전층 LoRA 백본 등 ②에서 검증된 부품 위에 ③은 슬롯 모듈 하나만 추가합니다. 미검증 부품의 동시 조립은 실패 확률을 곱셈으로 키웁니다.

7단기 논문 트랙 — 비교군(베이스라인) 재설계

단기 트랙을 "경량 ΔW 세션 메모리 + OOD 안전 라우팅 + 78.6% 정확도" 중심으로 재구성할 경우, 기존 논문 Table 2의 비교군은 전부 재사용이 불가능합니다. 기존 8개 행은 모두 "동일 DEQ 백본에 이식"이 전제였는데 그 기준계 자체가 소멸했고, 상당수는 구현 실체도 없었기 때문입니다. 따라서 단순 재실험이 아니라 새 주장에 맞는 비교군 재설계가 필요하며, 아래와 같이 확정했습니다.

7.1 기존 비교군 8개의 처리 방침

7.2 신규 Table 2 설계 — 세션 메모리 비교 (전 항목 동일 CoT 백본 위)

이 표가 재구성 논문의 중심 결과가 됩니다 — "ΔW가 상한(79.9%)에 근접하면서 표준 KV 대비 약 425배의 메모리 절감을 실증하는가". OOD 비교표(구 Table 5)는 MSP·Energy(경량 구현)+Semantic Entropy+제안 라우터로 재구성합니다.

7.3 용어 정의 — "CoT 백본"이란

본 보고서의 "CoT 백본(78.6%)"은 새 모델이 아니라, 동일한 Gemma-4-E4B에 대한 학습·실행 방식의 조합을 가리킵니다. 기존 방식과의 차이는 모델이 아니라 "포장"에 있습니다.

같은 엔진을 두고, 기존 방식은 엔진을 개조하다 손상시켰고, 현재 방식은 엔진을 원 설계대로 사용하며 과업 학습만 새로 수행한 것입니다. 향후 Thought-Slot DEQ(3단계)도 동일한 Gemma-4-E4B 위에서 진행되므로 세 방식 간 비교의 공정성이 성립합니다.

7.4 Thought-Slot DEQ 성공 시(G1–G4 통과) 비교군의 처리 — "무대 고정, 개념의 계승"

중요한 설계 원칙: G1–G4가 성공하더라도 기존 "DEQ 백본"으로 되돌아가는 일은 발생하지 않습니다. Thought-Slot DEQ는 백본이 아니라 CoT 백본 위에 추가되는 모듈이며, 비교의 무대는 어떤 시나리오에서도 CoT 백본으로 고정됩니다. 기존 DEQ 백본은 작동한 적이 없으므로 복귀 대상 자체가 존재하지 않습니다. 비교군은 백본이 아니라 주장(claim)에 귀속되므로, 성공 시에는 새 주장에 대응하는 비교가 같은 무대 위에 추가될 뿐입니다. 이때 폐기된 개념 일부는 형태를 바꿔 계승됩니다.

8진행 현황 및 일정

8.1 현재 실행 중 (2026-07-21 15:41 기준)

8.2 향후 일정

9논의 요청 사항

1. 단기 논문 트랙을 "경량 ΔW 세션 메모리 + OOD 안전 라우팅 + 78.6% 정확도" 중심으로 확정하는 방안
2. Thought-Slot DEQ는 G1 게이트(약 2주)까지 제한 실험 후 지속 여부를 결정하는 방안
3. 결과 공유 범위(공동연구자·연구실 내부)와 저장소 정리 일정

10부록 — 근거 자료 (원문 열람)

아래 각 항목을 클릭하면 해당 파일의 실제 내용이 펼쳐집니다. 로컬 원본 경로: D:\AI\System1.5 - Claude\ 하위의 logs/, doc/, data/official_convfinqa/

{
  "n": 737,
  "model_answer_acc": 0.6580732700135685,
  "executed_program_acc": 0.7856173677069199,
  "exec_coverage": 0.6037991858887382,
  "anchor": {
    "n": 210,
    "base": 0.6857142857142857,
    "exec": 0.7523809523809524
  },
  "followup": {
    "n": 527,
    "base": 0.6470588235294118,
    "exec": 0.7988614800759013
  }
}

{
  "sft_ckpt": "./checkpoints/sft_cot_full/sft_cot_epoch_1.pt",
  "n_sessions": 210,
  "anchor_acc": 0.6857142857142857,
  "followup_acc": 0.6470588235294118,
  "overall_acc": 0.6580732700135685,
  "n_anchor": 210,
  "n_followup": 527
}

총 737건의 생성 원본 중 앞 6건 표시

[세션 Single_IPG/2009/page_85.pdf-3 · 턴 0] 채점=오답
  정답: 0.10826
  모델 출력:  We compute: divide(3.8, 35.1) = 0.10811. The final answer is 0.10811

[세션 Single_IPG/2009/page_85.pdf-3 · 턴 1] 채점=정답
  정답: 10.82621
  모델 출력:  We compute: divide(3.8, 35.1), multiply(#0, const_100) = 10.82593. The final answer is 10.82593

[세션 Single_DVN/2007/page_58.pdf-3 · 턴 0] 채점=오답
  정답: 0.24691
  모델 출력:  We compute: divide(60, 243) = 0.24605. The final answer is 0.24605

[세션 Single_DVN/2007/page_58.pdf-3 · 턴 1] 채점=정답
  정답: 24.69136
  모델 출력:  We compute: divide(60, 243), multiply(#0, const_100) = 24.69136. The final answer is 24.69136

[세션 Single_CDNS/2018/page_31.pdf-1 · 턴 0] 채점=오답
  정답: 18.77
  모델 출력:  We compute: subtract(109.54, 110.28) = -0.74. The final answer is -0.74

[세션 Single_CDNS/2018/page_31.pdf-1 · 턴 1] 채점=정답
  정답: 1000.0
  모델 출력:  We compute: divide(100000, 100) = 1000.0. The final answer is 1000.0

{
  "created": "2026-07-16",
  "source": "data\\official_convfinqa\\dev.json",
  "source_sha256": "9665dd60f106e5cd41d37537edac97bbd26eb7629ad63ca2390b19d4619ba51b",
  "seed": 20260716,
  "dev_A_gate": [
    "Double_AAP/2011/page_28.pdf",
    "Double_ABMD/2009/page_88.pdf",
    "Double_ADBE/2018/page_86.pdf",
    "Double_AES/2015/page_117.pdf",
    "Double_AMAT/2013/page_18.pdf",
    "Double_AMT/2005/page_85.pdf",
    "Double_AMT/2008/page_32.pdf",
    "Double_AMT/2012/page_125.pdf",
    "... 외 202건"
  ],
  "dev_B_sealed": [
    "Double_ABMD/2006/page_75.pdf",
    "Double_ADI/2011/page_81.pdf",
    "Double_AES/2002/page_46.pdf",
    "Double_AES/2016/page_185.pdf",
    "Double_AES/2016/page_191.pdf",
    "Double_AES/2017/page_157.pdf",
    "Double_AMAT/2014/page_18.pdf",
    "Double_AMT/2004/page_81.pdf",
    "... 외 203건"
  ],
  "rule": "Gates (G0-G4) use dev_A only. dev_B is sealed until final multi-seed eval. Never tune to either after seeing results."
}

• 주요 수치 산출 조건: dev-A 210세션/737턴, 단일 seed, teacher-forced 이력, 실행 채점(공식 FinQA 방식). 78.6%는 executed_program_acc, 모델 자체 산술 기준은 65.8%.

PDF 저장: 브라우저 인쇄(Ctrl/Cmd+P) → "PDF로 저장"을 이용하시면 인쇄 최적화된 문서로 내려받을 수 있습니다.