요건사실론 파이프라인 산출물·사양 문서 일괄 반영 (배치 1~11)
여러 머신에서 Dropbox로 동기화되며 누적된 작업을 한 번에 반영한다. ## 산출물 - 사건종류_요건사실론문서/ 90건. 게이트 v4.0 기준 64건 PASS(71.1%). 남은 26건은 골격 v2·v3 세대 산출물로 골격 11.5가 개정 불요로 정한 것들이다. - 사건종류_요건사실론문서자료/ 96건, 청구취지작성규칙 문서 110건. ## 사양 문서 - 요건사실론_문서_공통골격_v4.md — v4-r5. §4.2·§6 항변 템플릿의 `주장책임 / 증명책임`에 「슬래시 하나로 나눈 두 값」 규칙 신설. 이 필드에 문장을 쓰면 §7 총괄표의 두 열에 같은 값이 복제되는데 게이트가 잡지 못한다. - 요건사실론_1차드래프트_생성_프롬프트_opus_v.5.txt — v.5-r4. 같은 규칙 반영, `<efficiency_rules>` 4 (a)의 예산 60/80 자기모순 제거, 법령 검색 응답의 <법령명한글>도 CDATA임을 `<external_lookup_conventions>` 0에 추가. - 보존본 10건의 파일명을 `_r<n>_outdated` 기본형으로 정리했다. 정리 전에는 `_orig`·`_old`·`_9_4_outdated`·`_r`·`_r2`가 섞여 있었고 `..._v4_r.md`가 v4-r2를, `..._v4_r2.md`가 v4-r4를 담아 숫자가 실제와 어긋났다. 이동 전후 해시를 대조해 내용 변형이 없음을 확인했다. ## 검증 자산 - tmp/rf_draft/_shared/ — 게이트 표준 구현체(rf_gate.py, RF_GATE_VERSION v4.0), 배치별 preflight, 패치 후보, targets. tmp/rf_draft/leaf_id.py. - MEMORY.md — 사건종류별 누적 교훈. ## .gitignore - *.pdf 제외. 교재·자료 스캔 합계 1.7GB이고 여러 파일이 100MB를 넘어 호스트가 거부한다. - tmp/ 스크래치 제외(_shared·leaf_id.py는 유지). law.go.kr XML 캐시 3,449개와 페이지 추출 이미지·텍스트가 대부분이며 전부 재생성 가능하다. - 그 결과 이 커밋은 497개 파일 32MB이고 2MB를 넘는 파일이 없다. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,119 @@
|
||||
10개 에이전트가 서로 못 보는 상태에서 같은 골격 v2 모순을 10/10 발견했다. 이게 병렬 팬아웃의 부수 효과 중 제일 값진 부분 — 단일 실행이면 "이 에이전트가 오해했나?"로 끝날 지적이, 독립 10표가 모이면 사양 결함 확정이 된다. 게이트 오탐 5종도 같은 원리로 확정됐다.
|
||||
반대로 병렬이 드러낸 비용도 명확하다. 10건 전부 초회 게이트에서 FAIL이 쏟아졌고 그 대부분이 스크립트 오탐이었다. 각 에이전트가 게이트 스크립트를 매번 처음부터 다시 써서 같은 오탐을 열 번 재발견했다. v.4에 게이트 스크립트 표준본을 박으면 이 중복이 통째로 사라진다.
|
||||
[about-to-do]가 실행 중 [running]으로 바뀌어 있었다. 파일을 다시 읽지 않고 캐시된 내용으로 sed를 쳤으면 조용히 실패하거나 엉뚱한 곳을 고쳤을 것. assert count == 1이 이걸 잡았다.
|
||||
─────────────────────────────────────────────────
|
||||
배치 4 완료. 10개 사건종류 전부 문서 생성됨, 에러 0건, 약 56분.
|
||||
|
||||
사건종류 id KB 경로 §4 §5 항변 T1/T2 정독 조회(a/b) 미해결
|
||||
분양대금 청구 PROV-022 140 5 2 15 12 24/19 166 60/13 14
|
||||
사용료 청구 PROV-023 139 5 0 16 13 31/27 82 60/17 8
|
||||
선급금・선수금 청구 PROV-024 152 6 0 22 14 32/27 130 60/17 8
|
||||
소유권 이외의 권리 설정·이전등기 PROV-079 175 7 2 21 14 63/19 179 52/18 12
|
||||
소유물방해제거·방해예방청구 PROV-097 148 6 3 8 11 45/17 55 31/17 13
|
||||
약속어음금 청구 PROV-040 116 4 4 6 15 63/16 57 61/15 10
|
||||
약정금 청구 PROV-041 130 6 3 8 12 61/32 192 53/18 7
|
||||
양도약정・담보계약해지・이관 이전등기 PROV-073 129 4 0 12 13 22/30 200 ~66/17 6
|
||||
양도채권금・양수금 청구 PROV-042 120 4 4 7 14 17/14 134 30/13 10
|
||||
예금(예치금・예탁금・인출금) 청구 PROV-043 187 5 0 15 11 28/24 165 60/14 9
|
||||
전건 verification_status = QUALIFIED, 수정 라운드 전건 1회(2라운드 미발동), R1~R6 전부 3점 이상(대부분 4점), 하위 에이전트 spawn 0건, 청구취지작성규칙 10/10 사용.
|
||||
|
||||
직접 검증(에이전트 보고에 의존하지 않음): 파일 10/10 존재, §1~§12 누락 0, front matter --- 짝 정상, 코드펜스 짝 정상, MEMORY.md 항목 10/10 반영(111KB→161KB, append만 사용해 유실 0), plans/ 오염 0, tmp/rf_draft/leaf_id.py 무변경.
|
||||
|
||||
상한 초과 2건 — 약속어음금 61/60, 양도약정 약 66/60. 둘 다 도달 후 조회를 끊고 잔여를 §12.7의 UNKNOWN으로 남겨 처리 규칙 자체는 지켰음. 계수 누락이 아니라 배치 조회 1회가 여러 건을 삼킨 결과.
|
||||
|
||||
골격 v2 패치 후보 — 남은 97개 사건종류에서 반복될 것들:
|
||||
|
||||
10/10 전원 발견. v2 제1부 원칙 8(59행)이 "학설 대립은 §12.5에 격리한다"고 하나, 제2부 §12 목록은 12.5=웹 자료, 12.6=학설. 전건이 제2부를 따랐음. 원칙 8을 §12.6으로 고쳐야 함.
|
||||
6/10. S9 사건번호 정규식이 조문 표기를 사건번호로 오탐(제202조의2, 제39조의2, 100분의 40).
|
||||
5/10. S10 상호참조 검사가 헤딩 줄과 §7 총괄표 '소속 절' 셀까지 계수해 괄호 제목을 요구.
|
||||
4/10. L-c의 13판 표제 대조가 골격이 고정한 항 제목(3.1 당사자적격, 3.2 확인의 이익)과 H1 문서 제목을 오탐.
|
||||
3/10. S3 빈 항 판정이 하위 헤딩만 가진 컨테이너 항을 빈 항으로 오판.
|
||||
2/10. L-b 이율 검사가 §4.4 기계판독 문언 줄에 걸려 S11(§2.2와 바이트 동일 요구)과 정면 충돌.
|
||||
S2 사양 모호 — 코퍼스 전체 문제. front matter만으로 §0을 만족하는지, ## §0. 헤딩이 따로 필요한지를 v2가 안 정했음. 분양대금청구 1건이 H1+## §0. 뒤에 front matter를 둬서 ---가 5행에서 시작(나머지 9건은 1행). 기존 30개 문서에도 같은 변이가 9건 있어 40건 중 10건이 이 형태. Weaviate 적재(v2 제5부)는 ---가 파일 첫 바이트일 것을 요구하므로 사양이 위치를 못박아야 함. 코퍼스 정규화는 손대지 않았음 — 사양을 먼저 정하는 게 순서.
|
||||
v.4 개선 제안 1건: 10건 전부 초회 게이트에서 FAIL이 쏟아졌고 대부분이 위 2~6의 스크립트 오탐이었음. 각 에이전트가 게이트 스크립트를 매번 새로 쓰느라 같은 오탐을 열 번 재발견함. 게이트 스크립트 표준본을 v.4에 박아 넣으면 사건종류당 런타임이 눈에 띄게 줄어듦.
|
||||
|
||||
배치 로그의 배치 4 표식을 [running] → [completed]로 바꿨고, plans/batch4-요건사실론-1차드래프트-병렬.md에 결과·검증·패치 후보를 기록했음.
|
||||
|
||||
|
||||
======================================================
|
||||
|
||||
유류분 조문이 개정됐다. 민법이 2026. 3. 17. 법률 제21454호로 개정·시행되어 제1115조 제1항이 원물반환에서 가액지급 원칙으로 전환됐다. 부칙 제3조가 적용을 상속개시일 기준으로 가른다. 내가 사전 경고에 적은 "제척기간"은 틀렸고 실제는 소멸시효다(92다3595). 정정 내용은 preflight §8.5에 남겼다.
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
'/Users/allen_jhang/Library/CloudStorage/Dropbox/Business/Eroom AI Partners/Legal POC portfolio/민사에이전트-사해행위취소및대여금청구/POC - Law-aid Agent/프롬프트/prompt_updates_sequential/요건사실론/tmp/rf_draft/_shared/v2_patch_candidates_batch4.md'
|
||||
|
||||
'/Users/allen_jhang/Library/CloudStorage/Dropbox/Business/Eroom AI Partners/Legal POC portfolio/민사에이전트-사해행위취소및대여금청구/POC - Law-aid Agent/프롬프트/prompt_updates_sequential/요건사실론/plans/batch4-요건사실론-1차드래프트-병렬.md'
|
||||
|
||||
|
||||
Opus 5 Ultra mode를 통해 `요건사실론_1차드래프트_생성_프롬프트_opus_v.3.txt`를 2개의 사건 종류 셋트 (<set_1>, <set_2>)에 대해 실행하여 결과물들을 얻었다. 그런데, 각 결과물들을 얻는 중간 과정에서 여러 가지 모순점들이 발견되었고 이는
|
||||
[1] 프롬프트 `요건사실론_1차드래프트_생성_프롬프트_opus_v.3.txt` 자체에서 비롯된 문제
|
||||
[2] 골격 v.2 문서에서 비롯된 문제
|
||||
들로 추정된다.
|
||||
|
||||
아래 2개 문서들은 v.3 프롬프트에서 오류 및 개선점, 골격 v.2 문서에서의 오류 및 개선점 내용을 제시하고 있다:
|
||||
`tmp/rf_draft/_shared/v2_patch_candidates_batch4.md`
|
||||
`plans/batch4-요건사실론-1차드래프트-병렬.md`
|
||||
|
||||
2개 문서에서 제시된 개정 방안을 반영하여 v.3 프롬프트를 v.4 프롬프트로 개정 작성하여 `요건사실론_1차드래프트_생성_프롬프트_opus_v.4.txt`로 생성하고, 골격 v.2 문서를 개정 작성하여 `요건사실론_문서_공통골격_v3.md`으로 생성하라. 또한, v.4 프롬프트에서는 '외부 조회' 시 파서 실수로 인한 조회 수 증가를 '외부 조회 상한'에 반영되지 않도록 규정하라.
|
||||
|
||||
<set_1>
|
||||
사건 종류 <####>:
|
||||
- 위약금 청구
|
||||
- 위탁금 청구
|
||||
- 유류분반환・유증 등 청구
|
||||
- 유치권확인 또는 부존재확인
|
||||
- 임대료 청구
|
||||
- 임대인의 건물철거청구와 임차인의 건물매수청구권 행사
|
||||
- 임차 및 전세보증금 청구
|
||||
- 재산분할・재산승계를 원인으로 한 소유권이전등기 청구
|
||||
- 전부금 청구
|
||||
- 점유회수(반환)청구의 소
|
||||
</set_1>
|
||||
|
||||
<set_2>
|
||||
사건 종류 <####>:
|
||||
- 분양대금 청구
|
||||
- 사용료 청구
|
||||
- 선급금・선수금 청구
|
||||
- 소유권 이외의 권리 설정등기 및 이전등기 청구
|
||||
- 소유물방해제거·방해예방청구
|
||||
- 약속어음금 청구
|
||||
- 약정금 청구
|
||||
- 양도약정・담보계약해지・이관을 원인으로 한 소유권이전등기
|
||||
- 양도채권금・양수금 청구
|
||||
- 예금(예치금・예탁금・인출금) 청구
|
||||
<set_2>
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user