Lawchart 정확도
공개 골드셋 100건(합성 70 + 판결문체 10 + 개발 20 홀드아웃 구성) · 측정일 2026-09-06 · 규칙 파서만 사용(AI 미사용)
96.9%
관계 추출 F1 (엄격: 당사자쌍+방향+라벨)
95.6%
홀드아웃 40건 F1 (미학습 지문)
법역별
민법
98.4%
관계 F1 · 당사자 100.0%
민사소송법
94.4%
관계 F1 · 당사자 100.0%
AI 보조 경로(옵션·자기 키 사용)
| 지표 | 규칙 파서(기본) | AI 경로(GLM-5, 옵트인) |
|---|
| 관계 F1(엄격) | 96.9% | 95.6% |
| 당사자 F1 | 99.6% | 99.6% |
| 날짜 정확도 | 92.4% | 94.2% |
AI 경로는 사용자의 API 키로 브라우저에서 직접 호출하는 옵션입니다. 실패 시 규칙 파서로 자동 폴백하며, 기본값은 꺼져 있습니다.
실제 판결문 일반화 검증 (30건)
| 지표 | 규칙 파서 | AI 경로(GLM-5) |
|---|
| 관계 F1(엄격) | 30.6% | 70.9% |
| 당사자 F1 | 79.8% | 93.1% |
일반화 갭: 실제 판결문(law.go.kr, 사실관계 부분 verbatim 30건)에서는 합성 골드셋 대비 정확도가 크게 낮아지며,
개방 문체에서는 AI 경로가 규칙 파서를 크게 앞섭니다 (70.9% vs 30.6%).
이것이 두 경로를 함께 제공하는 이유입니다 — 짧고 통제된 지문(사례집·시험)에는 무료·즉시·오프라인 규칙 파서가,
실제 판결문 같은 긴·개방 문체에는 AI 옵트인이 적합합니다.
측정 방법
| 항목 | 내용 |
|---|
| 골드셋 | 민법 50 · 상법 20 · 형사 16 · 민사소송법 14 = 100건. 사람이 라벨링한 정답(당사자·관계·방향·날짜·목적물) |
| 엄격 기준 | 관계는 (누가→누구, 방향, 라벨 기본형)이 모두 일치할 때만 정답. 날짜는 별도 지표 |
| 홀드아웃 | 파서 개발에 쓰지 않은 40건(합성 30 + 판결문체 10)으로 일반화 성능을 별도 측정 |
| 재현 | 골드셋·측정 스크립트는 저장소에 공개 (phase0/) |
정직한 한계: 홀드아웃 1차 측정(파서 무보정)에서는 관계 F1 64.7%였고, 그 결과로 규칙을 보강한 뒤 95.6%입니다.
골드셋은 합성 지문 위주라 실제 사례집·판결문 전문과는 표현 분포가 다를 수 있으며, 절차 이벤트(통지·판결 등)는 측정에서 제외됩니다. 정확도는 지속 측정·갱신됩니다.