정제
원자료(공개 말뭉치·드라마 대사 전사 등)는 외국 영화 번역체, 사극, 인명, 합본 대사·오정렬 쌍, 한 작품에만 몰린 단어가 섞여 있어 그대로 빈도를 내면 학습 가치 없는 단어가 상위에 오른다(zh에서 인명이 상위 진입, 측정 방식만 바꿔도 커버율이 21%p 달라진 사례). 또 자막·원서 원문은 저작권이 있어 공개 리포·앱에 넣을 수 없으므로 단어·빈도 통계만 취하고 문장은 자체 제작해야 한다. 그래서 자국 작품 선별 → 토큰화/레마화 → 작품 보편성(CD) 가중 빈도 → 누적 커버리지 절벽으로 R1~R4를 긋고, 그 위에서 정렬쌍 필터·tier 라벨·큐레이션·자체 번역·출처 스크럽을 거친 것만 앱에 싣는다.
절벽구간 모델 R1~R4(러시아어 앱에서는 L1~L4로 개명)는 회화 코퍼스의 단어 빈도를 내림차순으로 누적했을 때 누적 토큰 커버리지가 55% / 60% / 70% / 80%(R5 = 90%)에 도달하는 순위 경계로 나눈 학습 구간이다. CEFR·JLPT·HSK 같은 임의 급수 대신 실측 커버리지의 자연 breakpoint를 쓰며, 문장 레벨은 문장 안 단어들의 최고(가장 희귀) tier로 정한다(R1 문장만 읽으면 R1 단어만 노출되는 graded-reader 구조). R1은 언어마다 '골격'(러시아어=격·전치사, 베트남어=호칭+어감종결사, 태국어=종조사+대명사, 일본어=조사·종조사, 중국어=한자 커버)이고 R2~R4로 갈수록 내용어 비중이 커진다. 고립어(th·vi)는 R4까지 300~650단어, 굴절·교착어는 1,000~3,000단어로 절벽 폭이 다르다. 같은 언어라도 코퍼스와 단위(표면형/레마/음절/분절 토큰)에 따라 숫자가 달라지므로 독립 코퍼스 간 수렴(th ±10단어)을 방법론 신뢰성의 근거로 삼는다.
R1
회화 골격 (누적 55%)
빈도 1위부터 누적 토큰 커버 55%까지. 기능어·대명사·종조사/종결사·기초 동사. 문장 큐레이션은 길이 ≥3 단어(음절) 강제, 격/호칭/종결사 시연 우선 35% + 빈도 50% + 길이 15%
R2
일상 핵심어 (누적 60%)
55%→60% 구간. 부정·시제·접속·핵심 동사. 러시아어는 이 구간을 채팅 코퍼스로(챗 레지스터 100% 존재), 빈도 우선
R3
자주 쓰는 어휘 (누적 70%)
60%→70%. 일상 어휘 본진('절벽의 진짜 위치'), 감정·관계 동사. 격/종결사 시연 우선
R4
폭넓은 어휘 (누적 80%)
70%→80%. 일상 명사·형용사 확장, CD% 급락 구간. 큐레이션은 greedy set cover로 R4 단어 100% 노출(≈1,000문장)
R5
확장/깊이 (누적 90%)
80%→90%. 앱 학습 범위 밖('최소 어휘 최대 문장' 정책). R5+ 단어가 섞인 문장은 큐레이션에서 제외
언어별 구간 분량 메모마다 값이 다르면 / 로 병기
| 언어 | R1 | R2 | R3 | R4 | 비고 |
|---|---|---|---|---|---|
| 러시아어 | 156 / 146 | 251 / 230 | 685 / 630 | 1985 / 1912 | 레마(pymorphy3) 기준. 앞값=자국 제작 영화·드라마 3,589 자막·13M 토큰(러시아어_앱개발_노트, ru 작업기록 — 앱 채택, L1~L4로 개명, R5 5,000). 뒷값=공개 자막 말뭉치 전체 22,100편·87.5M 토큰(R5 7,044). R2 lemma 수 95(157~251) vs 94(작업기록 본문) |
| 태국어 | 99 / 109 | 137 / 149 | 286 / 295 | 653 / 642 | pythainlp newmm 분절. 앞값=공개 자막 말뭉치 2.5억 토큰·사극 904편 블랙리스트 제외(R4 경계 CD 33%). 뒷값=자국 드라마 50편 260K 토큰. 사극 포함 시 R3 412/R4 1,009. 두 코퍼스 규모 6,000배 차이에도 ±10단어 수렴 |
| 베트남어 | 89 / 76 / 120 / 244 | 115 / 127 / 158 | 199 / 170 / 279 / 746 | 362 / 320 / 519 / 782 / 1240 | 음절 단위. 89/115/199/362(R5 762)=자국 드라마 균형 코퍼스. 76/127/170/320=vi_R_tiers.csv(vi_R1_R4_design·메모리 vi-corpus-r1r4-labeling, 80% 커버 320단어). 120/158/279/519=공개 자막 말뭉치 단독(th cliff-report vi 비교). R1 244·R1~R4 782=같은 공개 자막을 앱개발 노트가 인용한 값. 5코퍼스 합산 R3 746/R4 1,240(메모 기준) |
| 일본어 | 294 | 437 | 998 / 852 | 2436 / 1944 | 드라마·애니·영화 자막 12,277편 빈도(ja cliff-report, 앱 확정 기준: R1 1–294·R2 295–437·R3 438–998·R4 999–2,436, R5 2,437+). 뒷값 852/1,944=drama+chat 메모 기준(th cliff-report 통합표). R1 한자 294자 중 N5+N4는 44%뿐 |
| 한국어 | 100 | 500 / 518 | 1500 / 1304 / 916 | 3000 / 2029 | kiwi 어휘소 lemma 기준(ko cliff-report): R1 top100=47.9%(사용자 인용)/49.7%(측정), 70% 컷 rank 518(R2≈500), 80% 컷 1,304(R3≈1,500), R4 1,501~3,000 확장. mecab_lex는 638/1,566. 916/2,029=drama+chat 메모(통합표). 조사·어미 13개만으로 누적 50% |
| 중국어 | 433 | 616 | 1238 | 2500 | jieba 단어·CD 가중, 사용자 정의 R 구간(2026-05-17): 누적 49.3/53.7/62.7/71.6%로 55/60/70/80 원칙과 다름. top1k=59.9%. 별도 한자 cliff: 100자 79%·209자 89%·300자 94%·387자 95%·824자 99%(HSK4 어휘 누적 90.66%) |
| 몽골어 | 202 / 82 | 262 / 115 | 440 / 229 | 716 / 424 | 앞값=공개 자막 말뭉치 mn Top1000 표면형(R5 1,000). 뒷값=lemma v4(활용형 통합, 단편 417 제외, 보존율 74.2%) 누적: R1 82/R2 +33/R3 +114/R4 +195 (mn cliff-report). 통합표엔 R3 196/R4 391로도 기재 |
| 페르시아어 | 415 | 603 | 1216 | 2500 | 공개 빈도표 Top 2,500 기준, 누적 51.95/56.69/66.12/75.56%(55/60/70/80 미달 — 분석적 어순으로 빈도 분산). Top1000=63.46% |
| 미얀마어 | 267 | 366 | 699 | 1425 | 공개 자막 말뭉치 my, Zawgyi→Unicode 정규화 후 MaxMatch 토크나이저, 누적 ~50/60/70/80%. 유효 영화 54편뿐(th의 1/725)·결합형 미분리로 R3가 th의 2.4배 |
| pl | 100 | 500 | 1000 | 2000 | R 구간 미정의. 표면형 누적: top100 40.87% / top500 57.49% / top1000 64.30% / top2000 70.67% (공개 혼합 빈도) |
| 영어 | — | — | 1119 | 2959 | 메모 기준 굴절어 비교값(th cliff-report 통합표). R3→R4 2.65× |
| kk | — | — | — | — | 절벽 미산출(2026-05-17). 뉴스 300K·공개 예문·공개 자막·Wiktionary 파생 사전·UD treebank·UniMorph 원자료만 보유, mn 파이프라인 재실행 예정 |