CharacterEncodingDetectorTables.h revision 544ad2be674423238c47650d2c8588ba7dfc9ed2 
1/*
2 * Copyright (C) 2013 The Android Open Source Project
3 *
4 * Licensed under the Apache License, Version 2.0 (the "License");
5 * you may not use this file except in compliance with the License.
6 * You may obtain a copy of the License at
7 *
8 *      http://www.apache.org/licenses/LICENSE-2.0
9 *
10 * Unless required by applicable law or agreed to in writing, software
11 * distributed under the License is distributed on an "AS IS" BASIS,
12 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13 * See the License for the specific language governing permissions and
14 * limitations under the License.
15 */
16
17// The 512 most frequently occuring characters for the zhCN language in a sample of the Internet.
18// Ordered by codepoint, comment shows character and ranking by frequency
19const uint16_t frequent_zhCN[] = {
20    0x4E00, // 一, #2
21    0x4E07, // 万, #306
22    0x4E09, // 三, #138
23    0x4E0A, // 上, #16
24    0x4E0B, // 下, #25
25    0x4E0D, // 不, #7
26    0x4E0E, // 与, #133
27    0x4E13, // 专, #151
28    0x4E16, // 世, #346
29    0x4E1A, // 业, #39
30    0x4E1C, // 东, #197
31    0x4E24, // 两, #376
32    0x4E2A, // 个, #23
33    0x4E2D, // 中, #4
34    0x4E3A, // 为, #31
35    0x4E3B, // 主, #95
36    0x4E3E, // 举, #418
37    0x4E48, // 么, #93
38    0x4E4B, // 之, #131
39    0x4E50, // 乐, #130
40    0x4E5F, // 也, #145
41    0x4E66, // 书, #283
42    0x4E70, // 买, #483
43    0x4E86, // 了, #13
44    0x4E8B, // 事, #168
45    0x4E8C, // 二, #218
46    0x4E8E, // 于, #64
47    0x4E94, // 五, #430
48    0x4E9A, // 亚, #468
49    0x4E9B, // 些, #366
50    0x4EA4, // 交, #243
51    0x4EA7, // 产, #86
52    0x4EAB, // 享, #345
53    0x4EAC, // 京, #206
54    0x4EBA, // 人, #3
55    0x4EC0, // 什, #287
56    0x4ECB, // 介, #478
57    0x4ECE, // 从, #381
58    0x4ED6, // 他, #129
59    0x4EE3, // 代, #241
60    0x4EE5, // 以, #51
61    0x4EEC, // 们, #83
62    0x4EF6, // 件, #141
63    0x4EF7, // 价, #140
64    0x4EFB, // 任, #383
65    0x4F01, // 企, #439
66    0x4F18, // 优, #374
67    0x4F1A, // 会, #29
68    0x4F20, // 传, #222
69    0x4F46, // 但, #451
70    0x4F4D, // 位, #208
71    0x4F53, // 体, #98
72    0x4F55, // 何, #339
73    0x4F5C, // 作, #44
74    0x4F60, // 你, #76
75    0x4F7F, // 使, #272
76    0x4F9B, // 供, #375
77    0x4FDD, // 保, #180
78    0x4FE1, // 信, #84
79    0x4FEE, // 修, #437
80    0x503C, // 值, #450
81    0x505A, // 做, #368
82    0x5065, // 健, #484
83    0x50CF, // 像, #487
84    0x513F, // 儿, #326
85    0x5143, // 元, #202
86    0x5148, // 先, #485
87    0x5149, // 光, #254
88    0x514B, // 克, #503
89    0x514D, // 免, #349
90    0x5165, // 入, #156
91    0x5168, // 全, #47
92    0x516C, // 公, #35
93    0x5171, // 共, #448
94    0x5173, // 关, #49
95    0x5176, // 其, #195
96    0x5177, // 具, #329
97    0x5185, // 内, #109
98    0x518C, // 册, #225
99    0x519B, // 军, #466
100    0x51FA, // 出, #53
101    0x51FB, // 击, #359
102    0x5206, // 分, #22
103    0x5217, // 列, #410
104    0x521B, // 创, #399
105    0x5229, // 利, #296
106    0x522B, // 别, #372
107    0x5230, // 到, #33
108    0x5236, // 制, #192
109    0x524D, // 前, #117
110    0x529B, // 力, #173
111    0x529E, // 办, #436
112    0x529F, // 功, #455
113    0x52A0, // 加, #97
114    0x52A1, // 务, #100
115    0x52A8, // 动, #46
116    0x52A9, // 助, #365
117    0x5305, // 包, #331
118    0x5316, // 化, #155
119    0x5317, // 北, #194
120    0x533A, // 区, #105
121    0x533B, // 医, #234
122    0x5341, // 十, #294
123    0x534E, // 华, #205
124    0x5355, // 单, #259
125    0x5357, // 南, #182
126    0x535A, // 博, #153
127    0x5361, // 卡, #332
128    0x539F, // 原, #271
129    0x53BB, // 去, #282
130    0x53C2, // 参, #500
131    0x53CA, // 及, #255
132    0x53CB, // 友, #186
133    0x53CD, // 反, #422
134    0x53D1, // 发, #15
135    0x53D7, // 受, #507
136    0x53D8, // 变, #395
137    0x53E3, // 口, #293
138    0x53EA, // 只, #340
139    0x53EF, // 可, #45
140    0x53F0, // 台, #267
141    0x53F7, // 号, #121
142    0x53F8, // 司, #150
143    0x5404, // 各, #491
144    0x5408, // 合, #115
145    0x540C, // 同, #189
146    0x540D, // 名, #127
147    0x540E, // 后, #75
148    0x5411, // 向, #459
149    0x5427, // 吧, #353
150    0x544A, // 告, #318
151    0x5458, // 员, #232
152    0x5468, // 周, #347
153    0x548C, // 和, #43
154    0x54C1, // 品, #36
155    0x5546, // 商, #148
156    0x5668, // 器, #228
157    0x56DB, // 四, #352
158    0x56DE, // 回, #38
159    0x56E0, // 因, #355
160    0x56E2, // 团, #412
161    0x56ED, // 园, #470
162    0x56FD, // 国, #12
163    0x56FE, // 图, #32
164    0x5728, // 在, #10
165    0x5730, // 地, #30
166    0x573A, // 场, #177
167    0x575B, // 坛, #364
168    0x578B, // 型, #274
169    0x57CE, // 城, #172
170    0x57FA, // 基, #315
171    0x58EB, // 士, #434
172    0x58F0, // 声, #397
173    0x5904, // 处, #416
174    0x5907, // 备, #270
175    0x590D, // 复, #122
176    0x5916, // 外, #190
177    0x591A, // 多, #40
178    0x5927, // 大, #8
179    0x5929, // 天, #52
180    0x592A, // 太, #456
181    0x5934, // 头, #258
182    0x5973, // 女, #65
183    0x597D, // 好, #62
184    0x5982, // 如, #135
185    0x5A31, // 娱, #452
186    0x5B50, // 子, #37
187    0x5B57, // 字, #285
188    0x5B66, // 学, #19
189    0x5B89, // 安, #144
190    0x5B8C, // 完, #469
191    0x5B9A, // 定, #179
192    0x5B9D, // 宝, #188
193    0x5B9E, // 实, #154
194    0x5BA2, // 客, #174
195    0x5BB6, // 家, #26
196    0x5BB9, // 容, #307
197    0x5BC6, // 密, #471
198    0x5BF9, // 对, #90
199    0x5BFC, // 导, #348
200    0x5C06, // 将, #265
201    0x5C0F, // 小, #28
202    0x5C11, // 少, #379
203    0x5C14, // 尔, #490
204    0x5C31, // 就, #101
205    0x5C55, // 展, #291
206    0x5C71, // 山, #239
207    0x5DDE, // 州, #227
208    0x5DE5, // 工, #73
209    0x5DF1, // 己, #480
210    0x5DF2, // 已, #310
211    0x5E02, // 市, #78
212    0x5E03, // 布, #350
213    0x5E08, // 师, #277
214    0x5E16, // 帖, #396
215    0x5E26, // 带, #449
216    0x5E2E, // 帮, #461
217    0x5E38, // 常, #319
218    0x5E73, // 平, #217
219    0x5E74, // 年, #20
220    0x5E76, // 并, #440
221    0x5E7F, // 广, #166
222    0x5E93, // 库, #446
223    0x5E94, // 应, #187
224    0x5E97, // 店, #320
225    0x5EA6, // 度, #114
226    0x5EB7, // 康, #499
227    0x5EFA, // 建, #211
228    0x5F00, // 开, #72
229    0x5F0F, // 式, #207
230    0x5F15, // 引, #495
231    0x5F20, // 张, #385
232    0x5F3A, // 强, #404
233    0x5F53, // 当, #233
234    0x5F55, // 录, #146
235    0x5F62, // 形, #494
236    0x5F69, // 彩, #356
237    0x5F71, // 影, #214
238    0x5F88, // 很, #300
239    0x5F97, // 得, #193
240    0x5FAE, // 微, #245
241    0x5FC3, // 心, #70
242    0x5FEB, // 快, #324
243    0x6001, // 态, #508
244    0x600E, // 怎, #370
245    0x6027, // 性, #99
246    0x603B, // 总, #398
247    0x606F, // 息, #176
248    0x60A8, // 您, #251
249    0x60C5, // 情, #87
250    0x60F3, // 想, #290
251    0x610F, // 意, #184
252    0x611F, // 感, #253
253    0x620F, // 戏, #237
254    0x6210, // 成, #71
255    0x6211, // 我, #11
256    0x6216, // 或, #321
257    0x6218, // 战, #369
258    0x6237, // 户, #215
259    0x623F, // 房, #236
260    0x6240, // 所, #147
261    0x624B, // 手, #55
262    0x624D, // 才, #407
263    0x6253, // 打, #281
264    0x6280, // 技, #203
265    0x6295, // 投, #408
266    0x62A4, // 护, #502
267    0x62A5, // 报, #113
268    0x62DB, // 招, #363
269    0x6301, // 持, #403
270    0x6307, // 指, #414
271    0x636E, // 据, #409
272    0x6392, // 排, #377
273    0x63A5, // 接, #266
274    0x63A8, // 推, #244
275    0x63D0, // 提, #181
276    0x641C, // 搜, #301
277    0x64AD, // 播, #401
278    0x652F, // 支, #400
279    0x6536, // 收, #158
280    0x653E, // 放, #317
281    0x653F, // 政, #380
282    0x6548, // 效, #496
283    0x6559, // 教, #170
284    0x6570, // 数, #136
285    0x6587, // 文, #21
286    0x6599, // 料, #295
287    0x65AF, // 斯, #473
288    0x65B0, // 新, #14
289    0x65B9, // 方, #68
290    0x65C5, // 旅, #457
291    0x65E0, // 无, #164
292    0x65E5, // 日, #50
293    0x65F6, // 时, #18
294    0x660E, // 明, #132
295    0x6613, // 易, #428
296    0x661F, // 星, #240
297    0x662F, // 是, #6
298    0x663E, // 显, #486
299    0x66F4, // 更, #103
300    0x6700, // 最, #61
301    0x6708, // 月, #80
302    0x6709, // 有, #5
303    0x670D, // 服, #94
304    0x671F, // 期, #139
305    0x672C, // 本, #56
306    0x672F, // 术, #216
307    0x673A, // 机, #27
308    0x6743, // 权, #250
309    0x6761, // 条, #309
310    0x6765, // 来, #42
311    0x677F, // 板, #505
312    0x6797, // 林, #475
313    0x679C, // 果, #212
314    0x67E5, // 查, #165
315    0x6807, // 标, #269
316    0x6821, // 校, #462
317    0x6837, // 样, #314
318    0x683C, // 格, #238
319    0x6848, // 案, #378
320    0x697C, // 楼, #342
321    0x6A21, // 模, #413
322    0x6B21, // 次, #263
323    0x6B22, // 欢, #443
324    0x6B3E, // 款, #358
325    0x6B63, // 正, #219
326    0x6B64, // 此, #362
327    0x6BD4, // 比, #298
328    0x6C11, // 民, #279
329    0x6C14, // 气, #303
330    0x6C34, // 水, #163
331    0x6C42, // 求, #373
332    0x6C5F, // 江, #336
333    0x6CA1, // 没, #229
334    0x6CBB, // 治, #425
335    0x6CD5, // 法, #85
336    0x6CE8, // 注, #119
337    0x6D3B, // 活, #231
338    0x6D41, // 流, #280
339    0x6D4B, // 测, #460
340    0x6D77, // 海, #124
341    0x6D88, // 消, #415
342    0x6DF1, // 深, #477
343    0x6E05, // 清, #311
344    0x6E38, // 游, #81
345    0x6E90, // 源, #325
346    0x706B, // 火, #498
347    0x70B9, // 点, #58
348    0x70ED, // 热, #183
349    0x7136, // 然, #308
350    0x7167, // 照, #431
351    0x7231, // 爱, #223
352    0x7247, // 片, #128
353    0x7248, // 版, #91
354    0x724C, // 牌, #429
355    0x7269, // 物, #169
356    0x7279, // 特, #224
357    0x738B, // 王, #351
358    0x73A9, // 玩, #476
359    0x73B0, // 现, #125
360    0x7403, // 球, #367
361    0x7406, // 理, #69
362    0x751F, // 生, #24
363    0x7528, // 用, #17
364    0x7531, // 由, #441
365    0x7535, // 电, #34
366    0x7537, // 男, #275
367    0x754C, // 界, #419
368    0x75C5, // 病, #371
369    0x767B, // 登, #204
370    0x767D, // 白, #338
371    0x767E, // 百, #157
372    0x7684, // 的, #1
373    0x76D8, // 盘, #493
374    0x76EE, // 目, #261
375    0x76F4, // 直, #391
376    0x76F8, // 相, #143
377    0x7701, // 省, #464
378    0x770B, // 看, #54
379    0x771F, // 真, #249
380    0x7740, // 着, #302
381    0x77E5, // 知, #142
382    0x7801, // 码, #257
383    0x7814, // 研, #387
384    0x793A, // 示, #334
385    0x793E, // 社, #343
386    0x795E, // 神, #330
387    0x798F, // 福, #509
388    0x79BB, // 离, #454
389    0x79CD, // 种, #278
390    0x79D1, // 科, #126
391    0x79EF, // 积, #390
392    0x7A0B, // 程, #209
393    0x7A76, // 究, #504
394    0x7A7A, // 空, #312
395    0x7ACB, // 立, #393
396    0x7AD9, // 站, #107
397    0x7AE0, // 章, #304
398    0x7B2C, // 第, #96
399    0x7B49, // 等, #210
400    0x7B54, // 答, #256
401    0x7B80, // 简, #474
402    0x7BA1, // 管, #221
403    0x7C7B, // 类, #246
404    0x7CBE, // 精, #226
405    0x7CFB, // 系, #89
406    0x7D22, // 索, #354
407    0x7EA2, // 红, #417
408    0x7EA7, // 级, #178
409    0x7EBF, // 线, #108
410    0x7EC4, // 组, #389
411    0x7EC6, // 细, #442
412    0x7ECF, // 经, #74
413    0x7ED3, // 结, #333
414    0x7ED9, // 给, #384
415    0x7EDC, // 络, #472
416    0x7EDF, // 统, #344
417    0x7F16, // 编, #424
418    0x7F51, // 网, #9
419    0x7F6E, // 置, #411
420    0x7F8E, // 美, #60
421    0x8001, // 老, #292
422    0x8003, // 考, #288
423    0x8005, // 者, #106
424    0x800C, // 而, #297
425    0x8054, // 联, #159
426    0x80B2, // 育, #327
427    0x80FD, // 能, #59
428    0x81EA, // 自, #77
429    0x8272, // 色, #198
430    0x8282, // 节, #361
431    0x82B1, // 花, #299
432    0x82F1, // 英, #316
433    0x8350, // 荐, #402
434    0x836F, // 药, #481
435    0x8425, // 营, #394
436    0x85CF, // 藏, #337
437    0x884C, // 行, #41
438    0x8868, // 表, #104
439    0x88AB, // 被, #289
440    0x88C5, // 装, #161
441    0x897F, // 西, #199
442    0x8981, // 要, #48
443    0x89C1, // 见, #360
444    0x89C2, // 观, #423
445    0x89C4, // 规, #453
446    0x89C6, // 视, #120
447    0x89E3, // 解, #264
448    0x8A00, // 言, #433
449    0x8BA1, // 计, #191
450    0x8BA4, // 认, #482
451    0x8BA9, // 让, #421
452    0x8BAE, // 议, #427
453    0x8BAF, // 讯, #388
454    0x8BB0, // 记, #273
455    0x8BBA, // 论, #66
456    0x8BBE, // 设, #162
457    0x8BC1, // 证, #201
458    0x8BC4, // 评, #111
459    0x8BC6, // 识, #463
460    0x8BD5, // 试, #323
461    0x8BDD, // 话, #247
462    0x8BE2, // 询, #432
463    0x8BE5, // 该, #447
464    0x8BE6, // 详, #497
465    0x8BED, // 语, #268
466    0x8BF4, // 说, #112
467    0x8BF7, // 请, #213
468    0x8BFB, // 读, #341
469    0x8C03, // 调, #438
470    0x8D22, // 财, #488
471    0x8D28, // 质, #386
472    0x8D2D, // 购, #260
473    0x8D34, // 贴, #510
474    0x8D39, // 费, #242
475    0x8D44, // 资, #116
476    0x8D77, // 起, #220
477    0x8D85, // 超, #406
478    0x8DEF, // 路, #235
479    0x8EAB, // 身, #262
480    0x8F66, // 车, #82
481    0x8F6C, // 转, #322
482    0x8F7D, // 载, #175
483    0x8FBE, // 达, #435
484    0x8FC7, // 过, #118
485    0x8FD0, // 运, #357
486    0x8FD1, // 近, #492
487    0x8FD8, // 还, #171
488    0x8FD9, // 这, #57
489    0x8FDB, // 进, #160
490    0x8FDE, // 连, #489
491    0x9009, // 选, #328
492    0x901A, // 通, #137
493    0x901F, // 速, #458
494    0x9020, // 造, #511
495    0x9053, // 道, #79
496    0x90A3, // 那, #305
497    0x90E8, // 部, #102
498    0x90FD, // 都, #167
499    0x914D, // 配, #479
500    0x9152, // 酒, #444
501    0x91CC, // 里, #196
502    0x91CD, // 重, #230
503    0x91CF, // 量, #248
504    0x91D1, // 金, #134
505    0x9500, // 销, #465
506    0x957F, // 长, #152
507    0x95E8, // 门, #185
508    0x95EE, // 问, #92
509    0x95F4, // 间, #88
510    0x95FB, // 闻, #313
511    0x9605, // 阅, #467
512    0x9633, // 阳, #420
513    0x9645, // 际, #501
514    0x9650, // 限, #286
515    0x9662, // 院, #276
516    0x96C6, // 集, #284
517    0x9700, // 需, #405
518    0x9762, // 面, #123
519    0x97F3, // 音, #335
520    0x9875, // 页, #63
521    0x9879, // 项, #506
522    0x9891, // 频, #200
523    0x9898, // 题, #110
524    0x98CE, // 风, #252
525    0x98DF, // 食, #445
526    0x9996, // 首, #149
527    0x9999, // 香, #512
528    0x9A6C, // 马, #392
529    0x9A8C, // 验, #382
530    0x9AD8, // 高, #67
531    0x9F99, // 龙, #426
532};
533// the percentage of the sample covered by the above characters
534static const float frequent_zhCN_coverage=0.718950369339973;
535
536// The 512 most frequently occuring characters for the zhTW language in a sample of the Internet.
537// Ordered by codepoint, comment shows character and ranking by frequency
538const uint16_t frequent_zhTW[] = {
539    0x4E00, // 一, #2
540    0x4E09, // 三, #131
541    0x4E0A, // 上, #12
542    0x4E0B, // 下, #37
543    0x4E0D, // 不, #6
544    0x4E16, // 世, #312
545    0x4E26, // 並, #434
546    0x4E2D, // 中, #9
547    0x4E3B, // 主, #97
548    0x4E4B, // 之, #55
549    0x4E5F, // 也, #95
550    0x4E86, // 了, #19
551    0x4E8B, // 事, #128
552    0x4E8C, // 二, #187
553    0x4E94, // 五, #339
554    0x4E9B, // 些, #435
555    0x4E9E, // 亞, #432
556    0x4EA4, // 交, #264
557    0x4EAB, // 享, #160
558    0x4EBA, // 人, #3
559    0x4EC0, // 什, #483
560    0x4ECA, // 今, #380
561    0x4ECB, // 介, #468
562    0x4ED6, // 他, #65
563    0x4EE3, // 代, #284
564    0x4EE5, // 以, #26
565    0x4EF6, // 件, #234
566    0x4EFB, // 任, #381
567    0x4EFD, // 份, #447
568    0x4F46, // 但, #281
569    0x4F4D, // 位, #202
570    0x4F4F, // 住, #471
571    0x4F55, // 何, #334
572    0x4F5C, // 作, #56
573    0x4F60, // 你, #64
574    0x4F7F, // 使, #236
575    0x4F86, // 來, #38
576    0x4F9B, // 供, #397
577    0x4FBF, // 便, #440
578    0x4FC2, // 係, #506
579    0x4FDD, // 保, #161
580    0x4FE1, // 信, #268
581    0x4FEE, // 修, #473
582    0x500B, // 個, #27
583    0x5011, // 們, #109
584    0x505A, // 做, #383
585    0x5065, // 健, #415
586    0x5099, // 備, #461
587    0x50B3, // 傳, #277
588    0x50CF, // 像, #403
589    0x50F9, // 價, #93
590    0x512A, // 優, #396
591    0x5143, // 元, #158
592    0x5148, // 先, #382
593    0x5149, // 光, #216
594    0x514D, // 免, #321
595    0x5152, // 兒, #374
596    0x5165, // 入, #58
597    0x5167, // 內, #106
598    0x5168, // 全, #67
599    0x5169, // 兩, #322
600    0x516C, // 公, #53
601    0x516D, // 六, #493
602    0x5171, // 共, #456
603    0x5176, // 其, #148
604    0x5177, // 具, #328
605    0x518A, // 冊, #360
606    0x518D, // 再, #311
607    0x51FA, // 出, #44
608    0x5206, // 分, #15
609    0x5217, // 列, #259
610    0x5225, // 別, #361
611    0x5229, // 利, #251
612    0x5230, // 到, #29
613    0x5247, // 則, #511
614    0x524D, // 前, #82
615    0x5275, // 創, #409
616    0x529B, // 力, #176
617    0x529F, // 功, #430
618    0x52A0, // 加, #87
619    0x52A9, // 助, #465
620    0x52D5, // 動, #48
621    0x52D9, // 務, #102
622    0x5305, // 包, #248
623    0x5316, // 化, #223
624    0x5317, // 北, #145
625    0x5340, // 區, #60
626    0x5341, // 十, #242
627    0x5357, // 南, #261
628    0x535A, // 博, #484
629    0x5361, // 卡, #327
630    0x5370, // 印, #498
631    0x5373, // 即, #351
632    0x539F, // 原, #237
633    0x53BB, // 去, #190
634    0x53C3, // 參, #444
635    0x53C8, // 又, #426
636    0x53CA, // 及, #136
637    0x53CB, // 友, #142
638    0x53D6, // 取, #422
639    0x53D7, // 受, #410
640    0x53E3, // 口, #357
641    0x53EA, // 只, #250
642    0x53EF, // 可, #35
643    0x53F0, // 台, #34
644    0x53F8, // 司, #226
645    0x5403, // 吃, #362
646    0x5404, // 各, #454
647    0x5408, // 合, #147
648    0x540C, // 同, #173
649    0x540D, // 名, #108
650    0x544A, // 告, #186
651    0x548C, // 和, #130
652    0x54C1, // 品, #23
653    0x54E1, // 員, #150
654    0x5546, // 商, #75
655    0x554F, // 問, #120
656    0x559C, // 喜, #502
657    0x55AE, // 單, #210
658    0x55CE, // 嗎, #443
659    0x5668, // 器, #305
660    0x56DB, // 四, #318
661    0x56DE, // 回, #59
662    0x56E0, // 因, #253
663    0x570B, // 國, #21
664    0x5712, // 園, #345
665    0x5716, // 圖, #73
666    0x5718, // 團, #338
667    0x5728, // 在, #11
668    0x5730, // 地, #50
669    0x578B, // 型, #270
670    0x57CE, // 城, #466
671    0x57FA, // 基, #349
672    0x5831, // 報, #127
673    0x5834, // 場, #165
674    0x58EB, // 士, #372
675    0x5916, // 外, #152
676    0x591A, // 多, #54
677    0x5927, // 大, #8
678    0x5929, // 天, #43
679    0x592A, // 太, #343
680    0x5947, // 奇, #325
681    0x5973, // 女, #85
682    0x5979, // 她, #420
683    0x597D, // 好, #22
684    0x5982, // 如, #144
685    0x5B50, // 子, #46
686    0x5B57, // 字, #275
687    0x5B78, // 學, #49
688    0x5B89, // 安, #239
689    0x5B8C, // 完, #320
690    0x5B9A, // 定, #159
691    0x5BA2, // 客, #188
692    0x5BB6, // 家, #31
693    0x5BB9, // 容, #244
694    0x5BE6, // 實, #198
695    0x5BF6, // 寶, #367
696    0x5C07, // 將, #232
697    0x5C08, // 專, #133
698    0x5C0B, // 尋, #352
699    0x5C0D, // 對, #126
700    0x5C0E, // 導, #418
701    0x5C0F, // 小, #20
702    0x5C11, // 少, #368
703    0x5C31, // 就, #63
704    0x5C55, // 展, #341
705    0x5C71, // 山, #273
706    0x5DE5, // 工, #121
707    0x5DF1, // 己, #402
708    0x5DF2, // 已, #299
709    0x5E02, // 市, #81
710    0x5E2B, // 師, #262
711    0x5E36, // 帶, #470
712    0x5E38, // 常, #303
713    0x5E73, // 平, #297
714    0x5E74, // 年, #30
715    0x5E97, // 店, #171
716    0x5EA6, // 度, #220
717    0x5EB7, // 康, #441
718    0x5EE3, // 廣, #279
719    0x5EFA, // 建, #254
720    0x5F0F, // 式, #155
721    0x5F15, // 引, #346
722    0x5F35, // 張, #366
723    0x5F37, // 強, #437
724    0x5F71, // 影, #94
725    0x5F88, // 很, #177
726    0x5F8C, // 後, #66
727    0x5F97, // 得, #113
728    0x5F9E, // 從, #436
729    0x5FC3, // 心, #57
730    0x5FEB, // 快, #292
731    0x6027, // 性, #175
732    0x606F, // 息, #378
733    0x60A8, // 您, #252
734    0x60C5, // 情, #123
735    0x60F3, // 想, #178
736    0x610F, // 意, #168
737    0x611B, // 愛, #125
738    0x611F, // 感, #211
739    0x61C9, // 應, #164
740    0x6210, // 成, #86
741    0x6211, // 我, #7
742    0x6216, // 或, #199
743    0x6230, // 戰, #438
744    0x6232, // 戲, #309
745    0x6236, // 戶, #497
746    0x623F, // 房, #274
747    0x6240, // 所, #79
748    0x624B, // 手, #68
749    0x624D, // 才, #400
750    0x6253, // 打, #278
751    0x627E, // 找, #449
752    0x6280, // 技, #332
753    0x6295, // 投, #425
754    0x62C9, // 拉, #500
755    0x62CD, // 拍, #398
756    0x6307, // 指, #407
757    0x6392, // 排, #458
758    0x63A5, // 接, #326
759    0x63A8, // 推, #153
760    0x63D0, // 提, #235
761    0x641C, // 搜, #314
762    0x6469, // 摩, #472
763    0x6536, // 收, #249
764    0x6539, // 改, #508
765    0x653E, // 放, #331
766    0x653F, // 政, #295
767    0x6559, // 教, #184
768    0x6574, // 整, #394
769    0x6578, // 數, #134
770    0x6587, // 文, #16
771    0x6599, // 料, #167
772    0x65AF, // 斯, #476
773    0x65B0, // 新, #10
774    0x65B9, // 方, #96
775    0x65BC, // 於, #70
776    0x65C5, // 旅, #289
777    0x65E5, // 日, #18
778    0x660E, // 明, #118
779    0x6613, // 易, #482
780    0x661F, // 星, #205
781    0x662F, // 是, #5
782    0x6642, // 時, #13
783    0x66F4, // 更, #149
784    0x66F8, // 書, #209
785    0x6700, // 最, #51
786    0x6703, // 會, #14
787    0x6708, // 月, #25
788    0x6709, // 有, #4
789    0x670D, // 服, #99
790    0x671F, // 期, #139
791    0x672A, // 未, #404
792    0x672C, // 本, #45
793    0x6771, // 東, #221
794    0x677F, // 板, #364
795    0x6797, // 林, #330
796    0x679C, // 果, #179
797    0x67E5, // 查, #283
798    0x683C, // 格, #157
799    0x6848, // 案, #392
800    0x689D, // 條, #406
801    0x696D, // 業, #103
802    0x6A02, // 樂, #116
803    0x6A13, // 樓, #411
804    0x6A19, // 標, #384
805    0x6A23, // 樣, #306
806    0x6A5F, // 機, #40
807    0x6AA2, // 檢, #359
808    0x6B0A, // 權, #228
809    0x6B21, // 次, #227
810    0x6B3E, // 款, #276
811    0x6B4C, // 歌, #496
812    0x6B61, // 歡, #427
813    0x6B63, // 正, #206
814    0x6B64, // 此, #247
815    0x6BCF, // 每, #391
816    0x6BD4, // 比, #257
817    0x6C11, // 民, #230
818    0x6C23, // 氣, #200
819    0x6C34, // 水, #140
820    0x6C42, // 求, #501
821    0x6C92, // 沒, #162
822    0x6CD5, // 法, #89
823    0x6D3B, // 活, #124
824    0x6D41, // 流, #315
825    0x6D77, // 海, #258
826    0x6D88, // 消, #342
827    0x6E05, // 清, #329
828    0x6E2F, // 港, #293
829    0x6F14, // 演, #491
830    0x7063, // 灣, #195
831    0x70BA, // 為, #39
832    0x7121, // 無, #107
833    0x7136, // 然, #215
834    0x7167, // 照, #376
835    0x71B1, // 熱, #245
836    0x7247, // 片, #90
837    0x7248, // 版, #112
838    0x724C, // 牌, #467
839    0x7269, // 物, #110
840    0x7279, // 特, #183
841    0x738B, // 王, #287
842    0x73A9, // 玩, #354
843    0x73FE, // 現, #143
844    0x7403, // 球, #350
845    0x7406, // 理, #105
846    0x751F, // 生, #24
847    0x7522, // 產, #201
848    0x7528, // 用, #17
849    0x7531, // 由, #288
850    0x7537, // 男, #298
851    0x754C, // 界, #399
852    0x7559, // 留, #218
853    0x756B, // 畫, #412
854    0x7576, // 當, #185
855    0x767B, // 登, #138
856    0x767C, // 發, #28
857    0x767D, // 白, #377
858    0x767E, // 百, #393
859    0x7684, // 的, #1
860    0x76EE, // 目, #271
861    0x76F4, // 直, #379
862    0x76F8, // 相, #98
863    0x770B, // 看, #52
864    0x771F, // 真, #180
865    0x773C, // 眼, #433
866    0x77E5, // 知, #170
867    0x78BC, // 碼, #481
868    0x793A, // 示, #353
869    0x793E, // 社, #333
870    0x795E, // 神, #304
871    0x7968, // 票, #477
872    0x798F, // 福, #494
873    0x79C1, // 私, #507
874    0x79D1, // 科, #280
875    0x7A0B, // 程, #272
876    0x7A2E, // 種, #337
877    0x7A4D, // 積, #385
878    0x7A7A, // 空, #324
879    0x7ACB, // 立, #286
880    0x7AD9, // 站, #117
881    0x7AE0, // 章, #141
882    0x7B2C, // 第, #135
883    0x7B49, // 等, #240
884    0x7BA1, // 管, #340
885    0x7BC0, // 節, #431
886    0x7BC7, // 篇, #479
887    0x7C21, // 簡, #499
888    0x7CBE, // 精, #213
889    0x7CFB, // 系, #212
890    0x7D04, // 約, #462
891    0x7D05, // 紅, #452
892    0x7D1A, // 級, #267
893    0x7D30, // 細, #486
894    0x7D44, // 組, #335
895    0x7D50, // 結, #243
896    0x7D66, // 給, #355
897    0x7D71, // 統, #375
898    0x7D93, // 經, #111
899    0x7DB2, // 網, #32
900    0x7DDA, // 線, #151
901    0x7E23, // 縣, #439
902    0x7E3D, // 總, #370
903    0x7F8E, // 美, #41
904    0x7FA9, // 義, #504
905    0x8001, // 老, #290
906    0x8003, // 考, #428
907    0x8005, // 者, #92
908    0x800C, // 而, #217
909    0x805E, // 聞, #181
910    0x806F, // 聯, #310
911    0x8072, // 聲, #413
912    0x80A1, // 股, #390
913    0x80B2, // 育, #453
914    0x80FD, // 能, #71
915    0x8166, // 腦, #408
916    0x81EA, // 自, #61
917    0x81F3, // 至, #344
918    0x8207, // 與, #84
919    0x8209, // 舉, #463
920    0x8272, // 色, #192
921    0x82B1, // 花, #255
922    0x82F1, // 英, #348
923    0x83EF, // 華, #196
924    0x842C, // 萬, #316
925    0x843D, // 落, #308
926    0x8457, // 著, #233
927    0x85A6, // 薦, #401
928    0x85CF, // 藏, #503
929    0x85DD, // 藝, #488
930    0x8655, // 處, #419
931    0x865F, // 號, #191
932    0x884C, // 行, #47
933    0x8853, // 術, #395
934    0x8868, // 表, #77
935    0x88AB, // 被, #291
936    0x88DD, // 裝, #256
937    0x88E1, // 裡, #369
938    0x88FD, // 製, #510
939    0x897F, // 西, #300
940    0x8981, // 要, #36
941    0x898B, // 見, #307
942    0x8996, // 視, #204
943    0x89BA, // 覺, #450
944    0x89BD, // 覽, #387
945    0x89C0, // 觀, #365
946    0x89E3, // 解, #323
947    0x8A00, // 言, #169
948    0x8A02, // 訂, #423
949    0x8A08, // 計, #225
950    0x8A0A, // 訊, #156
951    0x8A0E, // 討, #373
952    0x8A18, // 記, #222
953    0x8A2D, // 設, #174
954    0x8A3B, // 註, #356
955    0x8A55, // 評, #246
956    0x8A66, // 試, #448
957    0x8A71, // 話, #229
958    0x8A72, // 該, #446
959    0x8A8D, // 認, #464
960    0x8A9E, // 語, #371
961    0x8AAA, // 說, #91
962    0x8ABF, // 調, #509
963    0x8ACB, // 請, #119
964    0x8AD6, // 論, #114
965    0x8B1D, // 謝, #389
966    0x8B49, // 證, #429
967    0x8B58, // 識, #416
968    0x8B70, // 議, #485
969    0x8B77, // 護, #475
970    0x8B80, // 讀, #386
971    0x8B8A, // 變, #388
972    0x8B93, // 讓, #336
973    0x8CA8, // 貨, #313
974    0x8CB7, // 買, #260
975    0x8CBB, // 費, #203
976    0x8CC7, // 資, #62
977    0x8CE3, // 賣, #294
978    0x8CEA, // 質, #457
979    0x8CFC, // 購, #189
980    0x8D77, // 起, #214
981    0x8D85, // 超, #296
982    0x8DDF, // 跟, #489
983    0x8DEF, // 路, #137
984    0x8EAB, // 身, #197
985    0x8ECA, // 車, #76
986    0x8F09, // 載, #301
987    0x8F49, // 轉, #282
988    0x8FD1, // 近, #414
989    0x9001, // 送, #363
990    0x9019, // 這, #42
991    0x901A, // 通, #207
992    0x901F, // 速, #495
993    0x9020, // 造, #455
994    0x9023, // 連, #285
995    0x9032, // 進, #231
996    0x904A, // 遊, #132
997    0x904B, // 運, #219
998    0x904E, // 過, #101
999    0x9053, // 道, #146
1000    0x9054, // 達, #417
1001    0x9078, // 選, #182
1002    0x9084, // 還, #154
1003    0x908A, // 邊, #487
1004    0x90A3, // 那, #269
1005    0x90E8, // 部, #78
1006    0x90FD, // 都, #104
1007    0x914D, // 配, #421
1008    0x9152, // 酒, #512
1009    0x91AB, // 醫, #358
1010    0x91CD, // 重, #224
1011    0x91CF, // 量, #319
1012    0x91D1, // 金, #115
1013    0x9304, // 錄, #302
1014    0x9577, // 長, #172
1015    0x9580, // 門, #193
1016    0x958B, // 開, #72
1017    0x9593, // 間, #80
1018    0x95B1, // 閱, #405
1019    0x95DC, // 關, #74
1020    0x963F, // 阿, #460
1021    0x9650, // 限, #265
1022    0x9662, // 院, #474
1023    0x9664, // 除, #478
1024    0x969B, // 際, #459
1025    0x96C6, // 集, #347
1026    0x96E2, // 離, #442
1027    0x96FB, // 電, #33
1028    0x9700, // 需, #445
1029    0x975E, // 非, #451
1030    0x9762, // 面, #129
1031    0x97F3, // 音, #194
1032    0x9801, // 頁, #83
1033    0x982D, // 頭, #238
1034    0x984C, // 題, #122
1035    0x985E, // 類, #163
1036    0x98A8, // 風, #266
1037    0x98DF, // 食, #208
1038    0x9910, // 餐, #469
1039    0x9928, // 館, #424
1040    0x9996, // 首, #166
1041    0x9999, // 香, #263
1042    0x99AC, // 馬, #317
1043    0x9A57, // 驗, #492
1044    0x9AD4, // 體, #100
1045    0x9AD8, // 高, #88
1046    0x9EBC, // 麼, #241
1047    0x9EC3, // 黃, #480
1048    0x9ED1, // 黑, #490
1049    0x9EDE, // 點, #69
1050    0x9F8D, // 龍, #505
1051};
1052// the percentage of the sample covered by the above characters
1053static const float frequent_zhTW_coverage=0.704841200026877;
1054
1055// The 512 most frequently occuring characters for the ja language in a sample of the Internet.
1056// Ordered by codepoint, comment shows character and ranking by frequency
1057const uint16_t frequent_ja[] = {
1058    0x3005, // 々, #352
1059    0x3041, // ぁ, #486
1060    0x3042, // あ, #50
1061    0x3044, // い, #2
1062    0x3046, // う, #33
1063    0x3048, // え, #83
1064    0x304A, // お, #37
1065    0x304B, // か, #21
1066    0x304C, // が, #17
1067    0x304D, // き, #51
1068    0x304E, // ぎ, #324
1069    0x304F, // く, #38
1070    0x3050, // ぐ, #334
1071    0x3051, // け, #60
1072    0x3052, // げ, #296
1073    0x3053, // こ, #34
1074    0x3054, // ご, #100
1075    0x3055, // さ, #31
1076    0x3056, // ざ, #378
1077    0x3057, // し, #4
1078    0x3058, // じ, #121
1079    0x3059, // す, #12
1080    0x305A, // ず, #215
1081    0x305B, // せ, #86
1082    0x305D, // そ, #68
1083    0x305F, // た, #11
1084    0x3060, // だ, #42
1085    0x3061, // ち, #67
1086    0x3063, // っ, #23
1087    0x3064, // つ, #73
1088    0x3066, // て, #7
1089    0x3067, // で, #6
1090    0x3068, // と, #14
1091    0x3069, // ど, #75
1092    0x306A, // な, #8
1093    0x306B, // に, #5
1094    0x306D, // ね, #123
1095    0x306E, // の, #1
1096    0x306F, // は, #16
1097    0x3070, // ば, #150
1098    0x3071, // ぱ, #259
1099    0x3072, // ひ, #364
1100    0x3073, // び, #266
1101    0x3075, // ふ, #484
1102    0x3076, // ぶ, #330
1103    0x3078, // へ, #146
1104    0x3079, // べ, #207
1105    0x307B, // ほ, #254
1106    0x307E, // ま, #18
1107    0x307F, // み, #74
1108    0x3080, // む, #285
1109    0x3081, // め, #78
1110    0x3082, // も, #32
1111    0x3083, // ゃ, #111
1112    0x3084, // や, #85
1113    0x3086, // ゆ, #392
1114    0x3087, // ょ, #224
1115    0x3088, // よ, #63
1116    0x3089, // ら, #29
1117    0x308A, // り, #28
1118    0x308B, // る, #9
1119    0x308C, // れ, #35
1120    0x308D, // ろ, #127
1121    0x308F, // わ, #88
1122    0x3092, // を, #19
1123    0x3093, // ん, #22
1124    0x30A1, // ァ, #193
1125    0x30A2, // ア, #27
1126    0x30A3, // ィ, #70
1127    0x30A4, // イ, #15
1128    0x30A6, // ウ, #89
1129    0x30A7, // ェ, #134
1130    0x30A8, // エ, #81
1131    0x30A9, // ォ, #225
1132    0x30AA, // オ, #76
1133    0x30AB, // カ, #52
1134    0x30AC, // ガ, #147
1135    0x30AD, // キ, #66
1136    0x30AE, // ギ, #246
1137    0x30AF, // ク, #25
1138    0x30B0, // グ, #39
1139    0x30B1, // ケ, #137
1140    0x30B2, // ゲ, #200
1141    0x30B3, // コ, #46
1142    0x30B4, // ゴ, #183
1143    0x30B5, // サ, #64
1144    0x30B6, // ザ, #221
1145    0x30B7, // シ, #48
1146    0x30B8, // ジ, #55
1147    0x30B9, // ス, #13
1148    0x30BA, // ズ, #103
1149    0x30BB, // セ, #109
1150    0x30BC, // ゼ, #499
1151    0x30BD, // ソ, #175
1152    0x30BF, // タ, #45
1153    0x30C0, // ダ, #104
1154    0x30C1, // チ, #71
1155    0x30C3, // ッ, #20
1156    0x30C4, // ツ, #119
1157    0x30C6, // テ, #59
1158    0x30C7, // デ, #82
1159    0x30C8, // ト, #10
1160    0x30C9, // ド, #44
1161    0x30CA, // ナ, #102
1162    0x30CB, // ニ, #72
1163    0x30CD, // ネ, #117
1164    0x30CE, // ノ, #192
1165    0x30CF, // ハ, #164
1166    0x30D0, // バ, #62
1167    0x30D1, // パ, #90
1168    0x30D2, // ヒ, #398
1169    0x30D3, // ビ, #77
1170    0x30D4, // ピ, #135
1171    0x30D5, // フ, #47
1172    0x30D6, // ブ, #56
1173    0x30D7, // プ, #43
1174    0x30D8, // ヘ, #268
1175    0x30D9, // ベ, #157
1176    0x30DA, // ペ, #125
1177    0x30DB, // ホ, #155
1178    0x30DC, // ボ, #168
1179    0x30DD, // ポ, #114
1180    0x30DE, // マ, #57
1181    0x30DF, // ミ, #97
1182    0x30E0, // ム, #69
1183    0x30E1, // メ, #53
1184    0x30E2, // モ, #142
1185    0x30E3, // ャ, #93
1186    0x30E4, // ヤ, #258
1187    0x30E5, // ュ, #79
1188    0x30E6, // ユ, #405
1189    0x30E7, // ョ, #98
1190    0x30E9, // ラ, #26
1191    0x30EA, // リ, #30
1192    0x30EB, // ル, #24
1193    0x30EC, // レ, #41
1194    0x30ED, // ロ, #40
1195    0x30EF, // ワ, #144
1196    0x30F3, // ン, #3
1197    0x30F4, // ヴ, #483
1198    0x30FD, // ヽ, #501
1199    0x4E00, // 一, #84
1200    0x4E07, // 万, #337
1201    0x4E09, // 三, #323
1202    0x4E0A, // 上, #133
1203    0x4E0B, // 下, #180
1204    0x4E0D, // 不, #277
1205    0x4E16, // 世, #385
1206    0x4E2D, // 中, #87
1207    0x4E3B, // 主, #432
1208    0x4E88, // 予, #326
1209    0x4E8B, // 事, #95
1210    0x4E8C, // 二, #394
1211    0x4E95, // 井, #468
1212    0x4EA4, // 交, #410
1213    0x4EAC, // 京, #260
1214    0x4EBA, // 人, #61
1215    0x4ECA, // 今, #184
1216    0x4ECB, // 介, #358
1217    0x4ED5, // 仕, #391
1218    0x4ED6, // 他, #256
1219    0x4ED8, // 付, #243
1220    0x4EE3, // 代, #280
1221    0x4EE5, // 以, #216
1222    0x4EF6, // 件, #190
1223    0x4F1A, // 会, #105
1224    0x4F4D, // 位, #177
1225    0x4F4F, // 住, #376
1226    0x4F53, // 体, #223
1227    0x4F55, // 何, #294
1228    0x4F5C, // 作, #154
1229    0x4F7F, // 使, #233
1230    0x4F9B, // 供, #503
1231    0x4FA1, // 価, #217
1232    0x4FBF, // 便, #511
1233    0x4FDD, // 保, #279
1234    0x4FE1, // 信, #271
1235    0x500B, // 個, #415
1236    0x50CF, // 像, #178
1237    0x512A, // 優, #403
1238    0x5143, // 元, #384
1239    0x5148, // 先, #311
1240    0x5149, // 光, #488
1241    0x5165, // 入, #115
1242    0x5168, // 全, #173
1243    0x516C, // 公, #287
1244    0x5177, // 具, #447
1245    0x5185, // 内, #169
1246    0x5186, // 円, #131
1247    0x5199, // 写, #275
1248    0x51FA, // 出, #110
1249    0x5206, // 分, #130
1250    0x5207, // 切, #401
1251    0x521D, // 初, #319
1252    0x5225, // 別, #290
1253    0x5229, // 利, #226
1254    0x5236, // 制, #507
1255    0x524D, // 前, #124
1256    0x529B, // 力, #272
1257    0x52A0, // 加, #249
1258    0x52D5, // 動, #120
1259    0x52D9, // 務, #421
1260    0x52DF, // 募, #476
1261    0x5316, // 化, #308
1262    0x5317, // 北, #341
1263    0x533A, // 区, #348
1264    0x539F, // 原, #321
1265    0x53C2, // 参, #452
1266    0x53CB, // 友, #451
1267    0x53D6, // 取, #237
1268    0x53D7, // 受, #354
1269    0x53E3, // 口, #289
1270    0x53E4, // 古, #339
1271    0x53EF, // 可, #298
1272    0x53F0, // 台, #439
1273    0x53F7, // 号, #361
1274    0x5408, // 合, #118
1275    0x540C, // 同, #263
1276    0x540D, // 名, #65
1277    0x5411, // 向, #434
1278    0x544A, // 告, #386
1279    0x5468, // 周, #393
1280    0x5473, // 味, #299
1281    0x548C, // 和, #350
1282    0x54C1, // 品, #96
1283    0x54E1, // 員, #293
1284    0x5546, // 商, #198
1285    0x554F, // 問, #158
1286    0x55B6, // 営, #438
1287    0x5668, // 器, #366
1288    0x56DE, // 回, #143
1289    0x56F3, // 図, #444
1290    0x56FD, // 国, #153
1291    0x5712, // 園, #435
1292    0x571F, // 土, #239
1293    0x5728, // 在, #351
1294    0x5730, // 地, #163
1295    0x578B, // 型, #430
1296    0x5831, // 報, #112
1297    0x5834, // 場, #139
1298    0x58F2, // 売, #232
1299    0x5909, // 変, #306
1300    0x5916, // 外, #222
1301    0x591A, // 多, #336
1302    0x5927, // 大, #80
1303    0x5929, // 天, #278
1304    0x5973, // 女, #161
1305    0x597D, // 好, #349
1306    0x5A5A, // 婚, #479
1307    0x5B50, // 子, #113
1308    0x5B57, // 字, #492
1309    0x5B66, // 学, #132
1310    0x5B89, // 安, #295
1311    0x5B9A, // 定, #145
1312    0x5B9F, // 実, #220
1313    0x5BA4, // 室, #482
1314    0x5BAE, // 宮, #487
1315    0x5BB6, // 家, #211
1316    0x5BB9, // 容, #333
1317    0x5BFE, // 対, #252
1318    0x5C02, // 専, #474
1319    0x5C0F, // 小, #212
1320    0x5C11, // 少, #377
1321    0x5C4B, // 屋, #284
1322    0x5C71, // 山, #206
1323    0x5CA1, // 岡, #429
1324    0x5CF6, // 島, #297
1325    0x5DDD, // 川, #253
1326    0x5DE5, // 工, #374
1327    0x5E02, // 市, #159
1328    0x5E2F, // 帯, #416
1329    0x5E38, // 常, #437
1330    0x5E73, // 平, #390
1331    0x5E74, // 年, #54
1332    0x5E83, // 広, #367
1333    0x5E97, // 店, #149
1334    0x5EA6, // 度, #269
1335    0x5EAB, // 庫, #380
1336    0x5F0F, // 式, #265
1337    0x5F15, // 引, #345
1338    0x5F37, // 強, #446
1339    0x5F53, // 当, #240
1340    0x5F62, // 形, #502
1341    0x5F8C, // 後, #230
1342    0x5F97, // 得, #490
1343    0x5FC3, // 心, #307
1344    0x5FC5, // 必, #422
1345    0x5FDC, // 応, #356
1346    0x601D, // 思, #189
1347    0x6027, // 性, #201
1348    0x6075, // 恵, #400
1349    0x60C5, // 情, #140
1350    0x60F3, // 想, #477
1351    0x610F, // 意, #305
1352    0x611B, // 愛, #273
1353    0x611F, // 感, #257
1354    0x6210, // 成, #262
1355    0x6226, // 戦, #365
1356    0x6240, // 所, #236
1357    0x624B, // 手, #160
1358    0x6295, // 投, #129
1359    0x6301, // 持, #355
1360    0x6307, // 指, #425
1361    0x63A2, // 探, #369
1362    0x63B2, // 掲, #399
1363    0x643A, // 携, #459
1364    0x652F, // 支, #512
1365    0x653E, // 放, #469
1366    0x6559, // 教, #270
1367    0x6570, // 数, #181
1368    0x6587, // 文, #202
1369    0x6599, // 料, #106
1370    0x65B0, // 新, #99
1371    0x65B9, // 方, #126
1372    0x65C5, // 旅, #445
1373    0x65E5, // 日, #36
1374    0x660E, // 明, #300
1375    0x6620, // 映, #418
1376    0x6642, // 時, #107
1377    0x66F4, // 更, #359
1378    0x66F8, // 書, #174
1379    0x6700, // 最, #152
1380    0x6708, // 月, #49
1381    0x6709, // 有, #302
1382    0x671F, // 期, #332
1383    0x6728, // 木, #203
1384    0x672C, // 本, #92
1385    0x6750, // 材, #489
1386    0x6751, // 村, #466
1387    0x6765, // 来, #267
1388    0x6771, // 東, #191
1389    0x677F, // 板, #411
1390    0x679C, // 果, #441
1391    0x6821, // 校, #327
1392    0x682A, // 株, #412
1393    0x683C, // 格, #228
1394    0x691C, // 検, #179
1395    0x696D, // 業, #166
1396    0x697D, // 楽, #172
1397    0x69D8, // 様, #255
1398    0x6A5F, // 機, #235
1399    0x6B21, // 次, #318
1400    0x6B62, // 止, #475
1401    0x6B63, // 正, #312
1402    0x6C17, // 気, #116
1403    0x6C34, // 水, #165
1404    0x6C42, // 求, #465
1405    0x6C7A, // 決, #370
1406    0x6CBB, // 治, #505
1407    0x6CC1, // 況, #462
1408    0x6CD5, // 法, #227
1409    0x6CE8, // 注, #372
1410    0x6D3B, // 活, #303
1411    0x6D41, // 流, #480
1412    0x6D77, // 海, #274
1413    0x6E08, // 済, #417
1414    0x6F14, // 演, #504
1415    0x706B, // 火, #264
1416    0x70B9, // 点, #331
1417    0x7121, // 無, #58
1418    0x7248, // 版, #409
1419    0x7269, // 物, #170
1420    0x7279, // 特, #242
1421    0x72B6, // 状, #458
1422    0x73FE, // 現, #322
1423    0x7406, // 理, #162
1424    0x751F, // 生, #122
1425    0x7523, // 産, #320
1426    0x7528, // 用, #94
1427    0x7530, // 田, #195
1428    0x7537, // 男, #373
1429    0x753A, // 町, #314
1430    0x753B, // 画, #91
1431    0x754C, // 界, #436
1432    0x756A, // 番, #261
1433    0x75C5, // 病, #428
1434    0x767A, // 発, #194
1435    0x767B, // 登, #231
1436    0x767D, // 白, #419
1437    0x7684, // 的, #251
1438    0x76EE, // 目, #197
1439    0x76F4, // 直, #497
1440    0x76F8, // 相, #286
1441    0x770C, // 県, #199
1442    0x771F, // 真, #219
1443    0x7740, // 着, #283
1444    0x77E5, // 知, #185
1445    0x77F3, // 石, #500
1446    0x78BA, // 確, #383
1447    0x793A, // 示, #241
1448    0x793E, // 社, #167
1449    0x795E, // 神, #315
1450    0x798F, // 福, #423
1451    0x79C1, // 私, #347
1452    0x79D1, // 科, #420
1453    0x7A0E, // 税, #368
1454    0x7A2E, // 種, #455
1455    0x7A3F, // 稿, #148
1456    0x7A7A, // 空, #427
1457    0x7ACB, // 立, #309
1458    0x7B11, // 笑, #454
1459    0x7B2C, // 第, #317
1460    0x7B49, // 等, #457
1461    0x7B54, // 答, #426
1462    0x7BA1, // 管, #481
1463    0x7CFB, // 系, #408
1464    0x7D04, // 約, #276
1465    0x7D20, // 素, #407
1466    0x7D22, // 索, #214
1467    0x7D30, // 細, #381
1468    0x7D39, // 紹, #471
1469    0x7D42, // 終, #456
1470    0x7D44, // 組, #424
1471    0x7D4C, // 経, #360
1472    0x7D50, // 結, #291
1473    0x7D9A, // 続, #357
1474    0x7DCF, // 総, #467
1475    0x7DDA, // 線, #338
1476    0x7DE8, // 編, #453
1477    0x7F8E, // 美, #204
1478    0x8003, // 考, #387
1479    0x8005, // 者, #151
1480    0x805E, // 聞, #463
1481    0x8077, // 職, #363
1482    0x80B2, // 育, #433
1483    0x80FD, // 能, #250
1484    0x8179, // 腹, #396
1485    0x81EA, // 自, #156
1486    0x826F, // 良, #329
1487    0x8272, // 色, #402
1488    0x82B1, // 花, #440
1489    0x82B8, // 芸, #413
1490    0x82F1, // 英, #485
1491    0x8449, // 葉, #472
1492    0x884C, // 行, #128
1493    0x8853, // 術, #460
1494    0x8868, // 表, #209
1495    0x88FD, // 製, #431
1496    0x897F, // 西, #406
1497    0x8981, // 要, #313
1498    0x898B, // 見, #101
1499    0x898F, // 規, #375
1500    0x89A7, // 覧, #171
1501    0x89E3, // 解, #388
1502    0x8A00, // 言, #210
1503    0x8A08, // 計, #343
1504    0x8A18, // 記, #136
1505    0x8A2D, // 設, #292
1506    0x8A71, // 話, #213
1507    0x8A73, // 詳, #371
1508    0x8A8D, // 認, #404
1509    0x8A9E, // 語, #234
1510    0x8AAC, // 説, #494
1511    0x8AAD, // 読, #301
1512    0x8ABF, // 調, #443
1513    0x8AC7, // 談, #448
1514    0x8B77, // 護, #509
1515    0x8C37, // 谷, #506
1516    0x8CA9, // 販, #362
1517    0x8CB7, // 買, #346
1518    0x8CC7, // 資, #473
1519    0x8CEA, // 質, #281
1520    0x8CFC, // 購, #495
1521    0x8EAB, // 身, #470
1522    0x8ECA, // 車, #205
1523    0x8EE2, // 転, #335
1524    0x8F09, // 載, #342
1525    0x8FBC, // 込, #229
1526    0x8FD1, // 近, #304
1527    0x8FD4, // 返, #461
1528    0x8FFD, // 追, #379
1529    0x9001, // 送, #186
1530    0x901A, // 通, #182
1531    0x901F, // 速, #340
1532    0x9023, // 連, #244
1533    0x904B, // 運, #382
1534    0x904E, // 過, #498
1535    0x9053, // 道, #282
1536    0x9054, // 達, #450
1537    0x9055, // 違, #414
1538    0x9078, // 選, #288
1539    0x90E8, // 部, #208
1540    0x90FD, // 都, #344
1541    0x914D, // 配, #389
1542    0x91CD, // 重, #478
1543    0x91CE, // 野, #245
1544    0x91D1, // 金, #138
1545    0x9332, // 録, #238
1546    0x9577, // 長, #247
1547    0x9580, // 門, #508
1548    0x958B, // 開, #248
1549    0x9593, // 間, #141
1550    0x95A2, // 関, #188
1551    0x962A, // 阪, #496
1552    0x9650, // 限, #395
1553    0x9662, // 院, #449
1554    0x9664, // 除, #510
1555    0x969B, // 際, #493
1556    0x96C6, // 集, #196
1557    0x96D1, // 雑, #442
1558    0x96FB, // 電, #187
1559    0x9762, // 面, #328
1560    0x97F3, // 音, #325
1561    0x984C, // 題, #310
1562    0x985E, // 類, #491
1563    0x98A8, // 風, #353
1564    0x98DF, // 食, #218
1565    0x9928, // 館, #464
1566    0x99C5, // 駅, #316
1567    0x9A13, // 験, #397
1568    0x9AD8, // 高, #176
1569    0xFF57, // ｗ, #108
1570};
1571// the percentage of the sample covered by the above characters
1572static const float frequent_ja_coverage=0.880569589120162;
1573
1574// The 512 most frequently occuring characters for the ko language in a sample of the Internet.
1575// Ordered by codepoint, comment shows character and ranking by frequency
1576const uint16_t frequent_ko[] = {
1577    0x314B, // ㅋ, #148
1578    0x314E, // ㅎ, #390
1579    0x3160, // ㅠ, #354
1580    0x318D, // ㆍ, #439
1581    0xAC00, // 가, #6
1582    0xAC01, // 각, #231
1583    0xAC04, // 간, #106
1584    0xAC08, // 갈, #362
1585    0xAC10, // 감, #122
1586    0xAC11, // 갑, #493
1587    0xAC15, // 강, #155
1588    0xAC19, // 같, #264
1589    0xAC1C, // 개, #87
1590    0xAC1D, // 객, #198
1591    0xAC24, // 갤, #457
1592    0xAC70, // 거, #91
1593    0xAC74, // 건, #161
1594    0xAC78, // 걸, #338
1595    0xAC80, // 검, #184
1596    0xAC83, // 것, #116
1597    0xAC8C, // 게, #36
1598    0xACA0, // 겠, #233
1599    0xACA8, // 겨, #341
1600    0xACA9, // 격, #245
1601    0xACAC, // 견, #413
1602    0xACB0, // 결, #202
1603    0xACBD, // 경, #62
1604    0xACC4, // 계, #142
1605    0xACE0, // 고, #12
1606    0xACE1, // 곡, #444
1607    0xACE8, // 골, #379
1608    0xACF3, // 곳, #388
1609    0xACF5, // 공, #59
1610    0xACFC, // 과, #69
1611    0xAD00, // 관, #95
1612    0xAD11, // 광, #235
1613    0xAD50, // 교, #128
1614    0xAD6C, // 구, #52
1615    0xAD6D, // 국, #85
1616    0xAD70, // 군, #293
1617    0xAD74, // 굴, #487
1618    0xAD81, // 궁, #441
1619    0xAD8C, // 권, #192
1620    0xADC0, // 귀, #386
1621    0xADDC, // 규, #367
1622    0xADF8, // 그, #30
1623    0xADF9, // 극, #424
1624    0xADFC, // 근, #241
1625    0xAE00, // 글, #61
1626    0xAE08, // 금, #138
1627    0xAE09, // 급, #269
1628    0xAE30, // 기, #3
1629    0xAE34, // 긴, #465
1630    0xAE38, // 길, #297
1631    0xAE40, // 김, #205
1632    0xAE4C, // 까, #171
1633    0xAED8, // 께, #273
1634    0xAF43, // 꽃, #475
1635    0xB05D, // 끝, #505
1636    0xB07C, // 끼, #490
1637    0xB098, // 나, #39
1638    0xB09C, // 난, #274
1639    0xB0A0, // 날, #292
1640    0xB0A8, // 남, #139
1641    0xB0B4, // 내, #56
1642    0xB108, // 너, #272
1643    0xB110, // 널, #476
1644    0xB118, // 넘, #492
1645    0xB124, // 네, #100
1646    0xB137, // 넷, #329
1647    0xB140, // 녀, #288
1648    0xB144, // 년, #151
1649    0xB178, // 노, #149
1650    0xB17C, // 논, #491
1651    0xB180, // 놀, #464
1652    0xB18D, // 농, #442
1653    0xB204, // 누, #319
1654    0xB208, // 눈, #383
1655    0xB274, // 뉴, #173
1656    0xB290, // 느, #368
1657    0xB294, // 는, #5
1658    0xB298, // 늘, #322
1659    0xB2A5, // 능, #190
1660    0xB2C8, // 니, #16
1661    0xB2D8, // 님, #153
1662    0xB2E4, // 다, #2
1663    0xB2E8, // 단, #134
1664    0xB2EB, // 닫, #195
1665    0xB2EC, // 달, #243
1666    0xB2F4, // 담, #254
1667    0xB2F5, // 답, #287
1668    0xB2F9, // 당, #159
1669    0xB300, // 대, #33
1670    0xB313, // 댓, #303
1671    0xB354, // 더, #140
1672    0xB358, // 던, #252
1673    0xB367, // 덧, #463
1674    0xB370, // 데, #104
1675    0xB378, // 델, #429
1676    0xB3C4, // 도, #25
1677    0xB3C5, // 독, #301
1678    0xB3CC, // 돌, #309
1679    0xB3D9, // 동, #58
1680    0xB418, // 되, #82
1681    0xB41C, // 된, #189
1682    0xB420, // 될, #408
1683    0xB429, // 됩, #332
1684    0xB450, // 두, #199
1685    0xB4A4, // 뒤, #496
1686    0xB4DC, // 드, #40
1687    0xB4E0, // 든, #283
1688    0xB4E4, // 들, #54
1689    0xB4EF, // 듯, #478
1690    0xB4F1, // 등, #90
1691    0xB514, // 디, #133
1692    0xB529, // 딩, #462
1693    0xB530, // 따, #333
1694    0xB54C, // 때, #240
1695    0xB610, // 또, #313
1696    0xB77C, // 라, #42
1697    0xB77D, // 락, #355
1698    0xB780, // 란, #290
1699    0xB78C, // 람, #246
1700    0xB78D, // 랍, #420
1701    0xB791, // 랑, #270
1702    0xB798, // 래, #174
1703    0xB799, // 랙, #381
1704    0xB79C, // 랜, #357
1705    0xB7A8, // 램, #359
1706    0xB7A9, // 랩, #402
1707    0xB7C9, // 량, #346
1708    0xB7EC, // 러, #130
1709    0xB7F0, // 런, #312
1710    0xB7FC, // 럼, #327
1711    0xB7FD, // 럽, #447
1712    0xB807, // 렇, #412
1713    0xB808, // 레, #114
1714    0xB80C, // 렌, #395
1715    0xB824, // 려, #158
1716    0xB825, // 력, #194
1717    0xB828, // 련, #326
1718    0xB839, // 령, #389
1719    0xB85C, // 로, #4
1720    0xB85D, // 록, #84
1721    0xB860, // 론, #366
1722    0xB8CC, // 료, #154
1723    0xB8E8, // 루, #236
1724    0xB958, // 류, #265
1725    0xB974, // 르, #212
1726    0xB978, // 른, #250
1727    0xB97C, // 를, #35
1728    0xB984, // 름, #276
1729    0xB9AC, // 리, #19
1730    0xB9AD, // 릭, #394
1731    0xB9B0, // 린, #259
1732    0xB9B4, // 릴, #485
1733    0xB9BC, // 림, #305
1734    0xB9BD, // 립, #217
1735    0xB9C1, // 링, #351
1736    0xB9C8, // 마, #67
1737    0xB9C9, // 막, #310
1738    0xB9CC, // 만, #65
1739    0xB9CE, // 많, #257
1740    0xB9D0, // 말, #188
1741    0xB9DB, // 맛, #397
1742    0xB9DD, // 망, #370
1743    0xB9DE, // 맞, #399
1744    0xB9E4, // 매, #125
1745    0xB9E8, // 맨, #422
1746    0xBA38, // 머, #311
1747    0xBA39, // 먹, #377
1748    0xBA3C, // 먼, #469
1749    0xBA54, // 메, #147
1750    0xBA70, // 며, #191
1751    0xBA74, // 면, #72
1752    0xBA85, // 명, #131
1753    0xBAA8, // 모, #73
1754    0xBAA9, // 목, #157
1755    0xBAB0, // 몰, #401
1756    0xBAB8, // 몸, #437
1757    0xBABB, // 못, #336
1758    0xBB34, // 무, #80
1759    0xBB38, // 문, #57
1760    0xBB3C, // 물, #94
1761    0xBBA4, // 뮤, #431
1762    0xBBF8, // 미, #76
1763    0xBBFC, // 민, #200
1764    0xBC00, // 밀, #308
1765    0xBC0F, // 및, #249
1766    0xBC14, // 바, #89
1767    0xBC15, // 박, #226
1768    0xBC18, // 반, #175
1769    0xBC1B, // 받, #248
1770    0xBC1C, // 발, #164
1771    0xBC29, // 방, #92
1772    0xBC30, // 배, #162
1773    0xBC31, // 백, #256
1774    0xBC84, // 버, #111
1775    0xBC88, // 번, #167
1776    0xBC8C, // 벌, #423
1777    0xBC94, // 범, #427
1778    0xBC95, // 법, #207
1779    0xBCA0, // 베, #281
1780    0xBCA4, // 벤, #378
1781    0xBCA8, // 벨, #387
1782    0xBCC0, // 변, #253
1783    0xBCC4, // 별, #262
1784    0xBCD1, // 병, #340
1785    0xBCF4, // 보, #20
1786    0xBCF5, // 복, #204
1787    0xBCF8, // 본, #182
1788    0xBCFC, // 볼, #385
1789    0xBD09, // 봉, #405
1790    0xBD80, // 부, #46
1791    0xBD81, // 북, #261
1792    0xBD84, // 분, #105
1793    0xBD88, // 불, #225
1794    0xBDF0, // 뷰, #350
1795    0xBE0C, // 브, #214
1796    0xBE14, // 블, #99
1797    0xBE44, // 비, #55
1798    0xBE4C, // 빌, #510
1799    0xBE60, // 빠, #398
1800    0xC0AC, // 사, #14
1801    0xC0AD, // 삭, #342
1802    0xC0B0, // 산, #121
1803    0xC0B4, // 살, #279
1804    0xC0BC, // 삼, #348
1805    0xC0C1, // 상, #41
1806    0xC0C8, // 새, #282
1807    0xC0C9, // 색, #181
1808    0xC0DD, // 생, #109
1809    0xC11C, // 서, #21
1810    0xC11D, // 석, #234
1811    0xC120, // 선, #107
1812    0xC124, // 설, #170
1813    0xC131, // 성, #50
1814    0xC138, // 세, #60
1815    0xC139, // 섹, #456
1816    0xC13C, // 센, #267
1817    0xC154, // 셔, #455
1818    0xC158, // 션, #237
1819    0xC15C, // 셜, #448
1820    0xC168, // 셨, #421
1821    0xC18C, // 소, #51
1822    0xC18D, // 속, #219
1823    0xC190, // 손, #323
1824    0xC1A1, // 송, #203
1825    0xC1C4, // 쇄, #501
1826    0xC1FC, // 쇼, #364
1827    0xC218, // 수, #27
1828    0xC219, // 숙, #467
1829    0xC21C, // 순, #258
1830    0xC220, // 술, #302
1831    0xC26C, // 쉬, #511
1832    0xC288, // 슈, #384
1833    0xC2A4, // 스, #11
1834    0xC2AC, // 슬, #438
1835    0xC2B4, // 슴, #504
1836    0xC2B5, // 습, #77
1837    0xC2B9, // 승, #299
1838    0xC2DC, // 시, #13
1839    0xC2DD, // 식, #137
1840    0xC2E0, // 신, #47
1841    0xC2E4, // 실, #132
1842    0xC2EC, // 심, #196
1843    0xC2ED, // 십, #482
1844    0xC2F6, // 싶, #352
1845    0xC2F8, // 싸, #419
1846    0xC4F0, // 쓰, #278
1847    0xC528, // 씨, #360
1848    0xC544, // 아, #23
1849    0xC545, // 악, #296
1850    0xC548, // 안, #71
1851    0xC54A, // 않, #209
1852    0xC54C, // 알, #222
1853    0xC554, // 암, #460
1854    0xC558, // 았, #349
1855    0xC559, // 앙, #473
1856    0xC55E, // 앞, #434
1857    0xC560, // 애, #271
1858    0xC561, // 액, #415
1859    0xC571, // 앱, #477
1860    0xC57C, // 야, #124
1861    0xC57D, // 약, #229
1862    0xC591, // 양, #177
1863    0xC5B4, // 어, #24
1864    0xC5B5, // 억, #407
1865    0xC5B8, // 언, #294
1866    0xC5BC, // 얼, #356
1867    0xC5C4, // 엄, #426
1868    0xC5C5, // 업, #118
1869    0xC5C6, // 없, #178
1870    0xC5C8, // 었, #165
1871    0xC5D0, // 에, #9
1872    0xC5D4, // 엔, #375
1873    0xC5D8, // 엘, #506
1874    0xC5EC, // 여, #66
1875    0xC5ED, // 역, #186
1876    0xC5EE, // 엮, #488
1877    0xC5F0, // 연, #96
1878    0xC5F4, // 열, #266
1879    0xC5FC, // 염, #449
1880    0xC600, // 였, #374
1881    0xC601, // 영, #83
1882    0xC608, // 예, #168
1883    0xC624, // 오, #75
1884    0xC628, // 온, #300
1885    0xC62C, // 올, #306
1886    0xC640, // 와, #119
1887    0xC644, // 완, #361
1888    0xC654, // 왔, #489
1889    0xC655, // 왕, #418
1890    0xC678, // 외, #218
1891    0xC694, // 요, #43
1892    0xC695, // 욕, #479
1893    0xC6A9, // 용, #48
1894    0xC6B0, // 우, #64
1895    0xC6B1, // 욱, #503
1896    0xC6B4, // 운, #108
1897    0xC6B8, // 울, #223
1898    0xC6C0, // 움, #317
1899    0xC6C3, // 웃, #404
1900    0xC6CC, // 워, #280
1901    0xC6D0, // 원, #45
1902    0xC6D4, // 월, #150
1903    0xC6E8, // 웨, #446
1904    0xC6F9, // 웹, #500
1905    0xC704, // 위, #78
1906    0xC720, // 유, #81
1907    0xC721, // 육, #321
1908    0xC724, // 윤, #416
1909    0xC73C, // 으, #49
1910    0xC740, // 은, #31
1911    0xC744, // 을, #17
1912    0xC74C, // 음, #112
1913    0xC751, // 응, #461
1914    0xC758, // 의, #8
1915    0xC774, // 이, #1
1916    0xC775, // 익, #403
1917    0xC778, // 인, #18
1918    0xC77C, // 일, #28
1919    0xC784, // 임, #160
1920    0xC785, // 입, #93
1921    0xC788, // 있, #44
1922    0xC790, // 자, #22
1923    0xC791, // 작, #88
1924    0xC798, // 잘, #347
1925    0xC7A1, // 잡, #372
1926    0xC7A5, // 장, #53
1927    0xC7AC, // 재, #120
1928    0xC7C1, // 쟁, #483
1929    0xC800, // 저, #98
1930    0xC801, // 적, #97
1931    0xC804, // 전, #34
1932    0xC808, // 절, #320
1933    0xC810, // 점, #201
1934    0xC811, // 접, #331
1935    0xC815, // 정, #26
1936    0xC81C, // 제, #29
1937    0xC838, // 져, #414
1938    0xC870, // 조, #86
1939    0xC871, // 족, #373
1940    0xC874, // 존, #432
1941    0xC880, // 좀, #470
1942    0xC885, // 종, #208
1943    0xC88B, // 좋, #239
1944    0xC8E0, // 죠, #451
1945    0xC8FC, // 주, #38
1946    0xC8FD, // 죽, #471
1947    0xC900, // 준, #286
1948    0xC904, // 줄, #392
1949    0xC911, // 중, #103
1950    0xC988, // 즈, #255
1951    0xC98C, // 즌, #507
1952    0xC990, // 즐, #371
1953    0xC99D, // 증, #260
1954    0xC9C0, // 지, #10
1955    0xC9C1, // 직, #216
1956    0xC9C4, // 진, #79
1957    0xC9C8, // 질, #238
1958    0xC9D1, // 집, #206
1959    0xC9DC, // 짜, #411
1960    0xC9F8, // 째, #494
1961    0xCABD, // 쪽, #435
1962    0xCC28, // 차, #146
1963    0xCC29, // 착, #443
1964    0xCC2C, // 찬, #481
1965    0xCC30, // 찰, #440
1966    0xCC38, // 참, #343
1967    0xCC3D, // 창, #304
1968    0xCC3E, // 찾, #335
1969    0xCC44, // 채, #284
1970    0xCC45, // 책, #298
1971    0xCC98, // 처, #242
1972    0xCC9C, // 천, #143
1973    0xCCA0, // 철, #380
1974    0xCCA8, // 첨, #452
1975    0xCCAB, // 첫, #484
1976    0xCCAD, // 청, #197
1977    0xCCB4, // 체, #126
1978    0xCCD0, // 쳐, #472
1979    0xCD08, // 초, #220
1980    0xCD1D, // 총, #406
1981    0xCD5C, // 최, #179
1982    0xCD94, // 추, #136
1983    0xCD95, // 축, #337
1984    0xCD9C, // 출, #166
1985    0xCDA9, // 충, #369
1986    0xCDE8, // 취, #210
1987    0xCE20, // 츠, #215
1988    0xCE21, // 측, #468
1989    0xCE35, // 층, #512
1990    0xCE58, // 치, #102
1991    0xCE5C, // 친, #325
1992    0xCE68, // 침, #263
1993    0xCE74, // 카, #115
1994    0xCE7C, // 칼, #466
1995    0xCE90, // 캐, #454
1996    0xCEE4, // 커, #285
1997    0xCEE8, // 컨, #328
1998    0xCEF4, // 컴, #417
1999    0xCF00, // 케, #339
2000    0xCF13, // 켓, #509
2001    0xCF1C, // 켜, #508
2002    0xCF54, // 코, #193
2003    0xCF58, // 콘, #391
2004    0xCFE0, // 쿠, #393
2005    0xD035, // 퀵, #453
2006    0xD06C, // 크, #101
2007    0xD070, // 큰, #495
2008    0xD074, // 클, #289
2009    0xD0A4, // 키, #230
2010    0xD0C0, // 타, #127
2011    0xD0C1, // 탁, #314
2012    0xD0C4, // 탄, #450
2013    0xD0C8, // 탈, #436
2014    0xD0DC, // 태, #221
2015    0xD0DD, // 택, #275
2016    0xD130, // 터, #70
2017    0xD14C, // 테, #213
2018    0xD150, // 텐, #324
2019    0xD154, // 텔, #430
2020    0xD15C, // 템, #382
2021    0xD1A0, // 토, #145
2022    0xD1B5, // 통, #156
2023    0xD22C, // 투, #227
2024    0xD2B8, // 트, #37
2025    0xD2B9, // 특, #247
2026    0xD2F0, // 티, #187
2027    0xD305, // 팅, #410
2028    0xD30C, // 파, #141
2029    0xD310, // 판, #163
2030    0xD314, // 팔, #499
2031    0xD328, // 패, #307
2032    0xD32C, // 팬, #459
2033    0xD338, // 팸, #433
2034    0xD37C, // 퍼, #344
2035    0xD398, // 페, #172
2036    0xD3B8, // 편, #251
2037    0xD3C9, // 평, #291
2038    0xD3EC, // 포, #68
2039    0xD3ED, // 폭, #445
2040    0xD3F0, // 폰, #318
2041    0xD45C, // 표, #232
2042    0xD480, // 풀, #497
2043    0xD488, // 품, #113
2044    0xD48D, // 풍, #425
2045    0xD504, // 프, #110
2046    0xD508, // 픈, #498
2047    0xD50C, // 플, #211
2048    0xD53C, // 피, #169
2049    0xD544, // 필, #295
2050    0xD551, // 핑, #376
2051    0xD558, // 하, #7
2052    0xD559, // 학, #129
2053    0xD55C, // 한, #15
2054    0xD560, // 할, #144
2055    0xD568, // 함, #152
2056    0xD569, // 합, #123
2057    0xD56D, // 항, #268
2058    0xD574, // 해, #32
2059    0xD588, // 했, #180
2060    0xD589, // 행, #135
2061    0xD5A5, // 향, #345
2062    0xD5C8, // 허, #396
2063    0xD5D8, // 험, #316
2064    0xD5E4, // 헤, #474
2065    0xD604, // 현, #185
2066    0xD611, // 협, #315
2067    0xD615, // 형, #244
2068    0xD61C, // 혜, #428
2069    0xD638, // 호, #117
2070    0xD63C, // 혼, #358
2071    0xD648, // 홈, #330
2072    0xD64D, // 홍, #363
2073    0xD654, // 화, #63
2074    0xD655, // 확, #183
2075    0xD658, // 환, #224
2076    0xD65C, // 활, #277
2077    0xD669, // 황, #353
2078    0xD68C, // 회, #74
2079    0xD68D, // 획, #458
2080    0xD69F, // 횟, #409
2081    0xD6A8, // 효, #400
2082    0xD6C4, // 후, #176
2083    0xD6C8, // 훈, #486
2084    0xD734, // 휴, #365
2085    0xD754, // 흔, #480
2086    0xD76C, // 희, #334
2087    0xD788, // 히, #228
2088    0xD798, // 힘, #502
2089};
2090// the percentage of the sample covered by the above characters
2091static const float frequent_ko_coverage=0.948157021464184;
2092
2093