汉字字频统计方法的改进的策略

佚名 2013-02-05

一、汉字字频统计的概念

在汉语汉字的语境下，汉字字频常常简称为字频，汉字字频是汉字使用的一个重要属性。冯志伟指出：“传统的文字学认为，汉字具有形、音、义三个要素，但是，汉字作为记录汉语的符号，它必须作为一种交际工具而存在，在交际过程中，有的汉字使用得多些，有的使用的少些，呈现出一定的统计规律性。因此，从使用的角度来看，汉字还具有第四个要素——字频。”①顾名思义，字频就是字的使用频度。苏培成在《现代汉字学纲要》（增订本）给字频下的定义是：“字频就是汉字的使用频度，是指在一定的历史时期内经抽样取得的文字资料里，每一个汉字的使用次数与抽样资料总字数的比例。”②他所说的“字频”，就是指汉字字频。沙宗元在《文字学术语规范研究》中收了“字频”这个词条，他给出的定义是：“某个汉字在一定语料中使用（出现）的次数与样本总字数（又叫样本容量）之比。”③这个“字频”也指汉字字频。两家的定义大体不错，但表述不够严密。第一，用来作为字频统计的文字资料不一定是经抽样取得的，如《史记》的字频统计这类专书字频统计是根据特定目的选取的，而非“经抽样取得”的。“经抽样取得”不能作为字频统计的必要条件。第二，“总字数”的说法比较含混，应该改作“总字次”。第三，“样本总字数”的“样本”表意不明确。综合学术界的研究，汉字字频可以定义为：个体汉字字符在按特定原则选定的文本中出现的次数与选定文本总字次之比。

对使用中的汉字进行字频统计，并按字频的高低排列汉字的顺序即可以得出汉字的频序，依据频序给汉字分级可以划分出汉字的频级，汉字的频级是对使用中的汉字进行分级的主要依据，对汉字规范、汉字教学及汉字信息处理有重要意义。汉字字频统计是汉字研究中的一项具有实用意义的重要工作。

二、汉字字频统计的主要成果

以往的汉字字频统计与研究取得了重要的研究成果，为汉字的研究与应用作出了重要的贡献。字频统计一般分综合字频统计及分类字频统计两类。其代表性成果主要有以下几项：

现代汉字综合字频统计的主要成果有：1.《汉字频度表》，此表于1976年12月由“七四八”工程查频组完成。本次字频统计使用的语料时间范围为1973-1975年，语料内容包括科学技术、文学艺术、政治理论和新闻通讯四类，统计方式为手工操作。备选语料3亿多字次，选用语料2160多万字次，统计得出6376个字种。2.《汉字频率表》，此表包含在北京语言学院语言教学研究所编的《现代汉语频率辞典》中，1986年6月由北京语言学院出版社出版。本次字频统计使用的语料时间范围较多选用20世纪40年代至70年代的作品，语料内容包括报刊政论文章及专著、科普书刊材料、剧本和日常口语材料和各种体裁的文学作品四类，统计方式采用人工和计算机相结合。选用语料180万字次，统计得出“不同汉字4574个”。（参考该书“前言”和编纂说明）3.《现代汉语字频统计表》，此表由北京航空学院计算机科学与工程系和国家语言文字委员会汉字处研制，于1992年1月由语文出版社出版，出版署名单位是国家语言文字工作委员会和国家标准局。本次字频统计使用的语料时间范围为1977-1982年，语料内容包括自然科学和社会科学两大类，统计方式完全采用计算机自动统计，选用语料13800万字次，抽取出的统计样本语料11873029字次，统计得出汉字7754个。（参考该书说明）4.《报纸、广播电视、网络用字总表》，本表收录在“中国语言生活状况报告”课题组编《中国语言生活状况报告（2005）》中，《报告》于2006年9月由商务印书馆出版。《中国语言生活状况报告（2005）》是由国家语委首次向社会发布的年度语言生活报告，其中的《报纸、广播电视、网络用字总表》是2005年年度用字字频统计表。该表语料时间范围为2005年，语料介质包括报纸、广播电视和网络，统计手段采用计算机，共选择892034个文本文件，包括732143010字次，统计得出字种数8128个。（该书把字种界定为“这里的字种，指字形不同的汉字。”④）

古代文献使用汉字的综合字频统计成果主要有《古籍汉字字频统计》，该书由北京书同文数字化技术有限公司编写，2008年7月由商务印书馆出版。本书统计的语料为电子版《四库全书》和《四部丛刊》，统计方式完全采用计算机自动统计，使用语料8亿字次，统计得出汉字30127个。（在该书收录的“大规模古籍汉字用字统计报告”中“统计结果汇总与初步分析”一节中介绍该书统计出的总字数时说：“1.文渊阁《四库全书》汉字总字数：29088字；2.《四部丛刊》汉字用字总字数：27606字；3.《四库全书》与《四部丛刊》汉字用字合计：30127字。”⑤但是该书《古籍字频统计表》的顺序号的最后一号是30136，比30127多出9个数字。查《古籍字频统计表》中含有部分空格和非汉字符号，如八卦卦符、古琴书中的指符等，甚至有新式标点和网址符@。因此，本书给出的总字数并不准确，只是个大致的数字。）

古代文献专书使用汉字字频统计的成果主要有《史记字频研究》，李波著《史记字频研究》，2006年3月由商务印书馆出版。该书的字频统计以汉代司马迁所撰《史记》一书的全部文字为对象，选择中华书局标点本130卷《史记》三家注本作底本，统计方式采用计算机手段。全书计572864字次，统计得出4932个字。

上述字频统计的成果在汉字理论研究和现实应用等方面起了重要作用。理论研究方面，如周有光在字频统计成果的基础上发现了汉字效用递减率⑥。王凤阳在字频统计成果的基础上发现了汉字常用字笔画递减率⑦。社会应用方面，如1980年由国家标准总局发布，1981年5月1日实施的《信息交换用汉字编码字符集·基本集》是在《汉字频度表》的基础上研制完成的。1988年1月26日由国家语言文字工作委员会、国家教育委员会联合发布的《现代汉语常用字表》的研制参考了《汉字频度表》（常用字部分4152字）、《社会科学、自然科学综合汉字频度表》（常用字部分3500字）和《汉字频率表》（4574字）⑧。1988年3月25日由国家语言文字工作委员会、中华人民共和国新闻出版署联合发布的《现代汉语通用字表》也参考了上述字频统计成果。这些字频统计的结果和在字频统计成果基础上研制的《字表》对汉字教学、汉字水平测试、汉字识别、汉字信息处理、汉字字典编纂、汉字规范等工作都起到了重要的参考作用。

三、汉字字频统计存在的主要问题

尽管汉字字频统计取得了诸多重要的研究成果，但是，由于受汉字自身的复杂性以及汉字信息处理技术的局限性等因素的影响，目前的汉字字频统计还存在很多问题，影响了字频统计的质量。其问题主要表现在以下几个方面：

1.近些年来多数汉字字频统计依据的是电子语料库，这些电子语料库建库目标主要是为语言研究服务的，加之计算机字库收字的限制，在把纸质文本转换成电子文本的过程中未能保持文字使用的原始状态，影响到统计结果的客观性。比如，1956年1月28日国务院全体会议第23次会议通过了《关于公布〈汉字简化方案〉的决议》，1956年1月31日《人民日报》全文发表了国务院的《关于公布〈汉字简化方案〉的决议》和《汉字简化方案》，在此之前报刊图书主要使用繁体字（偶尔也用简体字）。1955年12月文化部和文改会联合发布了《第一批异体字整理表》（以下简称《一异表》），要求从1956年2月起在全国实施，这之前异体字未经整理。1977年12月20日《人民日报》、《光明日报》、《解放军报》及各省、市、自治区一级报纸发表中国文字改革委员会《第二次汉字简化方案（草案）》，12月21日《人民日报》开始试用《第二次汉字简化方案（草案）》第一表的简化字，1978年7月停止试用这批简化字，1977年12月21日至1978年7月之间《人民日报》等曾经用过“二简”的字。而北京语言学院语言教学研究所1986年编的《汉字频率表》使用了1956年1月31日前的资料，如1951年1月31日的《人民日报》、1955年出版的《田汉剧作选》、1954年至1955年在《独幕剧选》上发表的何求的《新局长到来之前》、1952年人民文学出版社出版的茅盾的《子夜》的第五、第十九章、1955年人民文学出版社出版的老舍的《骆驼祥子》第十六章、1953年人民出版社出版的巴金的《家》第一、第三十八章、1955年人民文学出版社出版的巴金的《春》第一章等，却没有出现繁体字⑨。使用了1956年2月《一异表》实施前的大量资料，却没有出现异体字。以1951年1月31日的《人民日报》为例，该日报原版中有繁体字“對”、“装”、“數”、“會”等，而《汉字频率表》有“对（频序60、频次5138）”、“装（频序435、频次841）”、“数（频序286、频次1325）”、“会（频序32、频次7075）”，而没有“對”、“装”、“數”、“會”等。该日报纸中有《第一批异体字整理表》中被淘汰的异体“遊（旧字形）”、“鎻”、“週（旧字形）”、“誌”等，而《汉字频率表》有“游”、“周”、“志”等正体，有“鎻”的正体“鎖”的简化字“锁”，而没有“遊”、“鎻”、“週”、“誌”等。该日报原版中文字有旧字形，而《汉字频率表》中的字均为新字形。推测《汉字频率表》的研制者在测查文本时按当时的规范修改了原始文本，用规范字替换了不规范的字。这种测查结果显然不能准确反映社会用字的实际情况。又，国家语言资源监测与研究中心编《中国语言生活状况报告（2005）》（下编）的《调查报告》中明确指出：“报纸文本是从网络下载的，没有与纸质版本作比较。”又说：“本次统计不包括以下两种字符：（1）汉字部件。共有25个，计529字次，主要出现在报纸语料或网络语料中。包含以下两类情况中：①讲解汉字中用到的偏旁部首，如‘言语的“语”这个字旁边是个“讠”字旁’。这种部件共出现四个：亻、辶、宀、讠。②拼字，大部分出现于人名、地名，如‘讲述人刘亻思亻思，14岁，树德试验中学’、‘本市宝坻区林亭口镇帐房瞿阝村农民’、‘广东中山南（艹朗）（上下结构）镇横门港码头彩旗飞扬’、‘20岁的广西姑娘小（崩刂）昨天回广州了’。（2）乱码和无法显示的字符。这些字符共出现765个，计23221字符次，占整个语料字符数的0.0026%。”⑩根据作者的自述，本次统计不是依据原始的纸质文本，而是依据电子文本，并且电子文本并未与纸质文本校对，因此，电子文本转录错误的未加改正。受转录者使用的计算机编码字库的限制，字库中没有的字，在电子文本中或用拼字表示，或用替代符号，或根本无法显示，均不能统计。（举例中出现的偲、、蓈、剻四个字在《报刊、广播电视、网络用字总表》中也都未收录。） 2.未能严格规定统计单位，或规定的统计单位不一致，影响到统计结果的科学性，不同的统计结果也无法进行比较。前面提到的北京语言学院语言教学研究所编的《汉字频度表》、北京航空学院计算机科学与工程系和国家语言文字委员会汉字处研制的《现代汉语字频统计表》、李波著《史记字频研究》以及北京书同文数字化技术有限公司编写的《古籍汉字字频统计》均未明确界定统计单位。只有收录在《中国语言生活状况报告（2005）》中的《报纸、广播电视、网络用字总表》的调查报告中对统计单位有粗略的说明：“字种数：8128个。这里的字种，指字形不同的汉字。”（11）这里无论是用的“字种”这个术语，还是“字形不同的汉字”，这样对字种的解释，表意都不够明确。首先，使用的字种这个术语与学术界一般的用法不同。周有光在《现代汉字学发凡》一文中曾用具体实例区别“字次”、“字种”和“字形”三个术语，他指出：“‘从群众中来到羣衆中去，是一条群众路线的原理’。这个句子里有几个字？甲答：20个字。乙答16个字。丙答：18个字。为什么答案不同？甲讲的是‘总字次’，有一个算一个。乙讲的是‘字种数’，同字异形合并计算。丙讲的是‘字形数’，同字异形分别计算。”（12）他在《现代汉语用字的定量问题》一文中又指出：“‘定量’是定‘字种’的总量。一个汉字可以繁简不同，形体不同，但是属于同一‘字种’，以‘正字’为标准。”（13）沙宗元在《文字学术语规范研究》一书中根据周有光的研究设立了“字形数”和“字种”两个术语，并分别给出了定义，他给“字形数”下的定义是：“根据汉字字形而不考虑其繁简、正异等字际关系进行统计所得出的汉字数量。”给“字种”下的定义是：“一个汉字即使有多个繁简体、异体字，也只作为一个来计算的汉字统计单位。”（14）该文中所定义的两个术语也存在不匹配的问题。跟“字种”匹配的术语是“字形”，跟“字形数”匹配的术语应是“字种数”。《报纸、广播电视、网络用字总表》中用的字种大致相当于周有光所说的字形。在实际操作中，《报纸、广播电视、网络用字总表》繁简字、异体字、新旧字形都作为不同的统计单位来统计的。在该表统计的8128个统计单位中包括繁体字361个，异体字193个，旧印刷字形47个，另有不合现行规范的类推简化字7个。

前面提到的那些未对统计单位作出明确规定的统计，在实际操作中所用的统计单位各不相同。

北京语言学院语言教学研究所编《汉字频度表》的统计单位大致是按照周有光定义的字种来操作的，统计的语料中包含繁简字、异体字和新旧字形，统计结果中有个别异体字和错误类推简化字，但未见繁体字和旧字形，应该是用简化字替代了繁体字，用新字形替代了旧字形。统计出的异体字，包括《一异表》收录的异体字，如，並（276）、并（1766）；黏（1719）、粘（2495）；渺（2321）、淼（4336）等；《一异表》未收的异体字，如，沙（649）、砂1756；衖（1901）、巷（2034）等；错误类推简化字，如，4475号“垅”（2189垄）；4174号飚（当是技术错误）。

《中国语言生活状况报告（2005）》中的《报纸、广播电视、网络用字总表》的统计单位近似于周有光的字形，繁简字、异体字、新旧字形均作为不同的统计单位进行统计。表中收录繁体字361个（15），异体字193个（16），旧字形47个（17）。

统计单位的不明确、不统一，不仅影响到字频统计的科学性，也不利于统计结果的正确、有效使用。

四、汉字字频统计的改进

根据上述情况分析，我们认为必须加强字频统计的理论研究，完善统计原则，改进统计方法，提高字频统计的客观性和科学性。

首先，要实现字频统计的客观性，必须建设满足文字学研究需要的字料库。所谓字料库“是指以文字的整理和文字学的研究为目标，按照语言学和文字学的原则，收集实际使用中能够代表特定文字或文字变体的真实出现过的文字书写形态，运用计算机技术建成的具有一定规模的大型电子文字资源库。字料库是在大规模真实文本的基础上生成的真实的文字书写形态的有序集合，是利用计算机对文字形体进行各种分类、统计、检索、综合、比较等研究的基础。”（18）只有根据字料库的原则建设字料库，基于字料库进行汉字的字频统计，改变以往基于语料库进行字频统计的做法，才能解决以往字频统计客观性不足的问题，实现字频统计的客观性，使得字频统计能够最大限度地反映社会用字的实际状况。

其次，汉字字频统计必须明确界定统计单位，划分不同层级的汉字统计单位，根据不同需要对汉字的不同层级的统计单位进行分类分层的字频统计。

汉字统计单位的界定与划分是一个非常复杂的问题，必须专门研究，不是本文能够全面解决的问题。本文仅以印刷楷书为例，以字频统计为目标，示范性地讨论字的概念界定与划分方法。

学术界不少学者曾经从文字学的角度对汉字中字的单位做过区分，但是，着眼点又有所不同，有的是着眼于汉字规范对字的单位进行界定，有的是着眼于对汉字使用实际状况的调查对字的单位进行界定。前者，如前文所述周有光在《现代汉字学发凡》一文中曾区别“字种”和“字形”。后者，如北京师范大学汉字构形学系列研究，从文本提取字形进行归纳，实际上也涉及汉字单位。王贵元的《马王堆帛书汉字构形系统研究》是最早从文本中提取字进行构形分析的专著。该书第二章“单字整理”，专门讨论从文本中提取字制作字表和进行统计的单位问题。文中先讨论了异写字、异构字、同形字三个概念，并在此基础上讨论了字样认同与别异、通行体与变体、单字统计原则等问题（19）。李运富在《楚国简帛文字构形系统研究》一书中，也在第二章设立了“单字整理”一章，并进一步把单字整理程序化，专门讨论了字样的提取与辨认问题，在此基础上讨论了字样群的处理，设立了字位与符位等概念，把字的单位区别为同体字样与异写字样、同符位异构字、异符位同形字等，已经有了字单位的层级性的思想（20）。到陈淑梅的《东汉碑隶构形系统研究》和齐元涛的《隋唐五代碑志楷书构形系统研究》，字样提取及不同层次单位的归纳程序基本成熟。王宁先生在为《汉字构形史丛书》写的总序中对此作了理论总结，她说：“对文本中的汉字加以整理，也就是必须对写在文本上实际使用的汉字进行三种性质不同的归纳：（1）字样的归纳。这是将重复出现的汉字字样归纳到一起并进行统计的工作，是将一切文本形式的汉字改变为字库形式第一步要做的工作。（2）字组的归纳，也就是对结构、功能相同书写略有变化的异写字的归纳。这些字属于同字异写，或称同构异写的关系。（3）字种的归纳，也就是对功能相同结构不同的异构字的归纳。这些字或因构件的选择不同，或因构件的增减不同而异形，因而有着不同的构意，但记词的功能是相同的。它们的关系属于同职异字，或称同词异字。”（21）王宁先生所说的“三种性质不同的归纳”如果都把它定义为字的话，也就是三个不同层次的“字单位”。

从规定的角度可以采纳周有光先生的界定，把字的单位划分为字种、字形两级。

字的单位确定了，字频统计则可以根据不同的统计目的规定统计单位，可以以字型为统计单位统计型频，也可以以字样为单位统计样频，可以以字式为单位统计式频，可以以字种为单位统计种频。这样，不仅统计单位明确、清晰，而且每次特定的统计，统计单位统一、等质，便于统计数据的使用，以及不同统计数据的比较，使得字频统计的科学性得到保障。

注释：

①冯志伟：《现代汉字和计算机》，北京：北京大学出版社，1989年版，第109页。

②苏培成：《现代汉字学纲要》（增订本），北京：北京大学出版社，2001年版，第32页。

③沙宗元：《文字学术语规范研究》，合肥：安徽大学出版社，2008年版，第402页。

④国家语言资源监测与研究中心：《中国语言生活状况报告（2005）》，北京：商务印书馆，2006年版，第6页。

⑤北京书同文数字化技术有限公司：《古籍汉字字频统计》，北京：商务印书馆，2008年版，第14-15页。

⑥周有光：《中国语文纵横谈》，北京：清华大学出版社，1997年版，第64页。

⑦王凤阳：《汉字频率与汉字简化》，载《语文现代化丛刊》，北京：知识出版社，1980年第3辑，第92页。

⑧国家语言文字工作委员会、国家教育委员会：《关于发布〈现代汉语常用字表〉的联合通知》，1988年版。

⑨北京语言学院语言教学研究所：《现代汉语频率词典·编辑说明》，北京：北京语言学院出版社，1986年版。

⑩国家语言资源监测与研究中心：《中国语言生活状况报告（2005）》，第6页。

（11）国家语言资源监测与研究中心：《中国语言生活状况报告（2005）》，第6页。