pkuseg 是基于论文[Luo et. al, 2019]的工具包。其简单易用，支持细分领域分词，有效提升了分词准确度。
pkuseg具有如下几个特点：
通过PyPI安装(自带模型文件)：
pip3 install pkuseg
之后通过import pkuseg来引用
建议更新到最新版本以获得更好的开箱体验：
如果PyPI官方源下载速度不理想，建议使用镜像源，比如：
初次安装：
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pkuseg
更新：
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -U pkuseg
如果不使用pip安装方式，选择从GitHub下载，可运行以下命令安装：
python setup.py build_ext -i
GitHub的代码并不包括预训练模型，因此需要用户自行下载或训练模型，预训练模型可详见release。使用时需设定"model_name"为模型文件。
注意：安装方式1和2目前仅支持linux(ubuntu)、mac、windows 64 位的python3版本。如果非以上系统，请使用安装方式3进行本地编译安装。
我们选择jieba、THULAC等国内代表分词工具包与pkuseg做性能比较，详细设置可参考实验环境。
以下是在不同数据集上的对比结果：
MSRA Precision Recall F-score jieba 87.01 89.88 88.42 THULAC 95.60 95.91 95.71 pkuseg 96.94 96.81 96.88 WEIBO Precision Recall F-score jieba 87.79 87.54 87.66 THULAC 93.40 92.40 92.87 pkuseg 93.78 94.65 94.21考虑到很多用户在尝试分词工具的时候，大多数时候会使用工具包自带模型测试。为了直接对比“初始”性能，我们也比较了各个工具包的默认模型在不同领域的测试效果。请注意，这样的比较只是为了说明默认情况下的效果，并不一定是公平的。
Default MSRA CTB8 PKU WEIBO All Average jieba 81.45 79.58 81.83 83.56 81.61 THULAC 85.55 87.84 92.29 86.65 88.08 pkuseg 87.29 91.77 92.68 93.43 91.29其中，All Average显示的是在所有测试集上F-score的平均。
更多详细比较可参见和现有工具包的比较。
以下代码示例适用于python交互式环境。
代码示例1：使用默认配置进行分词（如果用户无法确定分词领域，推荐使用默认模型分词）
import pkuseg
seg = pkuseg.pkuseg() # 以默认配置加载模型
text = seg.cut('我爱北京天安门') # 进行分词
print(text)
代码示例2：细领域分词（如果用户明确分词领域，推荐使用细领域模型分词）
import pkuseg
seg = pkuseg.pkuseg(model_name='medicine') # 程序会自动下载所对应的细领域模型
text = seg.cut('我爱北京天安门') # 进行分词
print(text)
代码示例3：分词同时进行词性标注，各词性标签的详细含义可参考 tags.txt
import pkuseg
seg = pkuseg.pkuseg(postag=True) # 开启词性标注功能
text = seg.cut('我爱北京天安门') # 进行分词和词性标注
print(text)
代码示例4：对文件分词
import pkuseg
# 对input.txt的文件分词输出到output.txt中
# 开20个进程
pkuseg.test('input.txt', 'output.txt', nthread=20)
其他使用示例可参见详细代码示例。
模型配置
pkuseg.pkuseg(model_name = "default", user_dict = "default", postag = False)
model_name 模型路径。
"default"，默认参数，表示使用我们预训练好的混合领域模型(仅对pip下载的用户)。
"news", 使用新闻领域模型。
"web", 使用网络领域模型。
"medicine", 使用医药领域模型。
"tourism", 使用旅游领域模型。
model_path, 从用户指定路径加载模型。
user_dict 设置用户词典。
"default", 默认参数，使用我们提供的词典。
None, 不使用词典。
dict_path, 在使用默认词典的同时会额外使用用户自定义词典，可以填自己的用户词典的路径，词典格式为一行一个词（如果选择进行词性标注并且已知该词的词性，则在该行写下词和词性，中间用tab字符隔开）。
postag 是否进行词性分析。
False, 默认参数，只进行分词，不进行词性标注。
True, 会在分词的同时进行词性标注。
对文件进行分词
pkuseg.test(readFile, outputFile, model_name = "default", user_dict = "default", postag = False, nthread = 10)
readFile 输入文件路径。
outputFile 输出文件路径。
model_name 模型路径。同pkuseg.pkuseg
user_dict 设置用户词典。同pkuseg.pkuseg
postag 设置是否开启词性分析功能。同pkuseg.pkuseg
nthread 测试时开的进程数。
模型训练
pkuseg.train(trainFile, testFile, savedir, train_iter = 20, init_model = None)
trainFile 训练文件路径。
testFile 测试文件路径。
savedir 训练模型的保存路径。
train_iter 训练轮数。
init_model 初始化模型，默认为None表示使用默认初始化，用户可以填自己想要初始化的模型的路径如init_model='./models/'。
当将以上代码示例置于文件中运行时，如涉及多进程功能，请务必使用if __name__ == '__main__'保护全局语句，详见多进程分词。
从pip安装的用户在使用细领域分词功能时，只需要设置model_name字段为对应的领域即可，会自动下载对应的细领域模型。
从github下载的用户则需要自己下载对应的预训练模型，并设置model_name字段为预训练模型路径。预训练模型可以在release部分下载。以下是对预训练模型的说明：
news: 在MSRA（新闻语料）上训练的模型。
web: 在微博（网络文本语料）上训练的模型。
medicine: 在医药领域上训练的模型。
tourism: 在旅游领域上训练的模型。
mixed: 混合数据集训练的通用模型。随pip包附带的是此模型。
欢迎更多用户可以分享自己训练好的细分领域模型。
详见版本历史。
该代码包主要基于以下科研论文，如使用了本工具，请引用以下论文：
@article{pkuseg,
author = {Luo, Ruixuan and Xu, Jingjing and Zhang, Yi and Ren, Xuancheng and Sun, Xu},
journal = {CoRR},
title = {PKUSEG: A Toolkit for Multi-Domain Chinese Word Segmentation.},
url = {https://arxiv.org/abs/1906.11455},
volume = {abs/1906.11455},
year = 2019
}
感谢俞士汶教授（北京大学计算语言所）与邱立坤博士提供的训练数据集！
Ruixuan Luo （罗睿轩）, Jingjing Xu（许晶晶）, Xuancheng Ren（任宣丞）, Yi Zhang（张艺）, Bingzhen Wei（位冰镇）， Xu Sun （孙栩）
北京大学 语言计算与机器学习研究组
RetroSearch is an open source project built by @garambo | Open a GitHub Issue
Search and Browse the WWW like it's 1997 | Search results from DuckDuckGo
HTML:
3.2
| Encoding:
UTF-8
| Version:
0.7.4