安裝python中文分詞庫jieba

法1：Anaconda Prompt下輸入conda install jieba

法2：Terminal下輸入pip3 install jieba

1、分詞

1.1、CUT函數簡介

cut(sentence, cut_all=False, HMM=True)

返回生成器，遍歷生成器即可獲得分詞的結果

lcut(sentence)

返回分詞列表

import jiebasentence = '我愛自然語言處理'# 創建【Tokenizer.cut 生成器】對象generator = jieba.cut(sentence)# 遍歷生成器，打印分詞結果words = '/'.join(generator)print(words)

打印結果

我/愛/自然語言/處理

import jiebaprint(jieba.lcut('我愛南海中學'))

打印結果

[‘我', ‘愛', ‘南海中學']

1.2、分詞模式

精確模式：精確地切開

全模式：所有可能的詞語都切出，速度快

搜索引擎模式：在精確模式的基礎上，對長詞再次切分

import jiebasentence = '訂單數據分析'print('精準模式：', jieba.lcut(sentence))print('全模式：', jieba.lcut(sentence, cut_all=True))print('搜索引擎模式：', jieba.lcut_for_search(sentence))

打印結果

精準模式： [‘訂單', ‘數據分析']

全模式： [‘訂單', ‘訂單數', ‘單數', ‘數據', ‘數據分析', ‘分析']

搜索引擎模式： [‘訂單', ‘數據', ‘分析', ‘數據分析']

1.3、詞性標注

jieba.possegimport jieba.posseg as jpsentence = '我愛Python數據分析'posseg = jp.cut(sentence)for i in posseg: print(i.__dict__) # print(i.word, i.flag)

打印結果

{‘word': ‘我', ‘flag': ‘r'}{‘word': ‘愛', ‘flag': ‘v'}{‘word': ‘Python', ‘flag': ‘eng'}{‘word': ‘數據分析', ‘flag': ‘l'}

詞性標注表