亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 網站 > Apache > 正文

推薦 幾種Apache Lucene 分詞系統

2024-08-27 18:22:07
字體:
來源:轉載
供稿:網友

1、StopAnalyzer

StopAnalyzer能過濾詞匯中的特定字符串和詞匯,并且完成大寫轉小寫的功能。

2、StandardAnalyzer

StandardAnalyzer根據空格和符號來完成分詞,還可以完成數字、字母、E-mail地址、IP地址以及中文字符的分析處理,還可以支持過濾詞表,用來代替StopAnalyzer能夠實現的過濾功能。

3、SimpleAnalyzer

SimpleAnalyzer具備基本西文字符詞匯分析的分詞器,處理詞匯單元時,以非字母字符作為分割符號。分詞器不能做詞匯的過濾,之進行詞匯的分析和分割。輸出地詞匯單元完成小寫字符轉換,去掉標點符號等分割符。

在全文檢索系統開發中,通常用來支持西文符號的處理,不支持中文。由于不完成單詞過濾功能,所以不需要過濾詞庫支持。詞匯分割策略上簡單,使用非英文字符作為分割符,不需要分詞詞庫的支持。

4、WhitespaceAnalyzer

WhitespaceAnalyzer使用空格作為間隔符的詞匯分割分詞器。處理詞匯單元的時候,以空格字符作為分割符號。分詞器不做詞匯過濾,也不進行小寫字符轉換。

實際中可以用來支持特定環境下的西文符號的處理。由于不完成單詞過濾和小寫字符轉換功能,也不需要過濾詞庫支持。詞匯分割策略上簡單使用非英文字符作為分割符,不需要分詞詞庫支持。

5、KeywordAnalyzer

KeywordAnalyzer把整個輸入作為一個單獨詞匯單元,方便特殊類型的文本進行索引和檢索。針對郵政編碼,地址等文本信息使用關鍵詞分詞器進行索引項建立非常方便。

6、CJKAnalyzer

CJKAnalyzer內部調用CJKTokenizer分詞器,對中文進行分詞,同時使用StopFilter過濾器完成過濾功能,可以實現中文的多元切分和停用詞過濾。在Lucene3.0版本中已經棄用。

7、ChineseAnalyzer

ChineseAnalyzer功能與StandardAnalyzer分析器在處理中文是基本一致,都是切分成單個的雙字節中文字符。在Lucene3.0版本中已經棄用。

8、PerFieldAnalyzerWrapper

PerFieldAnalyzerWrapper功能主要用在針對不同的Field采用不同的Analyzer的場合。比如對于文件名,需要使用KeywordAnalyzer,而對于文件內容只使用StandardAnalyzer就可以了。通過addAnalyzer()可以添加分類器。

9、IKAnalyzer

實現了以詞典為基礎的正反向全切分,以及正反向最大匹配切分兩種方法。IKAnalyzer是第三方實現的分詞器,繼承自Lucene的Analyzer類,針對中文文本進行處理。

10、JE-Analysis

JE-Analysis是Lucene的中文分詞組件,需要下載。

11、ICTCLAS4J

ictclas4j中文分詞系統是sinboy在中科院張華平和劉群老師的研制的FreeICTCLAS的基礎上完成的一個java開源分詞項目,簡化了原分詞程序的復雜度,旨在為廣大的中文分詞愛好者一個更好的學習機會。

12、Imdict-Chinese-Analyzer

imdict-chinese-analyzer 是 imdict智能詞典 的智能中文分詞模塊,算法基于隱馬爾科夫模型(Hidden Markov Model, HMM),是中國科學院計算技術研究所的ictclas中文分詞程序的重新實現(基于Java),可以直接為lucene搜索引擎提供簡體中文分詞支持。

13、Paoding Analysis

Paoding Analysis中文分詞具有極 高效率 和 高擴展性。引入隱喻,采用完全的面向對象設計,構思先進。其效率比較高,在PIII 1G內存個人機器上,1秒可準確分詞100萬漢字。采用基于不限制個數的詞典文件對文章進行有效切分,使能夠將對詞匯分類定義。能夠對未知的詞匯進行合理解析。

14、MMSeg4J

mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法(http://technology.chtsai.org/mmseg/ )實現的中文分詞器,并實現 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。 MMSeg 算法有兩種分詞方法:Simple和Complex,都是基于正向最大匹配。Complex 加了四個規則過慮。官方說:詞語的正確識別率達到了 98.41%。mmseg4j 已經實現了這兩種分詞算法

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
日韩网站免费观看| 91成人性视频| 久久在精品线影院精品国产| 国产精品久久久久久久久久久不卡| 日韩中文字幕免费| 日韩精品免费在线视频| 亚洲影院色在线观看免费| 国产精品jizz在线观看麻豆| 欧美高清性猛交| 综合欧美国产视频二区| 亚洲福利视频久久| 国产成人高潮免费观看精品| 亚洲国产精品免费| 日本欧美在线视频| 精品国产乱码久久久久久虫虫漫画| 青草热久免费精品视频| 欧美电影免费看| 日韩美女在线观看一区| 亚洲第一精品久久忘忧草社区| 国产欧美精品一区二区三区-老狼| 亚洲成年人影院在线| 亚洲成人a**站| 亚洲人成绝费网站色www| 久久久人成影片一区二区三区观看| 亚洲成成品网站| 国产精品久久久久久久久久久久久久| 亚洲热线99精品视频| 国产综合久久久久| 亚洲伊人一本大道中文字幕| 亚洲人成电影网站色xx| 久久九九亚洲综合| 久久综合色影院| 国产丝袜一区二区三区免费视频| 日韩免费观看视频| 国产v综合v亚洲欧美久久| 欧美日韩亚洲天堂| 大量国产精品视频| 欧美激情精品久久久久久久变态| 欧美人在线观看| 日本久久久a级免费| 欧美成人高清视频| 久久久av亚洲男天堂| 亚洲综合在线播放| 欧美日韩中文字幕综合视频| 久热爱精品视频线路一| 欧美电影在线观看网站| 国产精品69久久| 国产精品久久久久久av福利软件| 亚洲国产精品人久久电影| 国产成人精品综合| 亚洲香蕉成视频在线观看| 精品亚洲aⅴ在线观看| 欧美成aaa人片在线观看蜜臀| 久久手机精品视频| 日韩成人av在线播放| 97**国产露脸精品国产| 色噜噜狠狠色综合网图区| 成人444kkkk在线观看| 亚洲美女激情视频| 91av网站在线播放| 中文字幕日韩在线视频| 久久综合久中文字幕青草| 亚洲а∨天堂久久精品9966| 国产在线观看精品一区二区三区| 欧美日韩激情视频8区| 日韩中文字幕视频在线观看| 日韩有码片在线观看| 国内精品久久久久久中文字幕| 亚洲免费视频网站| 精品福利在线看| 久久精品91久久香蕉加勒比| 日本一区二区三区四区视频| 久久在精品线影院精品国产| 91黑丝高跟在线| 欧美最猛性xxxxx免费| 国内偷自视频区视频综合| 精品久久久久久亚洲精品| 中文字幕欧美亚洲| 欧美性xxxx极品hd欧美风情| 成人网址在线观看| 亚洲女人天堂成人av在线| 久久人人爽人人爽人人片av高请| 午夜精品视频网站| 日韩资源在线观看| 国产精品久久综合av爱欲tv| 97精品国产97久久久久久免费| 久久久久久久久久久久久久久久久久av| 久久精彩免费视频| 亚洲国产成人精品女人久久久| 亚洲成人精品av| 国产欧美精品xxxx另类| 日韩精品免费电影| 国产精品白丝av嫩草影院| 欧美成人小视频| 亚洲欧美制服中文字幕| 国产欧美一区二区三区久久人妖| 国产精品一区二区3区| 一区三区二区视频| 欧美日韩高清在线观看| 免费91在线视频| 国产一区欧美二区三区| 欧美日本啪啪无遮挡网站| www.欧美三级电影.com| 国产精品a久久久久久| 亚洲综合在线小说| 欧美视频免费在线观看| 亚洲人成电影在线观看天堂色| 中文字幕无线精品亚洲乱码一区| 97在线视频免费播放| 亚洲天堂av综合网| 不卡毛片在线看| 国内成人精品视频| 97视频在线观看视频免费视频| 亚洲欧美三级伦理| 韩国精品美女www爽爽爽视频| 久久青草福利网站| 成人在线免费观看视视频| 日韩专区在线播放| 91精品国产91久久久| 国产精品高清在线| 国产精品日本精品| 国产91免费看片| 亚洲自拍偷拍色片视频| 日韩成人在线视频网站| 国产精品狠色婷| 欧美午夜宅男影院在线观看| 亚洲精选中文字幕| 日日噜噜噜夜夜爽亚洲精品| 高清一区二区三区四区五区| 久久99精品久久久久久噜噜| 日韩欧中文字幕| 国产女人18毛片水18精品| 国产91色在线|| 91美女片黄在线观看游戏| 国产999精品久久久| 欧美黑人xxxⅹ高潮交| 亚洲电影免费观看高清| 日本不卡免费高清视频| 国产精品视频久久| 日韩在线观看av| …久久精品99久久香蕉国产| 一色桃子一区二区| 亚洲视频在线观看| 亚洲网在线观看| 九九九久久国产免费| 国产精品18久久久久久首页狼| 欧美一级在线播放| 久久69精品久久久久久国产越南| 国产小视频国产精品| 91精品视频专区| 国产精品jizz在线观看麻豆| 精品magnet| 中文综合在线观看| 国产91精品久| 欧美电影在线观看网站| 88国产精品欧美一区二区三区| 一区二区三区回区在观看免费视频| 91亚洲永久免费精品| 亚洲电影免费观看高清| 国产日韩欧美电影在线观看| 亚洲精品一区二区网址| 久久91超碰青草是什么| 亚洲精品成人久久| 欧美国产在线电影|