亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 開發 > PHP > 正文

PHP中文分詞的簡單實現代碼分享

2024-05-04 23:17:32
字體:
來源:轉載
供稿:網友
當然, 本文不是要對中文搜索引擎做研究, 而是分享如果用 PHP 做一個站內搜索引擎。 本文是這個系統中的一篇。
我使用的分詞工具是中科院計算所的開源版本的 ICTCLAS。 另外還有開源的 Bamboo, 我隨后也會對該工具進行調研。
從 ICTCLAS 出發是個不錯的選擇, 因為其算法傳播比較廣泛, 有公開的學術文檔, 并且編譯簡單, 庫依賴少。 但目前只提供了 C/C++, Java 和 C# 版本的代碼, 并沒有 PHP 版本的代碼。 怎么辦呢? 也許可以學習它的 C/C++ 源碼和學術文檔中, 然后再開發一個 PHP 版本出來。 不過, 我要使用進程間通信, 在 PHP 代碼里調用 C/C++ 版本的可執行文件。
下載源碼解壓后, 在有 C++ 開發庫和編譯環境的機器上直接 make ictclas 即可。 它的 Makefile 腳本有個錯誤, 執行測試的代碼沒有加上'。/', 當然不能像 Windows 下執行成功了。 但也不影響編譯結果。
進行中文分詞的 PHP 類就在下面了, 用 proc_open() 函數來執行分詞程序, 并通過管道和其交互, 輸入要進行分詞的文本, 讀取分詞結果。

復制代碼 代碼如下:


<?php
class NLP{
private static $cmd_path;
// 不以'/'結尾
static function set_cmd_path($path){
self::$cmd_path = $path;
}
private function cmd($str){
$descriptorspec = array(
0 => array("pipe", "r"),
1 => array("pipe", "w"),
);
$cmd = self::$cmd_path . "/ictclas";
$process = proc_open($cmd, $descriptorspec, $pipes);
if (is_resource($process)) {
$str = iconv('utf-8', 'gbk', $str);
fwrite($pipes[0], $str);
$output = stream_get_contents($pipes[1]);
fclose($pipes[0]);
fclose($pipes[1]);
$return_value = proc_close($process);
}
/*
$cmd = "printf '$input' | " . self::$cmd_path . "/ictclas";
exec($cmd, $output, $ret);
$output = join("/n", $output);
*/
$output = trim($output);
$output = iconv('gbk', 'utf-8', $output);
return $output;
}
/**
* 進行分詞, 返回詞語列表.
*/
function tokenize($str){
$tokens = array();
$output = self::cmd($input);
if($output){
$ps = preg_split('//s+/', $output);
foreach($ps as $p){
list($seg, $tag) = explode('/', $p);
$item = array(
'seg' => $seg,
'tag' => $tag,
);
$tokens[] = $item;
}
}
return $tokens;
}
}
NLP::set_cmd_path(dirname(__FILE__));
?>


使用起來很簡單(確保 ICTCLAS 編譯后的可執行文件和詞典在當前目錄):

復制代碼 代碼如下:


<?php
require_once('NLP.php');
var_dump(NLP::tokenize('Hello, World!'));
?>

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
高潮白浆女日韩av免费看| 日韩av片永久免费网站| 97视频色精品| 久久久在线免费观看| 亚洲免费av片| 精品国产鲁一鲁一区二区张丽| 中文在线资源观看视频网站免费不卡| 亚洲视频免费一区| 成人在线国产精品| 国产日韩综合一区二区性色av| 午夜精品福利电影| 亚洲国产私拍精品国模在线观看| 91精品国产自产在线老师啪| 国产成人一区二区三区小说| 久久91亚洲人成电影网站| 永久免费毛片在线播放不卡| 最近2019中文字幕一页二页| 欧美成人精品xxx| 欧美性猛交xxxx免费看漫画| 97精品视频在线| 亚洲最大中文字幕| 欧美成人高清视频| 日本精品免费一区二区三区| 91精品久久久久久久久久另类| 亚洲色图综合久久| 在线成人免费网站| 久久久这里只有精品视频| 亚洲色在线视频| 欧美日韩国产丝袜另类| 97在线视频精品| 国产精品久久久久久av下载红粉| 欧美精品久久久久| 久久久久久亚洲精品不卡| 国内精品400部情侣激情| 国产成人精品免高潮费视频| 在线观看日韩欧美| 91久久久亚洲精品| 国产精品香蕉在线观看| 国产成+人+综合+亚洲欧洲| 精品久久久久久久久国产字幕| 日韩电视剧在线观看免费网站| 欧美日韩国产中文字幕| 日韩在线中文字| 亚洲精品wwww| 成人av在线天堂| 亚洲天堂男人的天堂| 亚洲精品视频播放| 亚洲精品国偷自产在线99热| 青草青草久热精品视频在线观看| 欧美成人精品xxx| 成人羞羞国产免费| 欧美第一淫aaasss性| 97色伦亚洲国产| 精品毛片网大全| 在线视频欧美日韩| 国产午夜精品视频| 欧美国产日韩精品| 久久av在线看| 亚洲一区二区久久久久久| 欧美激情视频一区| 日韩亚洲国产中文字幕| 国产一区二区三区在线免费观看| 高清一区二区三区四区五区| 精品人伦一区二区三区蜜桃免费| 欧美性猛交xxxx乱大交蜜桃| 亚洲天堂影视av| 69av视频在线播放| 亚洲精品suv精品一区二区| 国产精品精品视频一区二区三区| 精品国产31久久久久久| 亚洲一品av免费观看| 精品国产乱码久久久久久天美| 精品一区二区亚洲| 欧美日韩高清在线观看| 日韩一区二区在线视频| 国产精品美女免费视频| 日韩欧美一区二区三区| 在线观看日韩欧美| 久久久亚洲国产天美传媒修理工| 亚洲精品理论电影| 日韩av片永久免费网站| 欧美黄色www| 欧美国产亚洲精品久久久8v| 亚洲激情在线视频| 国产精品自拍视频| 亚洲成人xxx| 91国产在线精品| 国产精品视频99| 5566成人精品视频免费| 欧美成年人视频网站欧美| 色妞在线综合亚洲欧美| 亚洲第一福利视频| 久久夜色撩人精品| 国产一级揄自揄精品视频| 日韩美女视频免费看| 午夜精品www| 亚洲欧美日韩视频一区| 国产在线视频91| 欧美性xxxxhd| 91视频免费网站| 国产精品久久久久久久app| 亚洲成人999| 中文字幕欧美日韩va免费视频| 色99之美女主播在线视频| 色综合伊人色综合网| 欧美成人免费大片| 国产精品精品视频| 久久久av网站| 欧美亚洲国产成人精品| 久久亚洲国产成人| 国产91在线高潮白浆在线观看| 1769国内精品视频在线播放| 亚洲精品中文字幕av| 国内揄拍国内精品| 久久人人爽人人爽人人片av高清| 久久免费精品日本久久中文字幕| 国产中文字幕亚洲| 亚洲精品二三区| 亚洲自拍小视频| 国产精品福利在线观看网址| 精品国产一区二区三区在线观看| 久久精品夜夜夜夜夜久久| 性色av香蕉一区二区| 在线观看亚洲区| 欧美日韩国产综合视频在线观看中文| 欧美人与性动交| 欧美精品情趣视频| 在线免费观看羞羞视频一区二区| 国产成人jvid在线播放| 66m—66摸成人免费视频| 久久国产一区二区三区| 国产精品女视频| 久久av红桃一区二区小说| 久久国产精品久久久久久| 亚洲精品久久久久久下一站| 综合136福利视频在线| 日韩av资源在线播放| 久久这里只有精品99| 亚洲成人动漫在线播放| 精品久久香蕉国产线看观看亚洲| 亚洲石原莉奈一区二区在线观看| 91a在线视频| 国产精品手机播放| 麻豆国产精品va在线观看不卡| 欧美性生交xxxxxdddd| 国产精品欧美日韩久久| 欧美日韩亚洲一区二区三区| 日韩av电影中文字幕| 国产日韩精品电影| 久久全球大尺度高清视频| 热99久久精品| 久久夜色精品国产| 久久久精品亚洲| 国产一区二区三区精品久久久| 国产69精品久久久| 亚洲午夜精品视频| 国产精品伦子伦免费视频| 美女扒开尿口让男人操亚洲视频网站| 欧美国产极速在线| 一个色综合导航| 草民午夜欧美限制a级福利片| 亚洲free性xxxx护士hd| 成人国产在线激情| 欧美第一黄网免费网站|