經常需要通過python代碼來提取文本的關鍵詞，用于文本分析。而實際應用中文本量又是大量的數據，如果使用單進程的話，效率會比較低，因此可以考慮使用多進程。

python的多進程只需要使用multiprocessing的模塊就行，如果使用大量的進程就可以使用multiprocessing的進程池--Pool，然后不同進程處理時使用apply_async函數進行異步處理即可。

實驗測試語料：message.txt中存放的581行文本，一共7M的數據，每行提取100個關鍵詞。

代碼如下：

#coding:utf-8import sysreload(sys)sys.setdefaultencoding("utf-8")from multiprocessing import Pool,Queue,Processimport multiprocessing as mp import time,randomimport osimport codecsimport jieba.analysejieba.analyse.set_stop_words("yy_stop_words.txt")def extract_keyword(input_string):	#print("Do task by process {proc}".format(proc=os.getpid()))	tags = jieba.analyse.extract_tags(input_string, topK=100)	#print("key words:{kw}".format(kw=" ".join(tags)))	return tags#def parallel_extract_keyword(input_string,out_file):def parallel_extract_keyword(input_string):	#print("Do task by process {proc}".format(proc=os.getpid()))	tags = jieba.analyse.extract_tags(input_string, topK=100)	#time.sleep(random.random())	#print("key words:{kw}".format(kw=" ".join(tags)))	#o_f = open(out_file,'w')	#o_f.write(" ".join(tags)+"/n")	return tagsif __name__ == "__main__":	data_file = sys.argv[1]	with codecs.open(data_file) as f:		lines = f.readlines()		f.close()		out_put = data_file.split('.')[0] +"_tags.txt" 	t0 = time.time()	for line in lines:		parallel_extract_keyword(line)		#parallel_extract_keyword(line,out_put)		#extract_keyword(line)	print("串行處理花費時間{t}".format(t=time.time()-t0))		pool = Pool(processes=int(mp.cpu_count()*0.7))	t1 = time.time()	#for line in lines:		#pool.apply_async(parallel_extract_keyword,(line,out_put))	#保存處理的結果，可以方便輸出到文件	res = pool.map(parallel_extract_keyword,lines)	#print("Print keywords:")	#for tag in res:		#print(" ".join(tag))	pool.close()	pool.join()	print("并行處理花費時間{t}s".format(t=time.time()-t1))

運行：

python data_process_by_multiprocess.py message.txt

message.txt是每行是一個文檔，共581行，7M的數據

運行時間：

不使用sleep來掛起進程,也就是把time.sleep(random.random())注釋掉，運行可以大大節省時間。

以上這篇python多進程提取處理大量文本的關鍵詞方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持武林站長站。