本文實例講述了Python多進程原理與用法。分享給大家供大家參考,具體如下:
進程是程序在計算機上的一次執行活動。當你運行一個程序,你就啟動了一個進程。顯然,程序是死的(靜態的),進程是活的(動態的)。進程可以分為系統進程和用戶進程。凡是用于完成操作系統的各種功能的進程就是系統進程,它們就是處于運行狀態下的操作系統本身;所有由你啟動的進程都是用戶進程。進程是操作系統進行資源分配的單位。
開啟一個進程
import multiprocessing,time,osdef runtask(): time.sleep(2) print("開啟一個進程:%s"%os.getpid())if __name__ == "__main__": p = multiprocessing.Process(target=runtask,) p.start()
進程隊列
import multiprocessingdef runtask(): q.put([42,"python"])if __name__ == "__main__": q = multiprocessing.Queue() p = multiprocessing.Process(target=runtask,) p.start() print(q.get()) # 打印結果:[42,"python"]
pipe管道
返回兩個連接對象。代表管道的兩端,默認雙向通信。
import multiprocessingdef runtask(): conn.send("abc") conn.close()if __name__ == "__main__": conn,pconn = multiprocessing.Pipe() p = multiprocessing.Process() p.start() print(pconn.recv()) # 打印結果:"abc"
Value、Array
共享內存有兩個結構,一個是Value,一個是Array,這兩個結構內部都實現了鎖機制,因此進程是安全的。
import multiprocessdef runtask(): d.value = 50 for index in range(len(a)): a[index]+=10if __name__ == "__main__": # 下面的字符"d"、"i"似乎是固定的,換成其他將會報錯。求大神解釋 d = Value("d",20) a = Array("i",range(10)) p = multiprocessing.Process(target=runtask,) p.start() p.join() # 等待進程執行完畢 print(d.value,a[:]) # 打印結果: 50.0 [10, 11, 12, 13, 14, 15, 16, 17, 18, 19]
Manager
Python實現多進程之間通信除了Queue(隊列)、Pipe(管道)和Value-Array之外,還提供了更高層次的封裝。Manager支持的類型非常多,如:list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value 和 Array 用法如下:
import multiprocessingdef runtask(): d["name"] = "laowang" l.reverse()if __name__ == "__main__": with multiprocessing.Manager() as manager: d = manager.dict() l = manager.list(range(10)) p = multiprocessing.Process(target=runtask,) p.start() p.join() # 等待進程執行完畢 print(d,l) # 打印結果:{'name': 'laowang'} [9, 8, 7, 6, 5, 4, 3, 2, 1, 0]
進程池Pool
Pool 是進程池,進程池能夠管理一定的進程,當有空閑進程時,則利用空閑進程完成任務,直到所有任務完成為止
import multiprocessingdef runtask(): passdef callBackTask(arg): # 回調函數必須要有一個形參,否則將報錯 print("執行回調函數",arg)if __name__ == "__main__": pool = multiprocessing.Pool(5) # 設置進程池最大同時執行進程數 for index in range(20): pool.apply_async(func=runtask,callback=callBackTask) # 并行的,有回調方法 # pool.apply(func=runtask,) # 串行的,無回調函數 pool.close() # 關閉進程池 pool.join() # #調用join之前,先調用close函數,否則會出錯。執行完close后不會有新的進程加入到pool,join函數等待所有子進程結束
新聞熱點
疑難解答