def make_cycle(): l = [ ] l.append(l)make_cycle()這個時候就需要垃圾回收機制(garbage collection),來回收循環應用的對象。垃圾回收機制會根據內存的分配和釋放情況的而被調用,比如分配內存的次數減去釋放內存的次數大于某一個閾值的時候。如下所示,我們可以通過gc對象來獲取閾值:import gcPRint "Garbage collection thresholds: %r" % gc.get_threshold()# Garbage collection thresholds: (700, 10, 10)當內存溢出時,不會自動調用garbage collection( gc ),因為gc更看重的是垃圾對象的個數, 而不是大小。對于長時間運行的程序,尤其是一些服務器應用,人為主動的調用gc是非常有必要的,如下代碼所示:import sys, gcdef make_cycle(): l = {} l[0] = ldef main(): collected = gc.collect() print "Garbage collector: collected %d objects." % (collected) print "Creating cycles..." for i in range(10): make_cycle() collected = gc.collect() print "Garbage collector: collected %d objects." % (collected)if __name__ == "__main__": ret = main() sys.exit(ret)調用gc的策略有兩種,一種是固定時間間隔進行調用,另一種是基于事件的調用。如1,用戶終止了對應用的訪問,2,明顯監測到應用進入到閑置的狀態,3,運行高性能服務前后,4,周期性、或階段性工作的前后。注意gc雖好,但也不能常用,畢竟還是會消耗一定的計算資源。二,gc垃圾回收方法(尋找引用循環對象):
可以發現,只有容器對象才會出現引用循環,比如列表、字典、類、元組。首先,為了追蹤容器對象,需要每個容器對象維護兩個額外的指針,用來將容器對象組成一個鏈表,指針分別指向前后兩個容器對象,方便插入和刪除操作。其次,每個容器對象還得添加gc_refs字段。一次gc垃圾回收步驟:1,使得gc_refs等于容器對象的引用計數。2,遍歷每個容器對象(a),找到它(a)所引用的其它容器對象(b),將那個容器對象(b)的gc_refs減去1。3,將所有gc_refs大于0的容器對象(a)取出來,組成新的隊列,因為這些容器對象被容器對象隊列的外部所引用。4,任何被新隊列里面的容器對象,所引用的容器對象(舊隊列中)也要加入到新隊列里面。5,釋放舊隊列里面的剩下的容器對象。(釋放容器對象時,它所引用的對象的引用計數也要減1)三,gc分代機制:
gc采用分代(generations)的方法來管理對象,總共分為三代(generation 0,1,2)。新產生的對象放到第0代里面。如果該對象在第0代的一次gc垃圾回收中活了下來,那么它就被放到第1代里面。如果第1代里面的對象在第1代的一次gc垃圾回收中活了下來,它就被放到第2代里面。gc.set_threshold(threshold0[, threshold1[, threshold2]])設置gc每一代垃圾回收所觸發的閾值。從上一次第0代gc后,如果分配對象的個數減去釋放對象的個數大于threshold0,那么就會對第0代中的對象進行gc垃圾回收檢查。從上一次第1代gc后,如過第0代被gc垃圾回收的次數大于threshold1,那么就會對第1代中的對象進行gc垃圾回收檢查。同樣,從上一次第2代gc后,如過第1代被gc垃圾回收的次數大于threshold2,那么就會對第2代中的對象進行gc垃圾回收檢查。如果threshold0設置為0,表示關閉分代機制。四,最后的bug:__del__方法:
最后的問題就是__del__方法的調用。我們知道當引用計數變為0的時候,會先調用對象的__del__方法,然后再釋放對象。但是當一個引用循環中對象有__del__方法時,gc就不知道該以什么樣的順序來釋放環中對象。因為環中的a對象的__del__方法可能調用b對象,而b對象的__del__方法也有可能調用a對象。所以需要人為顯式的破環。import gcclass A(object): def __del__(self): print '__del__ in A'class B(object): def __del__(self): print '__del__ in B' class C(object): pass if __name__=='__main__': print 'collect: ',gc.collect() print 'garbage: ',gc.garbage a = A() b = B() c = C() a.cc = c c.bb = b b.aa = a del a,b,c print 'collect: ',gc.collect() print 'garbage: ',gc.garbage del gc.garbage[0].cc # 當然,這是在我們知道第一個對象是 a的情況下,手動破除引用循環中的環 del gc.garbage[:] # 消除garbage對a和b對象的引用,這樣引用計數減1等于0,就能回收a、b、c三個對象了 print 'garbage: ',gc.garbage print '----------------------------' print 'collect: ',gc.collect() print 'garbage: ',gc.garbage如上所示:調用一次gc.collect(),首先檢查因為引用循環而不可達對象,如果一個引用循環中所有對象都不包含__del__方法,那么這個引用循環中的對象都將直接被釋放掉。否則,將引用循環中包含__del__方法的對象加入到gc.garbage列表中。(這時它們的引用計數也會加1,因此gc.collect()不會再對這個環進行處理)用戶通過gc.garbage來獲取這些對象,手動消除引用,進行破環。最后消除gc.garbage對這些對象的引用,這時這些對象的引用計數減1等于0,就自動被回收了。否則由于gc.garbage對這些對象存在引用,這些對象將永遠不會被回收。五,其它:
import weakrefclass Foo(object): passa = Foo()a.bar = 123a.bar2 = 123del adel a.bar2b = weakref.ref(a)print b().barprint a == b()c = weakref.proxy(a)print c.barprint c == adel:只是使變量所代表的對象的引用計數減1,并在對應空間中刪除該變量名。weak.ref:會返回a對象的引用,但是不會讓a對象的引用計數加1。但是每次都得通過b()來獲取a對象。weak.proxy:相對于weakref.ref更透明的可選操作,即直接通過c就獲取a對象。閉包空間的變量和自由變量的釋放問題:
class A(object): def __init__(self,name): self._name = name def __del__(self): print '__del__ in ',self._name def f1(): a = A('a') b = A('b') def f2(): c = A('c') print a return f2 if __name__=='__main__': print 'f2 = f1():' f2 = f1() print '/na.__closure__:' print f2.__closure__ # 查看f2的閉包里面引用了a對象 print '/na():' f2() print '/ndel f2:' del f2 # 此時已經沒有任何變量可以引用到返回的f2對象了。 print '/nover!'參考:
http://www.digi.com/wiki/developer/index.php/Python_Garbage_Collectionhttp://arctrix.com/nas/python/gc/https://docs.python.org/2.7/library/gc.html注:python2.7版本
新聞熱點
疑難解答