起步

Python3 起，str 就采用了 Unicode 編碼（注意這里并不是 utf8 編碼，盡管 .py 文件默認(rèn)編碼是 utf8 ）。 每個標(biāo)準(zhǔn) Unicode 字符占用 4 個字節(jié)。這對于內(nèi)存來說，無疑是一種浪費(fèi)。

Unicode 是表示了一種字符集，而為了傳輸方便，衍生出里如 utf8 , utf16 等編碼方案來節(jié)省存儲空間。Python內(nèi)部存儲字符串也采用了類似的形式。

三種內(nèi)部表示Unicode字符串

為了減少內(nèi)存的消耗，Python使用了三種不同單位長度來表示字符串：

源碼中定義字符串結(jié)構(gòu)體：

# Include/unicodeobject.htypedef uint32_t Py_UCS4;typedef uint16_t Py_UCS2;typedef uint8_t Py_UCS1;# Include/cpython/unicodeobject.htypedef struct {  PyCompactUnicodeObject _base;  union {    void *any;    Py_UCS1 *latin1;    Py_UCS2 *ucs2;    Py_UCS4 *ucs4;  } data;           /* Canonical, smallest-form Unicode buffer */} PyUnicodeObject;

如果字符串中所有字符都在 ascii 碼范圍內(nèi)，那么就可以用占用 1 個字節(jié)的 Latin-1 編碼進(jìn)行存儲。而如果字符串中存在了需要占用兩個字節(jié)（比如中文字符），那么整個字符串就將采用占用 2 個字節(jié) UCS-2 編碼進(jìn)行存儲。

這點(diǎn)可以通過 sys.getsizeof 函數(shù)外部窺探來驗(yàn)證這個結(jié)論：

如圖，存儲 'zh' 所需的存儲空間比 'z' 多 1 個字節(jié)， h 在這里占了 1 個字節(jié)；

存儲 'z中' 所需的存儲空間比 '中' 多了 2 個字節(jié)，z 在這里占了 2 個字節(jié)。

大多數(shù)的自然語言采用 2 字節(jié)的編碼就夠了。但如果有一個 1G 的 ascii 文本加載到內(nèi)存后，在文本中插入了一個 emoji 表情，那么字符串所需的空間將擴(kuò)大到 4 倍，是不是很驚喜。

為什么內(nèi)部不采用 utf8 進(jìn)行編碼

最受歡迎的 Unicode 編碼方案，Python內(nèi)部卻不使用它，為什么？

這里就得說下 utf8 編碼帶來的缺點(diǎn)。這種編碼方案每個字符的占用字節(jié)長度是變化的，這就導(dǎo)致了無法按所以隨機(jī)訪問單個字符，例如 string[n] （使用utf8編碼）則需要先統(tǒng)計前n個字符占用的字節(jié)長度。所以由 O(1) 變成了 O(n) ，這更無法讓人接受。

因此Python內(nèi)部采用了定長的方式存儲字符串。

字符串駐留機(jī)制

另一個節(jié)省內(nèi)存的方式就是將一些短小的字符串做成池，當(dāng)程序要創(chuàng)建字符串對象前檢查池中是否有滿足的字符串。在內(nèi)部中，僅包含下劃線（_）、字母 和 數(shù)字 的長度不高過 20 的字符串才能駐留。駐留是在代碼編譯期間進(jìn)行的，代碼中的如下會進(jìn)行駐留檢查：

駐留機(jī)制節(jié)省大量的重復(fù)字符串內(nèi)存。在內(nèi)部，字符串駐留池由一個全局的 dict 維護(hù)，該字段將字符串用作鍵:

void PyUnicode_InternInPlace(PyObject **p){  PyObject *s = *p;  PyObject *t;  if (s == NULL || !PyUnicode_Check(s))    return;  // 對PyUnicodeObjec進(jìn)行類型和狀態(tài)檢查  if (!PyUnicode_CheckExact(s))    return;  if (PyUnicode_CHECK_INTERNED(s))    return;  // 創(chuàng)建intern機(jī)制的dict  if (interned == NULL) {    interned = PyDict_New();    if (interned == NULL) {      PyErr_Clear(); /* Don't leave an exception */      return;    }  }  // 對象是否存在于inter中  t = PyDict_SetDefault(interned, s, s);  // 存在， 調(diào)整引用計數(shù)  if (t != s) {    Py_INCREF(t);    Py_SETREF(*p, t);    return;  }  /* The two references in interned are not counted by refcnt.    The deallocator will take care of this */  Py_REFCNT(s) -= 2;  _PyUnicode_STATE(s).interned = SSTATE_INTERNED_MORTAL;}