這篇文章主要介紹了jQuery選擇器源碼解讀(三)：tokenize方法,本文用詳細的注釋解讀了tokenize方法的實現源碼,需要的朋友可以參考下

1. /* 
2. * tokenize方法是選擇器解析的核心函數，它將選擇器轉換成兩級數組groups 
3. * 舉例： 
4. * 若選擇器為“div.class,span”，則解析后的結果為： 
5. * group[0][0] = {type:'TAG',value:'div',matches:match} 
6. * group[0][1] = {type:'CLASS',value:'.class',matches:match} 
7. * group[1][0] = {type:'TAG',value:'span',matches:match} 
8. * 由上述結果可以看出，groups的每一個元素以逗號分隔的選擇器塊的解析結果， 
9. * 另外，上述結果中的matches等于模式匹配的結果，由于在此不方便寫清楚， 
10. * 故只把代碼matches:match寫在這里。 
11. *  
12. * tokenize方法完成如下兩個主要任務： 
13. * 1、解析選擇器 
14. * 2、將解析結果存入緩存中，以備后用 
15. *  
16. *  
17. * @param selector 待解析的選擇器字符串 
18. * @param parseOnly 為true時，說明本次調用是匹配子選擇器 
19. * 舉個例子：若初始選擇器為"div:not(.class:not(:eq(4))):eq(3)" 
20. * 代碼首先匹配出TAG選擇器div， 
21. * 之后匹配出的pseudo選擇器字符串是:not(.class:not(:eq(4))):eq(3)， 
22. * 代碼會把“.class:not(:eq(4))):eq(3”作為not的括號內的值進一步進行解析， 
23. * 此時代碼在調用tokenize解析時，parseOnly參數會傳入true. 
24. */ 
25. function tokenize(selector, parseOnly) { 
26. var matched, match, tokens, type, soFar, groups, preFilters,  
27. // 獲取緩存中的結果 
28. cached = tokenCache[selector + " "]; 
29.  
30. /* 
31. * 若緩存中有selector對應的解析結果 
32. * 則執行if中語句體 
33. */ 
34. if (cached) { 
35. // 若是對初始選擇器解析（parseOnly!=true），則返回緩存結果， 
36. // 若不是，則返回0 
37. return parseOnly ? 0 : cached.slice(0); 
38. } 
39.  
40. /* 
41. * 由于字符串在javascript中不是作為對象來處理的， 
42. * 所以通過賦值，代碼就自動復制了一個新字符串給了soFar， 
43. * 這樣，對soFar的任何處理都不會影響selector的原有數據 
44. */ 
45. soFar = selector; 
46. groups = []; 
47. // 此處賦值，僅僅用于減少后續代碼字數，縮短執行路徑 
48. preFilters = Expr.preFilter; 
49.  
50. while (soFar) { 
51.  
52. // Comma and first run 
53. /* 
54. * rcomma = new RegExp("^" + whitespace + "*," + whitespace + "*") 
55. * rcomma用來判定是否存在多個選擇器塊，即用逗號隔開的多個并列的選擇器 
56. *  
57. * 下面條件判定依次為： 
58. * !matched：若是第一次執行循環體，則為true；否則為false。 
59. * 這里matched即作為是否第一次執行循環體的標識， 
60. * 也作為本次循環中soFar是否以非法字符串（即非合法單一選擇器）開頭的標志。 
61. * (match = rcomma.exec(soFar)：獲取符合rcomma的匹配項 
62. */ 
63. if (!matched || (match = rcomma.exec(soFar))) { 
64. if (match) { 
65. // Don't consume trailing commas as valid 
66. /* 
67. * 剔除掉第一個逗號及之前的所有字符 
68. * 舉個例子： 
69. * 若初始選擇器為："div.news,span.closed"， 
70. * 在解析過程中，首先由后續代碼解析完畢div.news，剩下",span.closed" 
71. * 在循環體內執行到這里時，將逗號及之前之后連續的空白（match[0]）刪除掉， 
72. * 使soFar變成"span.closed"，繼續執行解析過程 
73. *  
74. * 在這里，若初始選擇器的最后一個非空白字符是逗號， 
75. * 那么執行下面代碼時soFar不變，即soFar.slice(match[0].length)返回空字符串， 
76. * 故最終返回的是||后面的soFar 
77. */ 
78. soFar = soFar.slice(match[0].length) || soFar; 
79. } 
80.  
81. /* 
82. * 在第一次執行循環體或者遇到逗號分割符時，將tokens賦值為一個空數組， 
83. * 同時壓入groups數組 
84. */ 
85. groups.push(tokens = []); 
86. } 
87.  
88. matched = false; 
89.  
90. // Combinators 
91. /* 
92. * rcombinators = new RegExp( 
93. * "^" + whitespace + "*([>+~]|" + whitespace + ")" + whitespace + "*"), 
94. * rcombinators用來匹配四種關系符，即>+~和空白 
95. *  
96. * 若soFar中是以關系符開始的，則執行if內的語句體 
97. */ 
98. if ((match = rcombinators.exec(soFar))) { 
99. /* 
100. * 將match[0]移除match數組，同時將它賦予matched 
101. * 若原本關系符兩邊帶有空格，則此時match[0]與matched是不相等的 
102. * 舉個例子： 
103. * 若soFar = " + .div"; 
104. * 執行match = rcombinators.exec(soFar)后， 
105. * match[0] = " + "，而match[1]="+"; 
106. * 執行完matched = match.shift()后， 
107. * matched=" + "，而match[0]="+"; 
108. */ 
109. matched = match.shift(); 
110. // 將匹配結果壓入tokens數組中 
111. tokens.push({ 
112. value : matched, 
113. // Cast descendant combinators to space 
114. /* 
115. * rtrim = new RegExp("^" + whitespace + "+|((?:^|[^////])(?:////.)*)" 
116. * + whitespace + "+$", "g"), 
117. * whitespace = "[//x20//t//r//n//f]"; 
118. *  
119. * 下面match[0].replace(rtrim, " ")的作用是將match[0]左右兩邊的空白替換為空格 
120. * 但是由于其上的match.shift的作用，match[0]已經是兩邊不帶空白的字符串了， 
121. * 故此出的替換是沒有用途的代碼 
122. */ 
123. type : match[0].replace(rtrim, " ") 
124. }); 
125.  
126. // 將關系符之后的字符串賦予soFar，繼續解析 
127. soFar = soFar.slice(matched.length); 
128. } 
129.  
130. // Filters 
131. /* 
132. * 下面通過for語句對soFar逐一匹配ID、TAG、CLASS、CHILD、ATTR、PSEUDO類型的選擇器 
133. * 若匹配到了，則先調用該類型選擇器對應的預過濾函數， 
134. * 然后，將結果壓入tokens數組，繼續本次循環。 
135. */ 
136. for (type in Expr.filter) { 
137. /* 
138. * match = matchExpr[type].exec(soFar)：對soFar調用type類型的正則表達式對soFar進行匹配， 
139. * 并將匹配結果賦予match。若未匹配到數據，則match為undefined。 
140. * !preFilters[type]：若不存在type類型的預過濾函數，則為true 
141. * match = preFilters[type](match)：執行預過濾，并將結果返回給match 
142. *  
143. */ 
144. if ((match = matchExpr[type].exec(soFar)) 
145. && (!preFilters[type] || (match = preFilters[type] 
146. (match)))) { 
147. // 將match[0]移除match數組，同時將它賦予matched 
148. matched = match.shift(); 
149. // 將匹配結果壓入tokens數組中 
150. tokens.push({ 
151. value : matched, 
152. type : type, 
153. matches : match 
154. }); 
155. // 將匹配結果之后的字符串賦予soFar，繼續解析 
156. soFar = soFar.slice(matched.length); 
157. } 
158. } 
159.  
160. /* 
161. * 若matched==false， 
162. * 則說明本次循環沒有有效的選擇器（包括關系符和id、class等類型選擇器） 
163. * 因此，解析到當前位置遺留下來的soFar是非法的選擇器字符串 
164. * 跳出while循環體 
165. */ 
166. if (!matched) { 
167. break; 
168. } 
169. } 
170.  
171. // Return the length of the invalid excess 
172. // if we're just parsing 
173. // Otherwise, throw an error or return tokens 
174. /* 
175. * 若不是對初始選擇器字符串進行解析（!parseOnly==true）， 
176. * 則返回soFar.length，此時的soFar.length代表連續有效的選擇器最終位置， 
177. * 后續文章將以實例進行說明 
178. * 若是對初始選擇器字符串進行解析，則看soFar是否還有字符， 
179. * 若是，則執行Sizzle.error(selector)拋出異常； 
180. * 若不是，則執行tokenCache(selector, groups).slice(0)將結果壓入緩存，并返回結果的副本。 
181. */ 
182. return parseOnly ? soFar.length : soFar ? Sizzle.error(selector) : 
183. // Cache the tokens 
184. tokenCache(selector, groups).slice(0); 
185. }