說(shuō)說(shuō)大型高并發(fā)高負(fù)載網(wǎng)站的系統(tǒng)架構(gòu)

2019-11-02 16:54:58

字體：大中小

供稿：網(wǎng)友

我在Cernet做過(guò)撥號(hào)接入平臺(tái)的搭建，而后在Yahoo3721負(fù)載搜索引擎前端平臺(tái)開(kāi)發(fā)，又在貓撲處理過(guò)大型社區(qū)貓撲大雜燴的架構(gòu)升級(jí)等工作，同時(shí)自己接觸和開(kāi)發(fā)過(guò)不少大中型網(wǎng)站的模塊，因此在大型網(wǎng)站應(yīng)對(duì)高負(fù)載和并發(fā)的解決方案上有一些積累和經(jīng)驗(yàn)，可以和大家一起探討一下。

一個(gè)小型的網(wǎng)站，比如個(gè)人網(wǎng)站，可以使用最簡(jiǎn)單的html靜態(tài)頁(yè)面就實(shí)現(xiàn)了，配合一些圖片達(dá)到美化效果，所有的頁(yè)面均存放在一個(gè)目錄下，這樣的網(wǎng)站對(duì)系統(tǒng)架構(gòu)、性能的要求都很簡(jiǎn)單，隨著互聯(lián)網(wǎng)業(yè)務(wù)的不斷豐富，網(wǎng)站相關(guān)的技術(shù)經(jīng)過(guò)這些年的發(fā)展，已經(jīng)細(xì)分到很細(xì)的方方面面，尤其對(duì)于大型網(wǎng)站來(lái)說(shuō)，所采用的技術(shù)更是涉及面非常廣，從硬件到軟件、編程語(yǔ)言、數(shù)據(jù)庫(kù)、WebServer、防火墻等各個(gè)領(lǐng)域都有了很高的要求，已經(jīng)不是原來(lái)簡(jiǎn)單的html靜態(tài)網(wǎng)站所能比擬的。

大型網(wǎng)站，比如門(mén)戶(hù)網(wǎng)站。在面對(duì)大量用戶(hù)訪(fǎng)問(wèn)、高并發(fā)請(qǐng)求方面，基本的解決方案集中在這樣幾個(gè)環(huán)節(jié)：使用高性能的服務(wù)器、高性能的數(shù)據(jù)庫(kù)、高效率的編程語(yǔ)言、還有高性能的Web容器。但是除了這幾個(gè)方面，還沒(méi)法根本解決大型網(wǎng)站面臨的高負(fù)載和高并發(fā)問(wèn)題。

上面提供的幾個(gè)解決思路在一定程度上也意味著更大的投入，并且這樣的解決思路具備瓶頸，沒(méi)有很好的擴(kuò)展性，下面我從低成本、高性能和高擴(kuò)張性的角度來(lái)說(shuō)說(shuō)我的一些經(jīng)驗(yàn)。

1、HTML靜態(tài)化

其實(shí)大家都知道，效率最高、消耗最小的就是純靜態(tài)化的html頁(yè)面，所以我們盡可能使我們的網(wǎng)站上的頁(yè)面采用靜態(tài)頁(yè)面來(lái)實(shí)現(xiàn)，這個(gè)最簡(jiǎn)單的方法其實(shí)也是最有效的方法。但是對(duì)于大量?jī)?nèi)容并且頻繁更新的網(wǎng)站，我們無(wú)法全部手動(dòng)去挨個(gè)實(shí)現(xiàn)，于是出現(xiàn)了我們常見(jiàn)的信息發(fā)布系統(tǒng)CMS，像我們常訪(fǎng)問(wèn)的各個(gè)門(mén)戶(hù)站點(diǎn)的新聞?lì)l道，甚至他們的其他頻道，都是通過(guò)信息發(fā)布系統(tǒng)來(lái)管理和實(shí)現(xiàn)的，信息發(fā)布系統(tǒng)可以實(shí)現(xiàn)最簡(jiǎn)單的信息錄入自動(dòng)生成靜態(tài)頁(yè)面，還能具備頻道管理、權(quán)限管理、自動(dòng)抓取等功能，對(duì)于一個(gè)大型網(wǎng)站來(lái)說(shuō)，擁有一套高效、可管理的CMS是必不可少的。

除了門(mén)戶(hù)和信息發(fā)布類(lèi)型的網(wǎng)站，對(duì)于交互性要求很高的社區(qū)類(lèi)型網(wǎng)站來(lái)說(shuō)，盡可能的靜態(tài)化也是提高性能的必要手段，將社區(qū)內(nèi)的帖子、文章進(jìn)行實(shí)時(shí)的靜態(tài)化，有更新的時(shí)候再重新靜態(tài)化也是大量使用的策略，像Mop的大雜燴就是使用了這樣的策略，網(wǎng)易社區(qū)等也是如此。

同時(shí)，html靜態(tài)化也是某些緩存策略使用的手段，對(duì)于系統(tǒng)中頻繁使用數(shù)據(jù)庫(kù)查詢(xún)但是內(nèi)容更新很小的應(yīng)用，可以考慮使用html靜態(tài)化來(lái)實(shí)現(xiàn)，比如論壇中論壇的公用設(shè)置信息，這些信息目前的主流論壇都可以進(jìn)行后臺(tái)管理并且存儲(chǔ)再數(shù)據(jù)庫(kù)中，這些信息其實(shí)大量被前臺(tái)程序調(diào)用，但是更新頻率很小，可以考慮將這部分內(nèi)容進(jìn)行后臺(tái)更新的時(shí)候進(jìn)行靜態(tài)化，這樣避免了大量的數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)請(qǐng)求。

2、圖片服務(wù)器分離

大家知道，對(duì)于Web服務(wù)器來(lái)說(shuō)，不管是Apache、IIS還是其他容器，圖片是最消耗資源的，于是我們有必要將圖片與頁(yè)面進(jìn)行分離，這是基本上大型網(wǎng)站都會(huì)采用的策略，他們都有獨(dú)立的圖片服務(wù)器，甚至很多臺(tái)圖片服務(wù)器。這樣的架構(gòu)可以降低提供頁(yè)面訪(fǎng)問(wèn)請(qǐng)求的服務(wù)器系統(tǒng)壓力，并且可以保證系統(tǒng)不會(huì)因?yàn)閳D片問(wèn)題而崩潰，在應(yīng)用服務(wù)器和圖片服務(wù)器上，可以進(jìn)行不同的配置優(yōu)化，比如apache在配置ContentType的時(shí)候可以盡量少支持，盡可能少的LoadModule，保證更高的系統(tǒng)消耗和執(zhí)行效率。

3、數(shù)據(jù)庫(kù)集群和庫(kù)表散列

大型網(wǎng)站都有復(fù)雜的應(yīng)用，這些應(yīng)用必須使用數(shù)據(jù)庫(kù)，那么在面對(duì)大量訪(fǎng)問(wèn)的時(shí)候，數(shù)據(jù)庫(kù)的瓶頸很快就能顯現(xiàn)出來(lái)，這時(shí)一臺(tái)數(shù)據(jù)庫(kù)將很快無(wú)法滿(mǎn)足應(yīng)用，于是我們需要使用數(shù)據(jù)庫(kù)集群或者庫(kù)表散列。

在數(shù)據(jù)庫(kù)集群方面，很多數(shù)據(jù)庫(kù)都有自己的解決方案，Oracle、Sybase等都有很好的方案，常用的MySQL提供的Master/Slave也是類(lèi)似的方案，您使用了什么樣的DB，就參考相應(yīng)的解決方案來(lái)實(shí)施即可。

上一篇：站長(zhǎng)必去的十個(gè)編程網(wǎng)站

下一篇：影響SEO的頁(yè)面制作細(xì)節(jié)