亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 學院 > 開發設計 > 正文

ASP.NET+SqlSever大數據解決方案PKHADOOP

2019-11-14 14:32:43
字體:
來源:轉載
供稿:網友

半個月前看到博客園有人說.NET不行那篇文章,我只想說你們有時間去抱怨不如多寫些實在的東西。

 

 1、SQLSERVER優點和缺點?

     優點:支持索引、事務、安全性以及容錯性高

     缺點:數據量達到100萬以上就需要開始優化了,一般我們會對 表進行水平拆分,分表、分區和作業同步等,這樣做大大提高了邏輯的復雜性,難以維護,只有群集容錯,沒有多庫負載均衡并行計算功能。

 

 2、SQLSERVER真的不能處理大數據?

   答案:當然可以的,打個比方:操作單一數據庫稱為一維操作,如果操作相同結構,分布在多個服務器上的多個數據庫這個可以稱為二維操作。 我們只需要對這個二維操作進行一層封裝,讓他支持并行運算,把服務器壓力分散開,我們不需要寫太多東西,SQL已經為我們封裝了很多,它就好比是一個巨人,而我們只需要站在他的肩膀上,就可以輕松實現針對WEB的大數據處理。

 

 3、hadoop適不適合.NET,他有哪些缺點?

   (1)、數據同步慢

   (2)、事務處理難

   (3)、異常捕獲難

   (4)、很難與asp.net結合,無論是學習學成本,還是自身的支持方面

   (5)、 需要安裝,適合離線大數據處理,但未必適合WEB

 

 4、什么是SqlSugar框架?

    SqlSugar是一款基于SqlSever的輕量級高性能ORM框架,除了具有和ADO.NET匹敵的性能外,現在已經支持多庫并行計算。

 

     

    優點:  

   (1)、適合海量數據的無延遲查詢

   (2)、支持分布式事務

   (3)、讓JOIN飛起來,告別大數據NOJOIN

   (4)、C#.NET自家語法和大量封裝函數

   (5)、隨機存儲,也就是說可以存儲在任意一個節點數據庫,做到真正正的負載均衡,而不是以往主從模式的讀寫分離。

     

    缺點:    SqlServer授權費太貴,適合有錢的公司或者不交授權費的創業小企業 

 

 

SqlSugar學習目錄

  0、功能更新

 1、SqlSugar基礎應用

 2、使用SqlSugar處理大數據

 3、使用SqlSugar實現Join  待更新

 4、使用SqlSugar實現分頁+分組+多列排序 待更新

 5、節點故障如何進行主從調換

 

》》》》2、使用SqlSugar處理大數據《《《 

 

 1、SqlSugar的原理

      Insert: 隨機存儲到某個節點數據庫(每個節點可以配置處理的機率,如果設置為0表示該節點不會有新數據添加進來)

      Update、Delete:異步請求所有數據庫節點同步匯總處理結果

      Search: 對分頁前X頁、后X頁和PageCount<1000(1000這個值可以在程序中設置)的數據進行了特殊優化,其它數據進行了異步節點算法同步對結果進行匯,性能在多服務器架構中可以完美的體現出來,在單服務器架構需要注意保證足夠IO,避免全表掃描,否則起不到優化效果。

       1、單服務器、單硬盤、多庫架構:

         適合低并發,數據量在1億以下,響應速度有較高要求,建議數據量最好不要超過1000W,在查詢中避免全表掃描,充分利用io性能,讓異步的優勢體現出來。

        如圖:

        對部署在同一臺PC機上的10個同結構庫進行了模糊搜索

        name建了全文索引,id和num建立了復合索引

        十個庫加起來總共有540萬條數據 ,普通機械硬盤 只用了0.3秒的時間。

       2、單服務器、多硬盤或陣列:

        可以使用LIKE等進行全表掃描,性能有明顯的提升

     

       3、多服務器、多庫架構

  

             就按單臺PC機10個庫540萬0.3秒的來算,如果有10臺PC機那就可以處理5000萬,時間預算在0.3秒-0.5秒之間。

             這10臺PC換成10臺服務器又能處理多少呢?

             總結:節點越多、服務器越多處理能力就越強。

        

                     Landa

 

     

 2、用法

       1、引用SqlSugar.dll

       2、配置連接字符串

            其中rate是Insert時存儲到某節點的機率,0表示不會有新數據添加到該節點,下面設置都為1表示我一點都不偏心

        

       3、添、刪、改用法

       

       4、啟用分布式事務

                 服務器需要開啟MSDTC等服務

                    

 

 

       5、Taskable是所有分布式計算的底層核心

                 分頁、分組等復雜的查詢都從這里展開,支持DataTable、T:Class、值類型 三種類型,能夠方便的把多庫的結果同步匯總到一個容器中。

                 使用Taskable需要注意每個節點獲取的數據量都不能很大,通過少取,內存運算,在取在運算的方式處理復雜數據的查詢。

              

 

       6、使用Taskable進行分組查詢

                統計類報表類的查詢,查詢結果集不會太大,完全可使用Taskable進行處理,Merge方法能夠將所有庫查詢的結果集合并到一個新的集合

                      

       

 

       7、使用Taskable擴展函數,讓你處理多庫運算更加方便。

          

 

 

       8、分布式分頁

               考慮了分庫機制,主鍵建議使用GUID來保證獨一,只有主鍵唯一才可以使用該分頁函數

          

 

             分頁是通過 節點數 每頁顯示條數 當前頁碼 等算出一個初步的索引,然后取出這個索引位置所在的數據,在算出這個數據的真實索引 與 page begin比較在算出一個新的索引直到找到精準位置在把數據讀出來。原理是這樣子的。

 

 

 

至于原理我就不多講了,一個貼子也說不完,有幸趣的朋友可以加群: 225982985 討論

源碼地址:https://github.com/sunkaixuan/SqlSugar

 


哈哈  我已經盡力了, 不管好壞為了給個贊哈

 


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
日韩女优在线播放| 欧美一级成年大片在线观看| 在线视频一区二区| 亚洲精品美女久久| 亚洲精品一区二区久| 欧美激情第99页| 成人中文字幕在线观看| 成人激情视频在线观看| 欧美午夜片在线免费观看| 日韩欧美一区二区在线| 免费99精品国产自在在线| 国产精品成人av性教育| 97超碰蝌蚪网人人做人人爽| 亚洲成人网在线观看| 91精品免费看| 欧美韩国理论所午夜片917电影| 38少妇精品导航| 国产一区二区日韩精品欧美精品| 91在线精品播放| 欧美国产日韩中文字幕在线| 色综合天天综合网国产成人网| 中文字幕亚洲字幕| 国产成人涩涩涩视频在线观看| 91精品久久久久久久久久久久久久| 亚洲电影免费观看高清完整版| 国语自产精品视频在线看一大j8| 亚洲va欧美va国产综合剧情| 精品日韩视频在线观看| 国产精品白嫩美女在线观看| 国产欧美一区二区三区在线| 国产欧美日韩专区发布| 日韩国产高清污视频在线观看| 欧美激情2020午夜免费观看| 亚洲综合自拍一区| 国产精品成人观看视频国产奇米| 国外成人免费在线播放| 欧美日韩国产成人在线| 欧美区二区三区| 亚洲国产欧美在线成人app| 日韩av大片免费看| 国产在线播放91| 中文字幕日韩专区| 国产日韩欧美中文在线播放| 狠狠色香婷婷久久亚洲精品| 亚洲综合社区网| 久久精品99久久香蕉国产色戒| 国产午夜精品视频| 欧美在线视频免费播放| 欧美一区三区三区高中清蜜桃| 欧美大片大片在线播放| 亚洲第一精品自拍| 欧美日韩福利在线观看| 亚洲欧美日韩直播| 亚洲精品视频二区| 国产精品久久久av| 91精品国产777在线观看| 国产欧美一区二区白浆黑人| 欧美视频在线免费看| 久久成人这里只有精品| 日本三级久久久| 欧美肥婆姓交大片| 久久99国产精品自在自在app| 国产精品爽爽爽| 在线看日韩av| 欧美寡妇偷汉性猛交| 日韩麻豆第一页| 中文字幕亚洲欧美日韩2019| 国产精品午夜视频| 91在线免费观看网站| 国产精品96久久久久久| 福利一区福利二区微拍刺激| 亚洲成人网久久久| 久久成人人人人精品欧| 久久久久久国产精品美女| 久久视频在线播放| 欧美一级淫片播放口| 久久久国产精品亚洲一区| 2019中文字幕在线| 亚洲国产精品福利| 啪一啪鲁一鲁2019在线视频| 欧美视频专区一二在线观看| 精品国产依人香蕉在线精品| xxxxx成人.com| 亚洲精品国产美女| 久久国产加勒比精品无码| 9.1国产丝袜在线观看| 91精品国产九九九久久久亚洲| 成人观看高清在线观看免费| 亚洲精品资源美女情侣酒店| 欧美激情精品久久久久久黑人| 久久6精品影院| 日韩在线视频免费观看高清中文| 欧美老女人性生活| 国产免费一区二区三区在线能观看| 欧美中文字幕在线| 亚洲人在线观看| 国产视频精品久久久| 日韩视频一区在线| 国产精品视频资源| 亚洲跨种族黑人xxx| 久久精品视频中文字幕| 欧美一区二区三区艳史| 中文字幕亚洲欧美日韩高清| 色综合色综合网色综合| 国产精品日韩电影| 啪一啪鲁一鲁2019在线视频| 国产日韩精品在线观看| 亚洲天堂开心观看| 欧美视频第一页| 中文精品99久久国产香蕉| 中文字幕国产精品久久| 国产精品久久久久久久美男| 欧美日韩一区二区免费视频| 国产精品一区二区久久国产| 久久久免费观看| 精品美女久久久久久免费| 日本欧美国产在线| 狠狠色狠狠色综合日日小说| 国语自产精品视频在免费| 亚洲成人av在线播放| 国产专区欧美专区| 亚洲电影第1页| 欧美日韩国产精品一区二区不卡中文| 亚洲精品资源美女情侣酒店| 国产99久久精品一区二区 夜夜躁日日躁| 久久久久久国产免费| 国产亚洲精品久久| 日本午夜精品理论片a级appf发布| 久久精品国产69国产精品亚洲| 国产一区二区三区三区在线观看| 久久久久久欧美| 欧美在线观看www| 亚洲欧美日韩图片| 亚洲精品理论电影| 日韩毛片在线看| 欧美成人免费在线视频| 亚洲第一区中文字幕| 国产视频精品免费播放| 精品国产老师黑色丝袜高跟鞋| 成人女保姆的销魂服务| 国产欧美一区二区三区视频| 久久青草精品视频免费观看| 国产成人精品一区| 亚洲欧美日韩天堂一区二区| 欧美成年人视频网站| 九九热最新视频//这里只有精品| 国产精品第1页| 国产69久久精品成人看| 久久精品青青大伊人av| 97国产在线观看| 午夜精品一区二区三区视频免费看| 精品久久久久久久久国产字幕| 日韩小视频在线观看| 欧美激情一区二区三区在线视频观看| 日韩成人在线视频网站| 国产在线精品一区免费香蕉| 国产专区精品视频| 91美女片黄在线观看游戏| 综合国产在线观看| 亚洲夜晚福利在线观看| 日韩精品在线第一页| 亚洲精品一区中文字幕乱码| 国产精品一区二区久久久| 91色精品视频在线|