亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

10行python代碼的詞云

2019-11-06 06:52:21
字體:
來源:轉載
供稿:網友

關于詞云Wordcloud

什么是詞云呢?詞云又叫文字云,是對文本數據中出現頻率較高的“關鍵詞”在視覺上的突出呈現,形成關鍵詞的渲染形成類似云一樣的彩色圖片,從而一眼就可以領略文本數據的主要表達意思。

現在,可以從網絡上找到各種各樣的詞云,下面一圖來自沈浩老師的微博:

演員詞云.png

從百度圖片中可以看到更多制作好的詞云,例如

百度詞云.png

詞云制作有很多工具…..

從技術上來看,詞云是一種有趣的數據可視化方法,互聯網上有很多的現成的工具:

Wordle是一個用于從文本生成詞云圖而提供的游戲工具Tagxedo 可以在線制作個性化詞云Tagul 是一個 Web 服務,同樣可以創建華麗的詞云Tagcrowd 還可以輸入web的url,直接生成某個網頁的詞云……

十行代碼

但是作為一個老碼農,還是喜歡自己用代碼生成自己的詞云,復雜么?需要很長時間么? 很多文字都介紹過各種的方法,但實際上只需要10行python代碼即可。

import matplotlib.pyplot as pltfrom wordcloud import WordCloudimport jiebatext_from_file_with_apath = open('/Users/hecom/23t如此而已,生成的一個詞云是這樣的:

研發管理詞云.png

看一下這10行代碼:

1~3 行分別導入了畫圖的庫,詞云生成庫和jieba的分詞庫;

4 行是讀取本地的文件,代碼中使用的文本是本公眾號中的《老曹眼中研發管理二三事》。

5~6 行使用jieba進行分詞,并對分詞的結果以空格隔開;

7行對分詞后的文本生成詞云;

8~10行用pyplot展示詞云圖。

這是我喜歡python的一個原因吧,簡潔明快。

執行環境

如果這十行代碼沒有運行起來,需要檢查自己的執行環境了。對于完整的開發學習環境,可以參考本公眾號老曹眼中的開發學習環境。 對于面向python 的數據分析而言,個人喜歡Anaconda,可以去https://www.continuum.io/downloads/ 下載安裝,安裝成功后的運行界面如下:

anaconda.png

anaconda 是python 數據愛好者的福音。

安裝wordcloud 和 jieba 兩個庫同樣非常簡單:

pip install wordcloudpip install jieba

遇到的一個小坑,剛開始運行這十行代碼的時候,只顯式了若干彩色的小矩形框,中文詞語顯式不出來,以為是萬惡的UTF8問題,debug一下,發現PRint 結巴分詞的結果是可以顯示中文的,那就是wordcloud 生成詞語的字體庫問題了。開源的好處來了,直接進入wordcloud.py 的源碼,找字體庫相關的代碼

FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))

wordcloud 默認使用了DroidSansMono.ttf 字體庫,改一下換成一個支持中文的ttf 字庫, 重新運行一下這十行代碼,就可以了。

看一下源碼

既然進入了源碼,就會忍不住好奇心,瀏覽一下wordcloud 的實現過程和方式吧。

wordcloud.py總共不過600行,其間有著大量的注釋,讀起來很方便。其中用到了較多的庫,常見的random,os,sys,re(正則)和可愛的numpy,還采用了PIL繪圖,估計一些人又會遇到安裝PIL的那些坑.

生產詞云的原理其實并不復雜,大體分成5步:

對文本數據進行分詞,也是眾多NLP文本處理的第一步,對于wordcloud中的process_text()方法,主要是停詞的處理計算每個詞在文本中出現的頻率,生成一個哈希表。詞頻計算相當于各種分布式計算平臺的第一案例wordcount, 和各種語言的hello world 程序具有相同的地位了,呵呵。根據詞頻的數值按比例生成一個圖片的布局,類IntegralOccupancyMap 是該詞云的算法所在,是詞云的數據可視化方式的核心。將詞按對應的詞頻在詞云布局圖上生成圖片,核心方法是generate_from_frequencies,不論是generate()還是generate_from_text()都最終到generate_from_frequencies完成詞云上各詞的著色,默認是隨機著色

詞語的各種增強功能大都可以通過wordcloud的構造函數實現,里面提供了22個參數,還可以自行擴展。

更多的小例子

看看一個準文言文的詞云,本字來自本公眾號去年的舊文——妻

wife.png

其中在構造函數中傳入了關于大小的幾個參數

width=800,height=400,max_font_size=84,min_font_size=16

自慚形穢,根本看不出文言文的色彩和對妻子的感情流露,不是好文字呀!

矩形的詞云太簡陋了,直接在圖片上用詞云來填充就有意思多了,wordcloud中采用的mask方式來實現的。換上一張自己的照片,用在談《全棧架構師》中的文字,詞云出來的效果是這樣的

chw_fullstack.png

較難看出肖像的特點了,還好,可以遮丑。其中增加了3行代碼

from PIL import Imageimport numpy as npabel_mask = np.array(Image.open("/Users/hecom/chw.png"))

在構造函數的時候,將mask傳遞進去即可:

background_color="black", mask=abel_mask

自己做的這些詞云圖片還是太陋,這就是原型簡單,好的產品困難呀!做好一個漂亮詞云的圖片,還是要在諸多細節上下功夫的。

例如: 分詞的處理,“就是”這樣沒有意義的詞不應該出現在詞云里呀? 所展示關鍵詞的目的性選擇? 如何選擇一個合適的字庫? 如何更好地自主著色? 圖片的預處理,如何讓圖片和詞云表達原圖片的主要特征? ……

詞云的背后

詞云的背后實際上是數據集成處理的典型過程,我們所熟知的6C,如下圖:

6C.jpg

Connect: 目標是從各種各樣數據源選擇數據,數據源會提供APIs,輸入格式,數據采集的速率,和提供者的限制.Correct: 聚焦于數據轉移以便于進一步處理,同時保證維護數據的質量和一致性Collect: 數據存儲在哪,用什么格式,方便后面階段的組裝和消費Compose: 集中關注如何對已采集的各種數據集的混搭, 豐富這些信息能夠構建一個引入入勝的數據驅動產品。Consume: 關注數據的使用、渲染以及如何使正確的數據在正確的時間達到正確的效果。Control: 這是隨著數據、組織、參與者的增長,需要的第六個附加步驟,它保證了數據的管控。?

這十行代碼構建的詞云,沒有通過API從公眾號(wireless_com)直接獲取,簡化和抽象是工程化的典型方式,這里至今復制粘貼,甚至省略了correct的過程,直接將數據存儲在純文本文件中,通過jieba分詞進行處理即compose,使用詞云生成可視化圖片用于消費consume,把一個個自己生成的詞云組織到不同的文件目錄便于檢索算是初步的管控control吧。

參考網站

https://www.continuum.iohttps://github.com/fxsjy/jiebahttps://github.com/amueller/word_cloud

這里寫圖片描述


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
欧美午夜电影在线| 一区二区三区四区在线观看视频| 亚洲成人av片在线观看| 欧美一区视频在线| 91免费观看网站| 欧美一区二区视频97| 亚洲男人的天堂在线播放| 亚洲色图色老头| 亚洲精品大尺度| 亚洲天堂免费观看| 亚洲天堂网在线观看| 亚洲性av在线| 欧美久久精品一级黑人c片| 欧美中文字幕在线播放| 538国产精品一区二区在线| 欧美另类暴力丝袜| 欧美精品手机在线| 91av免费观看91av精品在线| 国产亚洲欧美日韩美女| 91地址最新发布| 国产精品99导航| 麻豆精品精华液| 高清视频欧美一级| 亚洲欧美制服中文字幕| 亚洲成人久久网| 国产在线视频91| 国产盗摄xxxx视频xxx69| 91精品国产色综合久久不卡98口| 国内成人精品一区| 国产视频精品在线| www高清在线视频日韩欧美| 精品国产成人在线| 欧美亚洲国产视频| 国产丝袜一区二区| 亚州精品天堂中文字幕| 日本中文字幕成人| 日韩av中文在线| 久国内精品在线| 色爱av美腿丝袜综合粉嫩av| 日韩中文字幕在线播放| 亚洲人成免费电影| 亚洲欧洲午夜一线一品| 国产精品免费看久久久香蕉| 久久97精品久久久久久久不卡| 久久天天躁狠狠躁夜夜av| 欧美第一黄色网| 亚洲人成在线免费观看| 亚洲综合精品伊人久久| 亚洲一区二区三区久久| 久久精品一本久久99精品| 亚洲国产精品久久久久秋霞蜜臀| 91美女片黄在线观| 国产精品99久久久久久白浆小说| 国产91精品黑色丝袜高跟鞋| 中文字幕亚洲无线码a| 51ⅴ精品国产91久久久久久| 久精品免费视频| 色婷婷综合成人| 国产精品视频网址| 国产亚洲欧美日韩美女| 亚洲精品视频中文字幕| 一二美女精品欧洲| 国产精品成人在线| 欧美激情精品久久久久久久变态| 国产经典一区二区| 狠狠做深爱婷婷久久综合一区| 亚洲精品自在久久| 欧美黑人国产人伦爽爽爽| 亚洲精品电影在线| 性视频1819p久久| 久久久av亚洲男天堂| 久久这里有精品视频| 92看片淫黄大片看国产片| 精品成人69xx.xyz| 亚洲人成在线一二| 亚洲欧美制服第一页| 中文字幕久热精品视频在线| 国产精品27p| 国内免费久久久久久久久久久| 午夜精品免费视频| 欧美日韩不卡合集视频| 国产精品一区久久| 精品成人在线视频| 韩国欧美亚洲国产| 亚洲最大成人免费视频| 日本一区二区三区四区视频| 日韩av手机在线看| 日韩va亚洲va欧洲va国产| 欧美成人在线影院| 欧美成人免费全部| 亚洲精品欧美一区二区三区| 亚洲一区二区日本| 久久99精品久久久久久琪琪| 日韩在线欧美在线国产在线| 欧美黑人巨大精品一区二区| 久久国产精品久久久久久久久久| 国产精品美乳在线观看| 精品视频中文字幕| 欧美性一区二区三区| 日韩av手机在线观看| 亚洲激情国产精品| 91精品综合久久久久久五月天| 国产精品自产拍在线观看中文| 成人激情视频免费在线| 亚洲激情视频在线播放| 亚洲男人av电影| 日本欧美国产在线| 欧美韩国理论所午夜片917电影| 欧美极品在线视频| 精品无码久久久久久国产| 高清欧美性猛交| 日韩欧美在线观看视频| 久久久久久国产精品美女| 色吧影院999| 亚洲黄色片网站| 亚洲天堂av图片| 欧美大片在线看免费观看| 亚洲在线视频观看| 欧美区二区三区| 欧美亚洲在线观看| 国产精品尤物福利片在线观看| 日本韩国在线不卡| 国产精品va在线播放| 精品久久久久久中文字幕| 欧美床上激情在线观看| 性欧美亚洲xxxx乳在线观看| 欧美激情免费视频| 国内自拍欧美激情| 精品一区二区三区三区| 亚洲国内精品在线| 国产97在线|日韩| 欧美成人免费一级人片100| 国产一区视频在线| 欧美国产精品日韩| 久久精品福利视频| 国内精品久久久久| 欧美大尺度激情区在线播放| 日韩精品极品在线观看播放免费视频| 亚洲欧美色婷婷| 亚洲美女激情视频| 日韩精品在线免费观看视频| 97免费视频在线播放| 中文字幕日韩av电影| 亚洲欧美日韩高清| 欧美大片网站在线观看| 欧美成人h版在线观看| 成人疯狂猛交xxx| 麻豆乱码国产一区二区三区| 91香蕉嫩草影院入口| 亚洲午夜激情免费视频| 粉嫩老牛aⅴ一区二区三区| 亚洲精品国产精品久久清纯直播| 一级做a爰片久久毛片美女图片| 日韩中文字幕第一页| 精品久久久视频| 国产精品视频精品视频| 亚洲一区精品电影| 国产免费观看久久黄| 成人精品久久一区二区三区| 国内外成人免费激情在线视频网站| 国产美女精品视频免费观看| 韩国三级电影久久久久久| 亚洲精品成a人在线观看| 国产美女久久精品香蕉69|