golang json性能分析詳解

2020-04-01 18:58:47

字體：大中小

來源：轉載

供稿：網友

前言

眾所周知Json 作為一種重要的數據格式，具有良好的可讀性以及自描述性，廣泛地應用在各種數據傳輸場景中。Go 語言里面原生支持了這種數據格式的序列化以及反序列化，內部使用反射機制實現，性能有點差，在高度依賴 json 解析的應用里，往往會成為性能瓶頸，好在已有很多第三方庫幫我們解決了這個問題，但是這么多庫，對于像我這種有選擇困難癥的人來說，到底要怎么選擇呢，下面就給大家來一一分析一下

ffjson

go get -u github.com/pquerna/ffjson

原生的庫性能比較差的主要原因是使用了很多反射的機制，為了解決這個問題，ffjson 通過預編譯生成代碼，類型的判斷在預編譯階段已經確定，避免了在運行時的反射

但也因此在編譯前需要多一個步驟，需要先生成 ffjson 代碼，生成代碼只需要執行 ffjson <file.go> 就可以了，其中 file.go 是一個包含 json 結構體定義的 go 文件。注意這里 ffjson 是這個庫提供的一個代碼生成工具，直接執行上面的 go get 會把這個工具安裝在 $GOPATH/bin 目錄下，把 $GOPATH/bin 加到 $PATH 環境變量里面，可以全局訪問

另外，如果有些結構，不想讓 ffjson 生成代碼，可以通過增加注釋的方式

// ffjson: skiptype Foo struct { Bar string}// ffjson: nodecodertype Foo struct { Bar string}

easyjson

go get -u github.com/mailru/easyjson/...

easyjson 的思想和 ffjson 是一致的，都是增加一個預編譯的過程，預先生成對應結構的序列化反序列化代碼，除此之外，easyjson 還放棄了一些原生庫里面支持的一些不必要的特性，比如：key 類型聲明，key 大小寫不敏感等等，以達到更高的性能

生成代碼執行 easyjson -all <file.go> 即可，如果不指定 -all 參數，只會對帶有 //easyjson:json 的結構生成代碼

//easyjson:jsontype A struct { Bar string}

jsoniter

go get -u github.com/json-iterator/go

這是一個很神奇的庫，滴滴開發的，不像 easyjson 和 ffjson 都使用了預編譯，而且 100% 兼容原生庫，但是性能超級好，也不知道怎么實現的，如果有人知道的話，可以告訴我一下嗎？

2018-1-28日更新，來自官方（@taowen）的回復：

沒啥神奇的。就是預先緩存了對應struct的decoder實例而已。然后unsafe.Pointer省掉了一些interface{}的開銷。還有一些文本解析上的優化

使用上面，你只要把所有的

import "encoding/json"

替換成

import "github.com/json-iterator/go"var json = jsoniter.ConfigCompatibleWithStandardLibrary

就可以了，其它都不需要動

codec-json

go get -u github.com/ugorji/go/codec

這個庫里面其實包含很多內容，json 只是其中的一個功能，比較老，使用起來比較麻煩，性能也不是很好

jsonparser

go get -u github.com/buger/jsonparser

嚴格來說，這個庫不屬于 json 序列化的庫，只是提供了一些 json 解析的接口，使用的時候需要自己去設置結構里面的值，事實上，每次調用都需要重新解析 json 對象，性能并不是很好

就像名字暗示的那樣，這個庫只是一個解析庫，并沒有序列化的接口

性能測試

對上面這些 json 庫，作了一些性能測試，測試代碼在：https://github.com/hatlonely/hellogolang/blob/master/internal/json/json_benchmark_test.go，下面是在我的 Macbook 上測試的結果（實際結果和庫的版本以及機器環境有關，建議自己再測試一遍）：

BenchmarkMarshalStdJson-4     1000000   1097 ns/opBenchmarkMarshalJsonIterator-4    2000000   781 ns/opBenchmarkMarshalFfjson-4      2000000   941 ns/opBenchmarkMarshalEasyjson-4     3000000   513 ns/opBenchmarkMarshalCodecJson-4     1000000   1074 ns/opBenchmarkMarshalCodecJsonWithBufio-4   1000000   2161 ns/opBenchmarkUnMarshalStdJson-4     500000   2512 ns/opBenchmarkUnMarshalJsonIterator-4    2000000   591 ns/opBenchmarkUnMarshalFfjson-4     1000000   1127 ns/opBenchmarkUnMarshalEasyjson-4     2000000   608 ns/opBenchmarkUnMarshalCodecJson-4     20000  122694 ns/opBenchmarkUnMarshalCodecJsonWithBufio-4  500000   3417 ns/opBenchmarkUnMarshalJsonparser-4    2000000   877 ns/opgolang/286466.html">golang/70687.html">golang_json_performance

golang,json,性能,高性能