因為最近在搞畸變相關的東西,找了一些畸變的資料來研究,該文章英文地址,翻譯中有一些個人添加的輔助信息,以括號標識,”注:”開頭,以粗體表示,例如(注:以下為個人翻譯,水平有限,歡迎指正). 與其他單一的技術相比,畸變渲染是Oculus Rift成為可能的最核心的技術.電腦游戲業和影視娛樂業推動了計算機渲染技術的飛速發展.在過去的幾年里復雜的計算方法被廣泛的使用到渲染技術當中,以便輸出渲染后的幀圖像,這也使像Rift這樣的設備能夠成為可能. 在Rift上開發一個新的應用需要詳細的理解整個系統是如何運作的.對于大多數人來說,被告知鏡頭的畸變是被軟件修復的就已經足夠了,但是一個更加詳細的理解往往是有用的,尤其是當你需要使渲染更加優秀,或則在畸變渲染和設置上有一些問題時.
Rift上的鏡頭對視圖應用了所謂的”枕型”畸變技術.這會使顯示屏看起來擁有更大的視場角.在鏡頭的中心,是沒有畸變的.但是當用戶所看的與鏡頭中心的角度越來越大時,鏡頭上所看到的像角度小于實際的角度.如果你向左45度的方向看,鏡頭實際上會使傳入的光產生畸變,你看到是從LCD屏上向左30度地方的光.這些值只是為了舉例說明,每個鏡頭的畸變程度不同,值也不同.如果不進行校正就意味著越遠離圖像中心的地方,畸變就越大. 
著色器的作用就是對圖像施加”桶型” 畸變來修正之前的這種”枕型”畸變. 
每一個垂直、水平的線,校準前都是向內彎曲的,我們需要按相同的彎曲度使他們向外彎曲(注:這樣就修正了所有直線的彎曲).這樣最理想的效果就是,我們保留了鏡頭增加視場角的好處,又沒有畸變導致的問題.
如何將”桶型”畸變應用到圖片中呢?維基百科里的第二段描述了相應的計算規則.但是它用較多的數學的公式來表示這個規則,并且說明了比實際應用到著色器上更多的等式的條件.簡單的說,包括如下: 1.找到畸變中心與渲染點之間的距離.我們稱它為’r’,因為就像一個點落在圓的半徑上一樣. 2.給定一組系數,按照一定規則將這組系數與半徑的乘積相加.這就得出一個我們稱為distortionScale的值. 3.你正在渲染的點的最初的x,y值乘以distortionScale,得出新的x,y值就是屏幕上真正需要渲染的點的坐標. 知道這些就可以了.以下就是獲取一個已知點到對應畸變中心的distortionScale.
uniform vec4 u_distortion;float distortionScale(vec2 offset) { // Note that this performs piecewise multiplication, // NOT a dot or cross PRoduct vec2 offsetSquared = offset * offset; // Since the power to which we raise r when multiplying against each K is even // there's no need to find r, as opposed to r^2 float radiusSquared = offsetSquared.x + offsetSquared.y; float distortionScale = // u_distortion[0] + // u_distortion[1] * radiusSquared + // u_distortion[2] * radiusSquared * radiusSquared + // u_distortion[3] * radiusSquared * radiusSquared * radiusSquared; return distortionScale;}這個函數的功能與SDK里的著色器上的HmdWarp函數類似,雖然它沒有輸入向量的轉換,并且沒有返回另一個向量,而是返回scale本身. 為什么人們對于著色器有一些問題?原因是與SDK版本相關的代碼里的額外的轉換相關.
處理渲染不可避免的意味著處理坐標系統.幾乎所有的系統的X軸方向是相同的,即從左到右,X軸的值不斷增大.大多數數學系統中定義Y軸向上為Y軸的增量方向. 
用于處理圖像和渲染表面的大多數底層計算的API,將原點放在圖像的左上角,當你向下移動的時候Y軸的值增加.幸運的是,通常我們不需要擔心這個.OpenGL會處理我們寫入到圖形設的這些轉換.目前來說我們只需要確保當我們加載這些到openGL紋理時我們的圖片文件是垂直的就可以了. 但是,即使在OpenGL內部也有多個不同的坐標系,同時帶來寬高比的問題.在你的電腦中看看Rift屏幕的實際像素排列如下: 
考慮在我們畸變渲染之前會發生什么.場景將被渲染到一個屏外緩沖區.因為實際上我們做立體渲染的時候實際上是有2個屏外緩沖區,分別是Rift屏幕的左右兩半.現在,讓我們忽略立體渲染的現實情況,而只考慮左半邊. 為了使用著色器,當著色器使能時我們用一個單一的紋理占滿整個屏幕來渲染屏外緩沖區.做這些事情,當前的OpenGL實際上調用到大量的公式化的代碼,這些代碼涉及到頂點緩沖區和頂點屬性指針.為了說明的目的,我們將使用舊的OpenGL 1.x的API調用來做這樣的事情:
這些代碼不包含紋理的綁定,著色器的安裝,以及著色器的綁定.它僅僅列出了4個紋理坐標和4個頂點坐標,以及告訴OpenGL按照這個信息畫一個矩形. 如下圖說明了這些紋理坐標和頂點坐標的不同: 
這些 OpenGL頂點坐標,默認范圍是從-1到1.OpenGL紋理坐標范圍從0到1,當你渲染一個紋理到整個屏幕是你會發現以上的不匹配. 那么我們為什么要關心所有的這些呢?好的,OpenGL片段著色器有非常有限的信息關于哪一部分需要渲染.當需要渲染一個單一像素到屏幕的四分之三的部分,相對于右邊的四分之三,片段著色器將會被調用,并且被告知渲染紋理坐標為(0.75,0.25).從那里我們必須確定如何從紋理中提取的畸變坐標.跳過distortionScale()函數以上部分將不能正常工作.這些坐標并不代碼鏡頭中心的偏移量,而是來自渲染表面的左下角.為了獲得這個值,我們需要做一些另外的處理. 第一步是簡單的.我們將紋理坐標翻倍,并且減去1.這樣將我們移動到頂點坐標系當中.(注:看上面紋理坐標和頂點坐標的圖,將紋理坐標翻倍,然后下移一個單位1,就跟頂點坐標一樣了).
紋理坐標向量的長度現在來看就是點到屏幕中心的距離.但是,這個偏移量并不是我們想要的.我們需要鏡片中心在屏上的點的偏移量. 
所以,我們將去鏡片中心的偏移量:
然而,這樣仍然不足以傳遞給我們的distortionScale函數,因為實際運用中不能使用我們的偏移量來計算半徑.這是因為我們的X軸和Y軸并不是相同的縮放比例.我們的X軸實際上是Y軸的0.8倍.(注:如上面圖所示Rift單眼的分辨率是640*800,即X軸是Y軸的0.8倍),所以我們需要將Y軸偏移量除以0.8.
result.y /= u_aspect;最后我們可以得出一個向量,用來作為distortionScale函數的參數傳遞進去.這個轉換被封裝為一個函數,如下:
vec2 textureCoordsToDistortionOffsetCoords(vec2 texCoord) { vec2 result = texCoord // Convert the texture coordinates from "0 to 1" to "-1 to 1" result *= 2.0; result -= 1.0; // Convert from using the center of the screen as the origin to // using the lens center as the origin result -= u_lensCenterOffset; // Correct for the aspect ratio result.y /= u_aspect; return result;}一旦我們生成了畸變偏移量,我們不能直接把它使用到紋理當中.我們不得不按我們獲得他的方式的逆向過程來獲取它(注:即從畸變偏移量逆向得出紋理坐標,下面這個函數與上面函數互逆):
vec2 distortionOffsetCoordsToTextureCoords(vec2 offset) { vec2 result = offset; // Correct for the aspect ratio result.y *= u_aspect; // Convert from using the lens center as the origin to // using the screen center as the origin result += u_lensCenterOffset; // Convert the texture coordinates from "-1 to 1" to "0 to 1" result += 1.0; result /= 2.0; return result;}這里有2點需要附加說明的.首先,這種方法縮小了渲染的數據,導致這些渲染數據不能充滿全屏,或是接近屏幕的邊緣.為了消除這樣的情況,一個縮放因子被應用到最后的處理函數傳遞進來的偏移量上(注:縮放因子就是下面代碼中的第一句的”u_fillScale”).這個縮放是通過找到你想要達到的屏幕上的點,找到它的偏移量,找到該偏移量的畸變值,然后找到該畸變的原始距離的比率.在實際情況中,偏移量以你想要渲染的X軸距離的最大值.所以這個偏移量是加上了鏡頭的偏移距離.在SDK的StereoConfig類中有一個GetDistortionScale()的函數,為你提供這個值,在片段著色器中方法如下所示:
vec2 distortionOffsetCoordsToTextureCoords(vec2 offset) { vec2 result = offset / u_fillScale; // Correct for the aspect ratio result.y *= u_aspect; // Convert from using the lens center as the origin to // using the screen center as the origin result += u_lensCenterOffset; // Convert the texture coordinates from "-1 to 1" to "0 to 1" result += 1.0; result /= 2.0; return result;}第二個需要附加說明的就是:多數渲染系統提出紋理的尺寸是2的冪次方.如果你創建的屏外緩沖區尺寸是640x800,那么很可能底層的紋理是1024x1024.這就意味著最終的縮放因子必須被應用到紋理坐標中,使點實際存在于紋理內存的子區域中. 片段著色器的最終版本在這里,它有一個對應的頂點著色器在這里,頂點著色器基本上就2行代碼,并不有趣.它存在的原因是為了在不做任何轉換的情況下提供紋理著色器. 注意所有的這些代碼的目的是為了說明而提供的,并不是OpenGL的最佳實現方式.
新聞熱點
疑難解答
