攝影測量的中心問(wèn)題是從獲取的影像來(lái)得到成像像素在影像中的世界點(diǎn)的三維坐標和語(yǔ)義屬性的過(guò)程。其核心問(wèn)題如下:
1、 如何建立相機和外部世界坐標之間的關(guān)系。這里需要兩步:1)確定內參數;2)確定外參數。其中內參數用來(lái)描述相機在小孔成像過(guò)程中的一些重要參數值(焦距、主點(diǎn)、畸變...);外參數用來(lái)描述相機怎么擺在外部世界坐標系里(三個(gè)旋角組成的旋轉矩陣,三個(gè)線(xiàn)元素組成的相機中心在世界坐標系的位置)。這個(gè)關(guān)系在 A)攝影測量的共線(xiàn)方程和 B)幾何計算機視覺(jué)的投影方程里得以表達。從這里可以衍生的一點(diǎn)是,如果你知道外部世界點(diǎn)坐標,又能在影像上高精度定位出相應的成像點(diǎn)坐標,那么你就可以算出內外參數了,從而完成相機標定。當然,標定還有更多變種,但萬(wàn)變不離該宗。
2、 弄清了相機和外部世界的坐標關(guān)系怎么擺,接下來(lái)就要考慮怎么通過(guò)相片來(lái)算點(diǎn)坐標了。通過(guò)可能你已經(jīng)發(fā)現,當你的外部世界坐標點(diǎn)在成像的光線(xiàn)上(即相機中心向像點(diǎn)發(fā)出的射線(xiàn))來(lái)回竄動(dòng)的時(shí)候,它對應的影像像點(diǎn)坐標是不變的!!這說(shuō)明從物方點(diǎn)到像點(diǎn)的映射從線(xiàn)到點(diǎn)的對射,一條光線(xiàn)對應一個(gè)像點(diǎn),所以需要加入第二張影像來(lái)交會(huì )確定出世界點(diǎn)的坐標。這引入了兩個(gè)問(wèn)題:1)兩個(gè)相機之間的幾何關(guān)系怎么表達?這是用相對定向模型(攝影測量)或者基礎矩陣(計算機視覺(jué))來(lái)表達的;2)怎么確定某個(gè)像點(diǎn)在另一張影像上的同源點(diǎn)(同名點(diǎn)/匹配點(diǎn))?這個(gè)通過(guò)影像匹配來(lái)獲取。 當幾何關(guān)系被確定之后,通過(guò)前方交會(huì )就可以算兩張影像上的同名點(diǎn)世界點(diǎn)的坐標。
3、 在2的基礎上,要完成一片區域或者一個(gè)目標(建筑物、雕塑)的攝影測量,需要多張影像來(lái)完成。此時(shí),可在剛才確定的相對定向的基礎上進(jìn)行連續的相對定向,即以某兩幅影像相對定向的初始相機坐標系為參考坐標系,不斷加入影像進(jìn)行相對定向并放在第一幅影像表達的初始相機坐標系里面,所以進(jìn)行完連續相對定向之后的坐標系還是初始的相機坐標系,由于相對定向的過(guò)程需要同名像點(diǎn),所以實(shí)際上這個(gè)過(guò)程之后既得到了相機的姿態(tài)(位置、朝向),又得到了一部分用于定向的匹配同名像點(diǎn)在相機坐標系下的三維坐標(結構)。由于在這個(gè)過(guò)程中相機位置不斷變化,形成了motion,所以這個(gè)過(guò)程在計算機視覺(jué)里又稱(chēng)為Structure From Motion(SFM)。把一系列影像都放在某個(gè)相機坐標下之后,此時(shí)通過(guò)少量地面控制點(diǎn)就可以把它與物方世界坐標之間的轉換關(guān)系解算出來(lái),完成絕對定向。這種思路稱(chēng)之為相對定向-絕對定向法。
通過(guò)以上的方法解算的過(guò)程一般都是漸進(jìn)的,誤差會(huì )不斷積累和傳播,為了提高精度,在最后會(huì )進(jìn)行整體的再一次優(yōu)化,優(yōu)化的目標一般是最小化重投影誤差。由于成像模型里的旋轉矩陣是高度非線(xiàn)性的,這個(gè)優(yōu)化問(wèn)題是非線(xiàn)性?xún)?yōu)化問(wèn)題,需要通過(guò)迭代來(lái)完成。通過(guò)迭代來(lái)優(yōu)化的過(guò)程自然涉及到更新步長(cháng)和更新方向(梯度)的問(wèn)題,迭代步長(cháng)和更新方向的確定用到了介于牛頓法(二階梯度)和標準梯度下降(一階梯度)之間的LM算法來(lái)完成,我們稱(chēng)這個(gè)過(guò)程叫光束法平差。
4、至此,你完成了把多幅影像對應的相機放到外部世界坐標系里,并在此過(guò)程中得到了一部分用于定向的匹配像點(diǎn)的3D坐標(稀疏定向點(diǎn)點(diǎn)云)。下一步就是密集地恢復深度,密集地測出影像上的點(diǎn)位坐標。以前我們叫立體匹配、多視立體匹配,現在匹配算法進(jìn)步了,能逐像素匹配,我們干脆就叫它密集匹配了(Dense Matching)。其過(guò)程如下:
先生成核線(xiàn)影像,讓視差集中到水平方向,也就是說(shuō)一對核線(xiàn)影像上坐標(x1,y1)來(lái)說(shuō),它在對應的影像上的同名點(diǎn)坐標(x2,y2)總滿(mǎn)足y1=y2. 所以你只需要去估計影像1上每個(gè)點(diǎn)的視差值x1-x2.注意,視差值決定深度(世界3D 點(diǎn)到成像平面的距離)。
每算一個(gè)可能的位置,都有一個(gè)匹配代價(jià)(交叉相關(guān)、互信息....),這樣就形成了一個(gè)視差代價(jià)函數空間,它對應著(zhù)影像1上每個(gè)像素取每個(gè)潛在可能視差值的匹配代價(jià)。
估計每個(gè)像素點(diǎn)的視差。這個(gè)估計的過(guò)程就是在取每一個(gè)視差值的時(shí)候,你就有一個(gè)匹配代價(jià),這項稱(chēng)為數據項。同時(shí),你還得考慮領(lǐng)域,也就是說(shuō)當某個(gè)像素值與鄰近像素相近時(shí),我們也認為它們的深度更相近,如果他們的深度不相近,我們就懲罰它們;同理,當鄰近像素的灰度值變化很大的,我們也認為它們的深度值傾向于有更大的變化,那么就會(huì )對灰度值變化很大而視差值差別不大的情況進(jìn)行懲罰。完成這個(gè)懲罰設計出來(lái)的代價(jià)函數就是平滑項。平滑項和數據項一起構成了匹配優(yōu)化的目標函數,也稱(chēng)作能量函數,最優(yōu)化求解這個(gè)函數使得代價(jià)(cost)最小的解就是求解的每個(gè)像素的視差值。當然,有一部分點(diǎn)可能不能同時(shí)被兩張影像看到(遮擋),這部分像素深度無(wú)法得到。
多個(gè)密集匹配的立體像對的結果進(jìn)行融合,得到整體的視差值和三維點(diǎn)云。
5、干完這步,你可以開(kāi)心的獲?。?br />
i) 數字地表模型
ii)數字正射影像
iii)獲取 數字高程模型 DEM (要自動(dòng)得把植被和建筑從DSM上分類(lèi)出來(lái)剔除掉,然后插值格網(wǎng)化)
iiii)數字線(xiàn)劃圖 (還不是自動(dòng)地
6、走到這里,我們做的還是幾何問(wèn)題。那么語(yǔ)義屬性在哪里呢
屬性通過(guò)分類(lèi)來(lái)算。輸入值是影像(可加入深度)(或特征),輸出值是類(lèi)別,中間過(guò)程用監督學(xué)習下的分類(lèi)器來(lái)完成?;蛘哂梅潜O督學(xué)習壓縮數據,然后用監督學(xué)習得到分類(lèi)器。
屬性怎么算呢?如果用上我們辛辛苦苦得到的深度值,那我們依靠的還是馬爾提出的視覺(jué)問(wèn)題框架,通過(guò)深度值為跳板來(lái)解決視覺(jué)問(wèn)題?,F階段以我的知識,能理解到的需要解決的核心問(wèn)題是:
如何設計出好的特征,這里面又分為采用經(jīng)典的手動(dòng)設計特征和現在火熱的基于深度神經(jīng)網(wǎng)絡(luò )的自動(dòng)特征表達學(xué)習,其核心問(wèn)題是找出區分力高的特征表達。
如何表達先驗,如何融合已有的知識,如GIS數據庫、地圖等信息,如何融合多平臺的測量數據(衛星影像、航空影像、地面車(chē)載數據,UAV數據以及網(wǎng)絡(luò )大數據)。
不同地區的訓練數據往往類(lèi)別規定和類(lèi)別分布不一致,如何有效的統一和遷移學(xué)習到的知識;以及如何建立高效海量的數據庫來(lái)加速這一領(lǐng)域的發(fā)展。這個(gè)問(wèn)題還是現在進(jìn)行時(shí)。
7、 航空影像的分類(lèi)解決好了,還是土地的覆蓋分類(lèi),土地的利用類(lèi)別呢?國土資源的管理、地圖的制作依靠的是土地的利用類(lèi)別(荒地可能是荒地,可能是閑置的商業(yè)用地,這區別太大了)。解決這個(gè)問(wèn)題一方面需要加入合理的先驗;另一方面需要更加先進(jìn)的分類(lèi)模型和大數據的支撐。
ADS系列數字航攝儀應用的是推掃式攝影方式,應用POS系統進(jìn)行數字影像獲取。在航空攝影測量中應用ADS系列數字航攝儀,可以不經(jīng)過(guò)掃描便可以直接為遙感圖像處理系統及數字攝影測量提供全色...
與傳統的測繪技術(shù)相比,高空攝影技術(shù)可以對高空大比例尺的地形圖進(jìn)行較為準確的測繪。...
航空攝影測量技術(shù)中的空中三角測量,是在立體攝影測量實(shí)踐中參照少部分野外控制點(diǎn),并...
作為一種通過(guò)空間數據得到核心技術(shù)處理的綜合技術(shù),技術(shù)應用過(guò)程中需要從技術(shù)層面分析...
POS輔助空中三角測量的第一步是要采用載波相位動(dòng)態(tài)GPS定位技術(shù)測定攝站的空間位置(簡(jiǎn)...
當代航空攝影測量加密方式中的GPS輔助光束法區域網(wǎng)平差,相位中心一般會(huì )被放置在航空G...
電話(huà):025-83216189
郵箱:frank.zhao@feiyantech.com
地址:江蘇省南京市玄武區紅山街道領(lǐng)智路56號星河World產(chǎn)業(yè)園3號樓北8樓
微信公眾號
總經(jīng)理微信
版權所有:飛燕航空遙感技術(shù)有限公司 ? 2019 備案號:鄂ICP備19029994號-1 蘇ICP備20022669號-1 鄂公網(wǎng)安備:420106020021194號
簡(jiǎn)體中文/English