傳播式增密中的候選生成與幾何門控

《3DGS 的表示、渲染與優化》中的自適應密度控制把圖像殘差轉化為高斯集合的 clone、split 與 prune [1]。對紋理豐富且已有高斯覆蓋的區域，視空間位置梯度能夠指示局部表示不足；對稀疏點雲沒有覆蓋的淺色牆面、地面或道路，現有高斯可能連「應該向哪裏生長」都無法從 RGB 梯度中得到。

《弱紋理場景中的幾何可觀測性》已經給出這個退化的局部形式：當圖像梯度趨近零，幾何位移對光度殘差的雅可比也會變弱。GaussianPro 將增密問題映射到有規則網格的二維圖像平面，先傳播深度與法線假設，再將通過多視圖檢查的像素反投影成新高斯 [2]。這條路徑的核心是一個帶有拒絕機制的幾何提案器。

增密中的離散結構選擇

設當前場景含有 $N$ 個高斯，連續參數記為 $Θ_{N}$ 。訓練問題可寫成

min_{N, Θ_{N}} \sum_{v \in V} L_{img} (R (Θ_{N}; C_{v}), I_{v}) + β Ω (Θ_{N}, N) .

Adam 在固定 $N$ 時更新 $Θ_{N}$ ；增密、剪枝和不透明度重置會改變 $N$ 以及參數空間。 $Ω$ 可以表示模型規模、尺度畸變或幾何不連續的隱式代價。3DGS 以視空間梯度選擇 clone 或 split 的對象，用啟發式結構操作近似這個混合離散—連續優化。

對像素 $p$ 的顏色殘差 $r (p)$ ，高斯投影中心 $u_{i}$ 接收到的梯度含有

\frac{\partial r (p)}{\partial μ_{i}} = \underset{圖像與覆蓋變化}{\underset{⏟}{\frac{\partial r (p)}{\partial u_{i}}}} \underset{透視投影}{\underset{⏟}{\frac{\partial u_{i}}{\partial μ_{i}}}} .

第一項同時受圖像紋理、透射率、遮擋順序與當前高斯覆蓋影響。當某處沒有任何高斯投影， $u_{i}$ 根本不存在；當區域近似常色，位移引起的光度變化又很小。因此，梯度門限擅長決定「已有圖元是否需要增加容量」，卻難以從空無一物的位置提出新幾何。

深度—法線假設的二維表示

對參考視圖 $r$ 中的像素 $p = [u, v, 1]^{T}$ ，一個局部表面假設可用深度 $d$ 和參考相機下的單位法線 $n$ 表示。像素對應的三維點為

X_{r} (d) = d K_{r}^{- 1} p .

當前高斯集合可以渲染出初始深度 $D_{r}^{(0)}$ 與法線 $N_{r}^{(0)}$ 。若第 $i$ 個高斯的尺度為 $s_{i 1}, s_{i 2}, s_{i 3}$ ，旋轉矩陣為 $R_{i}$ ，可用最短主軸近似其法線：

k_{i} = \arg min_{k} s_{i k}, n_{i} = R_{i} e_{k_{i}} .

經過符號統一後，深度與法線都能使用與 RGB 相同的 Alpha 混合權重生成二維圖。二維網格為每個像素提供固定數量的鄰域，比在不規則高斯集合中反復建立三維近鄰關係更適合做局部假設傳播。

平面單應性與光度代價

假設參考相機到源相機 $s$ 的相對位姿為 $(R_{s r}, t_{s r})$ ，局部平面在參考相機座標中滿足

n^{T} X_{r} = d_{π} .

該平面在兩幅圖像之間誘導單應矩陣 [3]

H_{r \to s} (n, d_{π}) = K_{s} (R_{s r} + \frac{t_{s r} n^{T}}{d_{π}}) K_{r}^{- 1} .

右側分數的符號取決於平面方程與位姿定義；只要全文使用同一約定，單應映射的幾何含義不變。參考圖的局部圖像塊 $P_{r} (p)$ 可以經 $H_{r \to s}$ 畸變到源圖。常用的零均值歸一化互相關代價為

C_{photo}^{(s)} = \frac{1 - ZNCC (P_{r}, P_{s \leftarrow r} (n, d_{π}))}{2} .

ZNCC 消去圖像塊的加性偏置並歸一化對比度，對局部曝光變化比直接 RGB 差更穩定，仍然依賴圖像塊內有可區分的結構。完全常色的平面上，多個深度假設可以取得相近分數；傳播必須依靠鄰近的可觀測區域把幾何信息延伸進來。

鄰域傳播與假設選擇

記第 $t$ 輪傳播後像素 $p$ 的假設為 $h_{p}^{(t)} = (d_{p}^{(t)}, n_{p}^{(t)})$ 。從四鄰域或八鄰域收集候選 $H_{p}^{(t)}$ ，再以多視圖代價選擇

h_{p}^{(t + 1)} = \arg min_{h \in H_{p}^{(t)}} \sum_{s \in V_{p}} ω_{s} (h) ρ (C_{photo}^{(s)} (h)) .

$ρ$ 是截斷或 Huber 類的魯棒函數， $ω_{s}$ 由視角、遮擋、投影範圍與源視圖可用性決定。這一步與 PatchMatch 類多視圖立體匹配共享「鄰域傳播 + 隨機擾動 + 代價競爭」的結構 [4]。從優化角度看，它以有限候選近似求解每個像素的非凸深度—法線問題，並用空間鄰近性限制搜索範圍。

傳播次數不宜無限增加。若一個錯誤平面假設在局部代價上占優，過多輪傳播會擴大其空間範圍。因此，傳播只負責提案，寫入三維場景前還需要更嚴格的多視圖門控。

多視圖幾何一致性

參考像素的候選三維點為 $X_{r}$ 。將它投影到源視圖 $s$ ，得到 $p_{s} = π_{s} (X_{r})$ 與預測深度 $d_{r \to s}$ 。若源視圖的當前深度為 $D_{s} (p_{s})$ ，可定義相對深度誤差

e_{d}^{(s)} = \frac{| d_{r \to s} - D_{s} (p_{s}) |}{d_{r \to s} + D_{s} (p_{s}) + ε} .

將 $p_{s}$ 依源視圖深度反投影，再投回參考視圖，可得到循環重投影誤差

e_{p}^{(s)} = {‖ p - π_{r} (T_{r s} π_{s}^{- 1} (p_{s}, D_{s} (p_{s}))) ‖}_{2} .

法線在坐標轉換後的角度誤差為

e_{n}^{(s)} = 1 - | (R_{s r} n_{r})^{T} n_{s} (p_{s}) | .

絕對值消去法線朝向的二義性，但在有明確前後關係的渲染器中，更合理的做法是先統一法線朝向再比較。源視圖通過檢查的條件可寫成

v_{s} = I [e_{d}^{(s)} < τ_{d}, e_{p}^{(s)} < τ_{p}, e_{n}^{(s)} < τ_{n}] .

只用單一最佳源視圖會放大偶然匹配，多視圖選擇需要同時考慮視角、遮擋與幾何支持 [5]。對有效集合 $V_{k} = {s : v_{s} = 1}$ ，可組織魯棒幾何代價

C_{geom}^{(k)} = {median}_{s \in V_{k}} (e_{d}^{(s)} + λ_{p} e_{p}^{(s)} + λ_{n} e_{n}^{(s)}) .

中位數允許少量視圖因遮擋或反射而失敗，同時要求 $| V_{k} | \geq n_{min}$ 才能防止「只有一個支持者」的脆弱候選進入場景。

候選接受門控

傳播深度 $d_{k}^{prop}$ 與當前渲染深度 $d_{k}^{rend}$ 之間還需要有足夠大的差異：

Δ d_{k} = \frac{| d_{k}^{prop} - d_{k}^{rend} |}{d_{k}^{rend} + ε} .

$Δ d_{k}$ 太小時，當前高斯已經解釋了該區域，新增圖元只會提高冗餘。綜合弱紋理掩碼、多視圖支持、光度代價與幾何代價，最終門控可寫成

δ_{k} = I [m_{weak} (p_{k}) = 1, | V_{k} | \geq n_{min}, C_{photo}^{(k)} < τ_{c}, C_{geom}^{(k)} < τ_{g}, Δ d_{k} > τ_{Δ d}] .

硬門控便於調試，閾值附近的候選會出現不連續翻轉。可以進一步構造連續置信度

q_{k} = σ (a_{v} (| V_{k} | - n_{min})) σ (a_{d} (Δ d_{k} - τ_{Δ d})) \exp (- \frac{C_{photo}^{(k)}}{τ_{c}} - \frac{C_{geom}^{(k)}}{τ_{g}}),

再在每輪中選擇 $q_{k}$ 最高的固定數量候選。這個改寫把「門限」轉化為「置信度排序 + 增長預算」，可以避免場景尺度或圖像數量改變時高斯數量突然失控。

候選高斯的三維初始化

通過門控的像素先反投影為

μ_{k} = T_{w r} [\begin{matrix} d_{k} K_{r}^{- 1} p_{k} \\ 1 \end{matrix}] .

令世界座標下的法線為 $n_{k}$ ，在切平面內構造正交基 $t_{k 1}, t_{k 2}$ ，則旋轉矩陣可取

R_{k} = [\begin{matrix} t_{k 1} & t_{k 2} & n_{k} \end{matrix}] .

單像素在深度 $d_{k}$ 處對應的世界尺度約為 $d_{k} / f$ 。若局部支持區半徑為 $r_{p}$ 個像素，初始切向尺度可設為

s_{k 1} = s_{k 2} = η_{t} \frac{r_{p} d_{k}}{f}, s_{k 3} = η_{n} min (s_{k 1}, s_{k 2}), η_{n} ≪ 1.

扁平的初始協方差將新高斯限制在候選平面附近，同時保留後續優化尺度與旋轉的空間。顏色、潛在特徵或偏置可由鄰近可見高斯的透射率權重均值初始化；若直接複製單個最近高斯，遮擋邊界兩側的外觀更容易被混合。

在插入前還要檢查現有高斯。以局部協方差 $Σ_{j}$ 定義馬氏距離

d_{M}^{2} (k, j) = (μ_{k} - μ_{j})^{T} Σ_{j}^{- 1} (μ_{k} - μ_{j}) .

若候選與某個現有高斯的 $d_{M}^{2}$ 很小，且法線與外觀都一致，更合適的操作是更新現有高斯的置信統計，而非再創建一個幾乎重疊的圖元。

調度、預算與穩定性

傳播式增密不適合每次梯度更新都執行。深度與法線在訓練早期還不穩定，頻繁插入候選會把瞬時誤差固化為新高斯。一個可解釋的調度策略包含四個時間尺度：

時間尺度	狀態	結構操作
訓練初期	深度與外觀仍在建立	只執行基礎優化，不傳播
幾何形成期	主要表面已可渲染	每 $K$ 步提案一次候選
結構增長期	候選置信度可比較	按分位數或上限接受新高斯
收斂期	圖元集合接近固定	停止增長，只做連續參數優化與剪枝

設每輪候選數為 $M_{t}$ ，接受上限為 $B_{t}$ ，則增長率為

g_{t} = \frac{min (M_{t}, B_{t})}{N_{t}} .

保持 $g_{t}$ 隨訓練逐步衰減，能夠防止後期因少量高頻殘差持續增加模型規模。增長預算還應與剪枝率、可見高斯數、tile 實例數與顯存佔用一起記錄；高斯總數相同時，更大的屏幕 footprint 仍然可能帶來更高的光柵化成本。

傳播與平面約束的消融結果

GaussianPro 的消融實驗將傳播和平面約束分開。在 Waymo 實驗中，基線的 PSNR 為 $33.53$ dB；只使用傳播時為 $34.48$ dB，再加入平面約束後為 $34.68$ dB。對應的 SSIM 從 $0.938$ 增至 $0.949$ ，LPIPS 從 $0.226$ 降至 $0.191$ [2]。

3DGS 與 GaussianPro 在道路場景中的渲染結果和高斯分佈對比 — 道路場景中的渲染結果與高斯分佈。3DGS 使用體積較大的高斯覆蓋弱紋理路面，局部幾何呈現團塊狀；GaussianPro 引入傳播與法線約束後，高斯更貼近道路表面排列，紅框內的渲染模糊也相應減少 [2]。

GaussianPro 基線、加入傳播和加入平面損失後的渲染誤差、深度與法線比較 — 由上至下分別為基線、加入傳播，以及繼續加入平面約束的結果。傳播補齊路面深度後，淺色平面的渲染誤差下降；平面約束進一步統一局部法線，同時也會壓抑真實起伏，因此需要遮擋邊界與非平面掩碼 [2]。

從消融表還能計算交互項。記 PSNR 基線為 $y_{0}$ ，傳播、平面約束和兩者同時使用的結果分別為 $y_{P}, y_{L}, y_{P L}$ ，則

Δ_{int} = y_{P L} - y_{P} - y_{L} + y_{0} = 34.68 - 34.48 - 34.02 + 33.53 = - 0.29 dB .

負交互項表明兩個模塊修正了部分重疊誤差，不適合把單獨增益直接相加當成組合收益。它也提示一個重要實驗要求：傳播提供了新結構，平面約束改變了已有結構的參數，兩者要同時用候選接受率、深度/法線指標與 RGB 指標判斷。

傳播式增密的失效情形

傳播依賴已有局部表面作為種子，並默認鄰域中存在可延伸的幾何結構。以下情況需要額外診斷：

完全無紋理且沒有邊界錨點的大平面，局部圖像塊不能區分不同深度假設。
鏡面、透明物體和強高光破壞跨視圖光度一致性，ZNCC 也無法將反射運動轉化為幾何證據。
細桿、植被和穿孔結構不滿足局部單平面假設，鄰域傳播會把前後層合併。
相機位姿誤差會同時升高光度與幾何代價，若放寬閾值強行保留候選，錯位會被寫入高斯集合。
遮擋邊界的深度與法線本來就不連續，平面傳播與平滑約束應在邊界兩側分別運行。
外觀模型容量過強時，錯誤幾何仍可被顏色偏置或解碼器補償，候選生成與外觀監督之間需要共同調度。

傳播式增密為弱紋理區域增加了 RGB 中心梯度之外的結構信號，但它沒有消除幾何歧義。完整路徑包含假設生成、多視圖檢查、反投影初始化、去重、增長預算與後期剪枝；其中任意一步過於寬鬆，都會把二維匹配中的偶然最優轉化為長期存在的三維圖元。

《本徵、外觀與幾何監督的聯合優化》將繼續處理這條關係：傳播改變高斯集合，Intrinsic 偽監督約束材質，LE3D 式顏色解碼器分配外觀殘差，幾種信號並不天然具有相容的尺度和梯度方向。

參考文獻

Kerbl B, Kopanas G, Leimkühler T, et al.. 3D Gaussian Splatting for Real-Time Radiance Field Rendering[J]. ACM Transactions on Graphics, 2023, 139:1–139:14.↩
Cheng K, Long X, Yang K, et al.. GaussianPro: 3D Gaussian Splatting with Progressive Propagation[C]. Proceedings of the International Conference on Machine Learning, 2024, 8123–8140.↩1 ↩2 ↩3 ↩4
Hartley R, Zisserman A. Multiple View Geometry in Computer Vision[M]. Cambridge University Press, 2004.↩
Bleyer M, Rhemann C, Rother C. PatchMatch Stereo---Stereo Matching with Slanted Support Windows[C]. Proceedings of the British Machine Vision Conference, 2011, 14.1–14.11.↩
Schönberger JL, Zheng E, Frahm JM, et al.. Pixelwise View Selection for Unstructured Multi-View Stereo[C]. Proceedings of the European Conference on Computer Vision, 2016, 501–518.↩

傳播式增密中的候選生成與幾何門控

增密中的離散結構選擇 #

深度—法線假設的二維表示 #

平面單應性與光度代價 #

鄰域傳播與假設選擇 #

多視圖幾何一致性 #

候選接受門控 #

候選高斯的三維初始化 #

調度、預算與穩定性 #

傳播與平面約束的消融結果 #

傳播式增密的失效情形 #