Aivora
arXivAI 研究專業

BiasFlow:以幾何監控與骨幹正規化解決模型對虛假特徵的依賴

BiasFlow: Geometric Monitoring and Backbone Regularization for Spurious Feature Reliance

2 分鐘閱讀
BiasFlow:以幾何監控與骨幹正規化解決模型對虛假特徵的依賴
30 秒看懂

傳統的最差群組準確率(WGA)僅能評估分類器,無法反映凍結骨幹網路在面對新分類任務時的特徵分布表現。為此,本研究開發了 BiasFlow 工具包,透過 IBMI 與 W-IBMI 等幾何指標,監控類別與屬性之質心對齊狀況。研究更提出 BiasFlow 正規化(BFR)懲罰機制,在 UrbanCars 資料集上提升最差群組準確率達 26.0 pp;在 CelebA-Std 的凍結骨幹測試中,將 WGA 從 40.7% 大幅提升至 64.1%,展現出極佳的抗偏見強健性。

核心重點

01

幾何監控診斷

利用基於 Hook 的指標(IBMI、W-IBMI)監控特徵空間中類別與屬性的質心對齊及投影敏感度。

02

BFR 正規化技術

提出一種受監督、可組合的類別條件質心對齊懲罰機制,主動優化骨幹網路的特徵表徵。

03

顯著提升抗偏見表現

在 CelebA-Std 凍結骨幹實驗中,將最差群組準確率從 40.7% 提升至 64.1%,並大幅降低偏見屬性的探針準確率。

04

合成浮水印抗性

在 ImageNet 的合成浮水印控制實驗中,將浮水印偏移準確率提高了 23.0 pp。

技術圖解

標準骨幹網路與加入 BFR 正規化之效能對比(CelebA-Std 實驗)
標準骨幹網路 (Standard)BiasFlow 正規化骨幹 (BFR + GroupDRO)
最差群組準確率 (WGA)40.7%64.1%
男性屬性探針準確率 (越低越好)92.5%72.2%
UrbanCars WGA 提升幅度基準值 (Baseline)最高提升 +26.0 pp

為什麼重要

深度學習模型常因過度依賴資料中的虛假特徵(如背景、浮水印等無關屬性)而缺乏強健性。BiasFlow 從特徵空間的「幾何結構」出發,提供了一套能同時進行診斷與修正的框架。這使得開發者即便在凍結骨幹網路並重新訓練分類頭時,依然能確保模型維持極高的抗偏見能力,對實現更公平、更具魯棒性的電腦視覺模型至關重要。

對誰有影響

  • AI 研究人員
  • AI 開發者

可以怎麼使用

  1. 1評估預訓練影像模型對背景、浮水印等虛假特徵的敏感度與依賴程度。
  2. 2在存在顯著群組偏差或不平衡屬性的資料集上,訓練強健的影像分類模型。

限制與注意事項

  • 偏見屬性資訊在表徵中依然可以被回復,且跨任務測試的表現好壞參半。
  • W-IBMI 指標具有尺度依賴性,無法獨立用來證實屬性已被完全移除。

延伸閱讀

減少解碼器反而增強編碼器:從新視角合成中提煉強大三維幾何表徵
arXivAI 研究

減少解碼器反而增強編碼器:從新視角合成中提煉強大三維幾何表徵

Less Decoder is More Encoder: Extracting Robust 3D Geometric Representations via Novel View Synthesis

本研究揭示了新視角合成模型(NVS)中解碼器過強會稀釋幾何表徵的弊端,並提出 SNAP 架構,透過限制解碼器與採用潛在空間重建,大幅提升編碼器的三維幾何學習能力。

2 分鐘閱讀