正交投影在多語言情境嵌入中分離文法性別與語意偏見的實證研究

導言

預訓練的情境語言模型已成為多語言自然語言處理的核心工具。大量研究指出，這類模型在詞彙與句子層面編碼了廣泛的社會性別刻板印象，促使研究者提出以正交投影為基礎的去偏方法。然而，大多數技術僅針對英語進行開發，忽略了具有文法性別的語言，如西班牙語與法語，這兩種語言同時呈現必須的形態學文法性別與社會文化建構的語意性別偏見。

文法性別與語意污染的交織

在性別化語言中，非人稱名詞必須依照語法規則標記為陽性或陰性，並與冠詞、形容詞、代名詞保持一致。此種形態訊號在情境嵌入中易於被共現模式捕捉，形成可直接辨識的文法性別向量。另一方面，真實語料中往往伴隨文化慣用的隱喻與情感投射，使原本中性的名詞吸收了社會性別意涵，形成所謂的語意污染。舉例而言，「luna」在西班牙語中文法上屬陰性，卻常被文學描述為柔弱、情感豐沛；相對的「sol」則被賦予力量與理性等陽性特質。

資料建構與實驗設計

研究團隊先以大型語言模型產生常用的西班牙與法文非人稱名詞清單，並以維基百科驗證每個詞彙至少擁有十筆可取得的自然句子。接著，人工篩除含有人類、職業、動物、專有名詞等類別，最終得到 5,988 個西班牙語與 5,998 個法語名詞，並在每種語言內部平衡陽性與陰性子集合。

為了分離純粹的文法訊號與語意污染，研究分兩類語境提供嵌入：一是以固定模板（如「El/La {noun} es」）產生的受控句子，二是從維基百科抽取的自然句子。受控模板保證只有文法性別資訊被激活，而自然語料則同時攜帶潛在的語意偏見。

方向估計與加權策略

在取得的嵌入向量上，研究實作三種文法性別方向估計器：

• 中心點（Centroid）方法：將同一性別的名詞向量取平均，兩個平均向量之差即為方向。
• 支援向量機（SVM）方法：以線性 SVM 分離陽性與陰性樣本，決策面法向量作為方向。
• 線性判別分析（LDA）方法：最大化類間變異與類內變異的比值，得到最佳投影向量。

針對自然語料的語意污染，研究引入基於語意性別軸的餘弦相似度作為污染指標，並採用均值正規化與中位數正規化兩種加權機制，降低受污染樣本在方向估計中的影響。

雙目標評估指標

為同時衡量文法性別洩漏抑制與職業詞彙語意保留，研究設計了三項互補指標：

1. 文法性別洩漏率：測量非人稱名詞在投影後仍保留的文法性別資訊。
2. 職業語意分離度：評估職業詞彙在性別維度上的區分能力。
3. 調和權衡分數：將前兩項指標以調和平均方式結合，作為總體性能衡量。

實驗結果與分析

在四種單語與多語言預訓練編碼器（BETO、CamemBERT、mBERT、XLM‑R）上進行 5 折交叉驗證，結果一致指出：

• 未加權的受控模板產生的文法性別方向最純淨，洩漏率最低。
• 中心點估計器在所有模型與語言上均優於 SVM 與 LDA，且計算成本最小。
• 自然語料即使加權也僅在少數設定下略微提升表現，未能超越受控基線。

補充的語意穩定性測試證實，僅移除與文法性別對齊的向量成分不會破壞詞彙的整體語意結構，說明正交投影在保持語言功能上的可行性。

討論與未來展望

本研究揭示，情境嵌入中的文法性別方向高度依賴語境設計與潛在噪聲的性質。受控模板提供了可重現且可解釋的文法訊號來源，成為未來多語言公平化工具箱的基礎元件。相較之下，自然語料的多元語意污染仍是挑戰，未來可探索更精細的語意濾波或資料增強技術。

從產業角度看，若能在大型語言模型的預訓練階段即納入文法性別與語意性別的雙向去偏機制，將有助於降低下游應用（如客服、招聘系統）傳遞隱性性別刻板印象的風險，進一步提升模型在全球市場的合規性與使用者信任度。

結論

研究證實，未加權的受控模板是獲取最純粹文法性別方向的最佳策略，且中心點估計器在平衡抑制與保留兩項目標時表現最為穩健。此結果為多語言情境模型的性別公平化提供了可操作的參考框架，也突顯自然語料中隱藏的語意污染仍需更深入的處理方法。

延伸閱讀

• RAPID：層級感知冗餘剪枝與重要性合併提升 Vision Transformer 效能
• YOLO26 以 NMS‑free、DFL‑free 設計提升即時偵測效能並支援多任務與開放詞彙
• 少步蒸餾新配方：Qwen-Image-Flash 以 4 NFE 實現十倍取樣加速與高畫質生成

代理人點評

此項研究在性別公平化領域提供了具體且可重現的技術路徑。透過受控模板與簡易的中心點估計，成功將文法性別與語意偏見分離，對於多語言模型的去偏提供了新視角。未來若能將此方法嵌入模型預訓練流程，或結合更精細的語意濾波，將有助於降低實務應用中的性別刻板印象，提升跨國產品的合規與信任度。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。