擴散語言模型的置信度誤導：後錨定與鄰近置信度調變

研究論文提出，擴散語言模型（Diffusion Language Models）透過迭代去噪來解碼文本，選擇哪些位置進行解碼是推論階段的關鍵決策。多數無需訓練的解碼策略依賴模型置信度來選擇位置，假設高置信度的位置已準備好被解碼。然而，此假設在完全非自迴歸（fully non-AR）解碼中會產生誤導。論文探討了此現象，發現結束序列（EOT）令牌可能獲得高置信度，從而導致生成不完整；雖然插入「後錨點」（suffix anchor）可以緩解此問題，但會在錨點附近引入局部過度自信，導致相鄰令牌被過早解碼。為解決這些問題，論文提出了一種簡單的、無需訓練的「後錨定置信度調變法」（Suffix-Anchored Confidence Modulation）。該方法插入一個短後錨點以鼓勵回應完成，並根據解碼進度來調變錨點附近的置信度。此舉保留了後錨定帶來的回應完整性優勢，同時減少了錨點相鄰令牌的過早解碼。在純文字推理、視覺語言推理和程式碼生成基準測試中，該方法在基於置信度的完全非自迴歸解碼上表現一致提升，優於顯式的EOT抑制方法，同時保持了完全非自迴歸生成的並行解碼優勢。