新诊断揭示深度网络偏差驱动决策
研究提出BDI指标,区分模型置信度的特征支持与偏差驱动成分。
深度神经网络即使输入信息不充分,也可能保持高置信度。现有方法如校准和特征归因虽能提供误差可能性或显著特征,但无法量化决策边界或置信度的支持来源。为此,研究人员提出了“偏差主导指数”(BDI),这是一种层级诊断方法,可将决策边界分解为输入依赖特征和输入独立偏差成分。BDI能够判断模型置信度主要来自特征支持还是偏差驱动。在卷积神经网络上的实验显示,该指标可有效识别偏差主导的决策。该研究尚未经过同行评审。
研究提出BDI指标,区分模型置信度的特征支持与偏差驱动成分。
深度神经网络即使输入信息不充分,也可能保持高置信度。现有方法如校准和特征归因虽能提供误差可能性或显著特征,但无法量化决策边界或置信度的支持来源。为此,研究人员提出了“偏差主导指数”(BDI),这是一种层级诊断方法,可将决策边界分解为输入依赖特征和输入独立偏差成分。BDI能够判断模型置信度主要来自特征支持还是偏差驱动。在卷积神经网络上的实验显示,该指标可有效识别偏差主导的决策。该研究尚未经过同行评审。