MC Dropout
Yarin Gal 和 Zoubin Ghahramani的 Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning 证明了特定条件下,使用 Dropout 训练的神经网络可以被看作是贝叶斯神经网络的一种近似。 因此,MC Dropout 本质上是在进行一种近似的贝叶斯推断,通过采样来估计预测的后验分布。
MC Dropout (Monte Carlo Dropout) 是一种在深度学习中估算模型不确定性 (Model Uncertainty) 的技术。
它的核心思想是:在模型进行预测(推理)时,保持 Dropout 层处于开启状态,并对同一个输入数据进行 T 次前向传播,从而得到一个预测结果的分布,而非单一的确定性结果。
这个方法巧妙地重用了标准的 Dropout 层,使其从一个纯粹的正则化工具,转变为一个能够量化模型信心的强大工具。