稀疏线性逆问题的Onsager校正深度学习刘畅

【#第一文档网# 导语】以下是®第一文档网的小编为您整理的《稀疏线性逆问题的Onsager校正深度学习刘畅》，欢迎阅读！

稀疏线性逆问题的Onsager校正深度学习

摘要：深度学习因其在许多推理问题上的广泛成功而受到广泛欢迎。 我们考虑将深度学习应用于在压缩感知中遇到的稀疏线性逆问题，其中人们试图从少量噪声线性测量中恢复稀疏信号。 在本文中，提出了一种新的神经网络体系结构，它将层间的预测误差解耦，就像近似消息传递（AMP）算法在迭代中将它们分离一样：通过Onsager校正。 数值实验表明，我们的“学习AMP”网络相比于Gregor和LeCun的“学习ISTA”网络，在精度和复杂度上都显着提高了 索引术语 - 深度学习，压缩感知，稀疏编码，近似消息传递。

这篇文章展示了迭代重建算法如何改进传统的神经网络架构的最新进展，以在求解稀疏线性逆问题时提高精度和复杂度。 特别是展示了如何利用位于近似消息传递（AMP）算法核心的“Onsager校正”来构建具有更高准确性和计算效率的深度网络（需要更少的层来得到一个准确的估计）。 迭代算法

1、解决稀疏线性逆问题最有名的算法之一是解决凸优化问题



”凸优化“ 是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。其中，目标函数为凸函数且定义域为凸集的优化问题称为无约束凸优化问题。而目标函数和不等式约束函数均为凸函数，等式约束函数为仿射函数，并且定义域为凸集的优化问题为约束优化问题。 2、ISTA（迭代软阈值算法） 它是解决凸优化问题最简单的方法



3、FISTA（快速迭代软阈值算法）

相比于第二种算法，它的收敛速度更快，而且迭代次数要少一个数量级。




4、AMP（近似消息传递）

也称为近似极大极小方法，对比AMP和ISTA，多了校正项，在解决稀疏线性逆问题上更具优势。



对比上诉三种算法，横坐标迭代次数，纵坐标是平均归一化均方误差。

本文来源：https://www.dy1993.cn/jWzG.html