光明实验室研究团队获重磅突破

　　日前，记者从光明实验室获悉，光明实验室基础智能研究团队与深圳大学联合发布最新成果：OptEx: Expediting First-Order Optimization with Approximately Parallelized Iteration。该论文已被国际顶级会议——神经信息处理系统大会（简称NeurIPS）2024所接受。

　　一阶优化（First-Order Optimization, FOO）算法作为现代计算科学的核心技术之一，在机器学习、信号处理等多个领域发挥着不可替代的作用。然而，传统的一阶优化算法在面对复杂的计算任务，尤其是大规模神经网络训练时，由于需要大量的顺序迭代才能收敛，常常面临效率低下的挑战。针对这一难题，光明实验室与深圳大学的研究团队联合推出了一阶优化框架（OptEx），旨在通过近似并行化迭代加速的方法，打破一阶优化算法的迭代瓶颈，实现计算效率的显著提升。

　　OptEx的核心在于采用核化梯度估计技术，巧妙地利用历史梯度信息预测未来的梯度值，从而实现迭代过程的并行化。这项技术不仅解决了长期以来困扰一阶优化算法的迭代依赖性问题，而且为并行计算在优化领域的应用开辟了新的路径。研究团队为核化梯度估计的可靠性以及基于随机梯度下降（Stochastic Gradient Descent, SGD）的OptEx迭代复杂性提供了坚实的理论依据，证实随着历史梯度的积累，估计误差趋近于零。同时，基于SGD的OptEx在并行度为N的情况下，相较于标准SGD具有θ（√N）的有效加速率，这标志着一阶优化算法在并行计算方向上迈出了重要的一步。

　　为了验证OptEx框架的实际效能，研究团队进行了广泛而深入的实证分析，涵盖从合成函数优化到强化学习任务，再到图像和文本数据集上的神经网络训练等多个应用场景。大量的实验研究显示，OptEx框架能够在保持甚至提高模型性能的同时，大幅缩短训练时间，展现出其在各种应用中加速优化过程的潜力。

　　值得一提的是，OptEx不仅支持主流的英伟达GPU、苹果MPS及CPUs等计算平台，更特别地实现了对国产昇腾NPUs的支持，为国产算力生态提供了新的算子，加速推动国产算力技术的发展。