神经网络中的剪枝

导读: 作者:Ranjeet Singh编译:ronghuaiyang导读目前,深度学习模型需要大量的计算、内存和能力,这成为我们需要实时推理或在计算资源有限的边缘设备和浏览器上运行模型的瓶颈。能源效率是

丝瓜网小编提示,记得把"神经网络中的剪枝"分享给大家!

作者:Ranjeet Singh

编译:ronghuaiyang导读目前,深度学习模型需要大量的计算、内存和能力,这成为我们需要实时推理或在计算资源有限的边缘设备和浏览器上运行模型的瓶颈。能源效率是当前深度学习模型的主要关注点。处理这种效率的方法之一是启用高效推理。

更大的模型=>更多的内存使用=>更多的能量

剪枝是一种推理方法,它可以有效地生成更小的模型、更高效的内存使用、更高效的能量使用和更快的推理,同时在精度上损失最小,其他类似的技术还有权值共享和量化。深度学习的灵感来自于神经科学领域的几个方面。在深度学习中剪枝也是一个受生物学启发的概念,我们将在稍后的文章中讨论。

随着深度学习的进步,最先进的模型变得越来越精确,但这种进步是有代价的。我将在这个博客中讨论其中的一些。

第一个挑战 :模型越来越大

很难通过在线更新来发布非常大的模型。

丝瓜网 crfgs.com