ResNet-50神经网络的卷积运算强度混合精度
发布时间:2020/11/12 13:15:43 访问次数:1078
对持续创新的强烈需求则需要使用灵活应变的领域专用架构 (DSA)。优化 AI 推断性能和降低功耗的主要趋势之一是使用较低精度和混合精度。为降低硬件设计复杂性,模型量化被当作关键技术应用于各类硬件平台。大量工作被投入用于最大限度地降低 CNN 运算量和存储成本。这项研究充分地证明,对于大多数计算机视觉任务,在不严重牺牲精度的情况下,权重参数和激活参数可以用 INT8 表达。
对于某些边缘应用而言,硬件资源仍然不足。在对边缘应用使用较低的位宽时,一些常见的硬件设计解决方案使用简化的乘法器。尽管这些解决方案时延低、吞吐量大,但它们与全精度模型相比,仍然存在较大的精度差距。在模型精度和硬件性能之间寻求平衡变得至关重要。
赛灵思运用几种常见的网络结构MobilenetV1和MobilenetV2,在 ImageNet 任务上通过使用几种不同的量化算法进行了实验。结果显示精度随着位宽减少而下降。
在位宽低于 4 时精度下降显著。赛灵思也使用 Williams 等介绍的 Roofline 模型,分析不同位宽下的硬件性能,以赛灵思 ZCU102 评估板为例,随着 MAC 的精度降低,硬件成本降低,性能得到提高。
低比特量化可通过降低存储器需求提高性能。这在 ResNet-50 神经网络的卷积运算强度上得到证实。该网络分别用 8 位精度和 4 位精度进行了运算。INT4 在模型精度和硬件性能之间实现了最佳权衡。
应用程序本身的秘密性和完整性方面,在芯片启动专题中有详细的介绍,即芯片可以启动经过国密SM4或国际AES算法加密后的二进制应用程序,可防止应用程序被非法窃取后进反汇编破译。在实际应用中,还可以通过多种加密手段组合及其它防护手段的结合使用,来进一步增强数据的安全级别。
在码灵半导体CFW32C7UL系列芯片中,我们主要针对的是应用程序知识产权的安全保护。因为现实中,总有一些不法厂商通过直接复制盗取其它厂家的设备(直接复制PCB板、设备元件及可执行程序),以短期获取暴利,严重扰乱行业市场秩序,给设备原厂的生产经营造成极大的不良影响。因硬件防复制比较困难,目前行业内为防止设备被复制,常通采用保护设备的可执行程来完成产品防复制,这包括前面提到的防止程序的反编译和防止程序直接使用。
数据秘密性方面,通过前几期的国密算法和国际标准加解密算法介绍中对数据加解密应用的阐述,我们知道通过使用这些商用密码对数据的加密可保证数据传输过程中的数据私性。
对持续创新的强烈需求则需要使用灵活应变的领域专用架构 (DSA)。优化 AI 推断性能和降低功耗的主要趋势之一是使用较低精度和混合精度。为降低硬件设计复杂性,模型量化被当作关键技术应用于各类硬件平台。大量工作被投入用于最大限度地降低 CNN 运算量和存储成本。这项研究充分地证明,对于大多数计算机视觉任务,在不严重牺牲精度的情况下,权重参数和激活参数可以用 INT8 表达。
对于某些边缘应用而言,硬件资源仍然不足。在对边缘应用使用较低的位宽时,一些常见的硬件设计解决方案使用简化的乘法器。尽管这些解决方案时延低、吞吐量大,但它们与全精度模型相比,仍然存在较大的精度差距。在模型精度和硬件性能之间寻求平衡变得至关重要。
赛灵思运用几种常见的网络结构MobilenetV1和MobilenetV2,在 ImageNet 任务上通过使用几种不同的量化算法进行了实验。结果显示精度随着位宽减少而下降。
在位宽低于 4 时精度下降显著。赛灵思也使用 Williams 等介绍的 Roofline 模型,分析不同位宽下的硬件性能,以赛灵思 ZCU102 评估板为例,随着 MAC 的精度降低,硬件成本降低,性能得到提高。
低比特量化可通过降低存储器需求提高性能。这在 ResNet-50 神经网络的卷积运算强度上得到证实。该网络分别用 8 位精度和 4 位精度进行了运算。INT4 在模型精度和硬件性能之间实现了最佳权衡。
应用程序本身的秘密性和完整性方面,在芯片启动专题中有详细的介绍,即芯片可以启动经过国密SM4或国际AES算法加密后的二进制应用程序,可防止应用程序被非法窃取后进反汇编破译。在实际应用中,还可以通过多种加密手段组合及其它防护手段的结合使用,来进一步增强数据的安全级别。
在码灵半导体CFW32C7UL系列芯片中,我们主要针对的是应用程序知识产权的安全保护。因为现实中,总有一些不法厂商通过直接复制盗取其它厂家的设备(直接复制PCB板、设备元件及可执行程序),以短期获取暴利,严重扰乱行业市场秩序,给设备原厂的生产经营造成极大的不良影响。因硬件防复制比较困难,目前行业内为防止设备被复制,常通采用保护设备的可执行程来完成产品防复制,这包括前面提到的防止程序的反编译和防止程序直接使用。
数据秘密性方面,通过前几期的国密算法和国际标准加解密算法介绍中对数据加解密应用的阐述,我们知道通过使用这些商用密码对数据的加密可保证数据传输过程中的数据私性。