论文

ISSCC 2017 Session 14 Slides整理(3/8)

论文三:A 28nm SoC with a 1.2GHz 568nJ/Prediction Sparse Deep-Neural-Network Engine with >0.1 Timing Error Rate Tolerance for IoT Applications

机构:Harvard(哈佛大学,School of Engineering and Applied Sciences)

简述:

一款应用于IoT边缘计算的DNN ENGINE,面向稀疏网络可以进一步提高能效表现,同时SoC总体具有nJ级别的高能效表现(568nj/pred@1.2GHz)。

主要内容:

(P2-4)Motivation:DNN是普适的分类器,可以在多传感器系统中筛选可用数据。但是存在着存储打、计算负载重的情况,需要进行DNN的inference在mJ级别的计算研究。

(P5-8)DNN ENGINE:它是一个可编程的分类器,具有以下特点:1、专用的架构,高能效的数字电路;2、并行度:在memory带宽和吞吐中均衡;3、稀疏性:硬件支持稀疏数据和小型数据类型;4、恢复力:快速由PVT最小值进行调整

Feature 1:DNN ENGINE的Parallelism

(P10-24)对于全连接层的DNN而言,其SIMD窗口(多个相邻neuron构成的窗口)大小不同,带来的带宽压力和数据重用效率也不一样,如图。可以看出,8通道的SIMD其效率是较高的,带宽也在合理范围内,同时可以在128b位宽的AXI总线下运行获得10x的数据有效重用率。

1
Balancing Efficiency and Bandwidth

(P25-29)DNN ENGINE的架构:采用流水化的运算:

1、Host Processor将配置和输入数据载入CFG和IPBUF

2、乘累加器进行计算,数据由IPBUF读入,权重由W-MEM读入

3、在Activation步骤,进行偏置、激活操作,随后将数据写回IPBUF

4、向host发起中断请求,数据输出

2
DNN ENGINE Micro-Architecture

Feature 2:DNN ENGINE的Sparsity

(P31-44)面向稀疏网络的DNN ENGINE:在Activation步骤增加Skip分支,跳过矩阵计算的稀疏点。

3
DNN ENGINE uArch : Sparsity

Feature 3:DNN ENGINE的Resilience

(P46-48)Razor硬件加速器:允许偶尔的关键路径时序错误(迟到信号的显式检测,调整Vdd/Fclk以获得接近0的错误率);确保时序错误不影响系统运行。

4
Razor Hardware Accelerators

(P49)DNN ENGINE中的两个Razor步骤:W-MEM和MAC Datapath

5
DNN ENGINE uArch : Razor

(P50-54)Memory设计在算法级误差容差内:采用原码表示符合0均值高斯分布的权重,减少switching,同时BER在可以容许的范围内。数据通路在电路级误差容差内:算法误差在累加中是无法消除的,而芯片级的误差通过延时在累加寄存器的单侧关键路径进行操作。

(P56)用于IoT场景的28nm DNN ENGINE SoC

8.png
28nm SoC for IoT Applications

(P57-59)左下到右上:对FC-DNN(784-256-256-256-10)进行测试: 准确率98.36% (数据集:MNIST);左上到中下:770mV下操作可以减少30%的功耗;Margin:用于快速变化的区域降低到715mV

9.png
Razor Voltage Scaling

(P60)时序错误的容差:总时序错误率大于0.1

10
Timing Error Tolerance Summary

(P61-65)能效、吞吐表现

11
Energy/Throughput Summary

(P66)总结:

DNN ENGINE——一款高能效的DNN加速器(568nj/pred@1.2GHz),时序容差>10^-1@MNIST 98.36%

-Parallelism:10x的数据重用@带宽128b/cycle

-Sparcity:+4x吞吐,-4x能耗

-Resilience:+50%吞吐/-30%能耗(2/Razor)

 

 

 

1 thought on “ISSCC 2017 Session 14 Slides整理(3/8)”

发表评论

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 更改 )

Twitter picture

You are commenting using your Twitter account. Log Out / 更改 )

Facebook photo

You are commenting using your Facebook account. Log Out / 更改 )

Google+ photo

You are commenting using your Google+ account. Log Out / 更改 )

Connecting to %s