AI芯片最簡單直接設(shè)計思路就是將神經(jīng)元直接映射到硬件芯片上，如圖所示，全硬件實(shí)現(xiàn)方案(Full-Hardware Implementation)將每個神經(jīng)元映射為一個邏輯計算單元，每個突觸映射為一個數(shù)據(jù)存儲單元，這種架構(gòu)設(shè)計可以實(shí)現(xiàn)一個高性能且低功耗的AI芯片，比如Intel ETANN芯片。在全硬件實(shí)現(xiàn)方案中上一層輸出數(shù)據(jù)和權(quán)重相乘，相乘的結(jié)果再相加，然后再經(jīng)過一個激活函數(shù)輸出到下一層計算。這種架構(gòu)設(shè)計將計算和存儲緊密的耦合在一起，使得芯片在進(jìn)行高速計算的同時由能避免大規(guī)模的數(shù)據(jù)訪存，在提高整體計算性能的同時也降低了功耗。
全硬件實(shí)現(xiàn)方案具有設(shè)計簡單、計算性能高、功耗低等特定，但它僅適用于小規(guī)模的神經(jīng)網(wǎng)絡(luò)計算，對于大型神經(jīng)網(wǎng)絡(luò)的計算存在明顯的硬件限制。如圖所示，當(dāng)網(wǎng)絡(luò)層的節(jié)點(diǎn)為16 x 16時，芯片面積只需要0.71 mm2 ，但當(dāng)網(wǎng)絡(luò)層的節(jié)點(diǎn)為32 x 32時，芯片面積則需要2.66 mm2 ，當(dāng)網(wǎng)絡(luò)層包含的節(jié)點(diǎn)進(jìn)一步增大時所需要的芯片面積和能耗將大幅提升，所以直接映射方案已經(jīng)不能滿足當(dāng)前規(guī)模越來越大的深度學(xué)習(xí)算法發(fā)展。
ASIC芯片的設(shè)計基本都是針對領(lǐng)域計算特性，圍繞訪存、能耗、吞吐率、成本、靈活性等指標(biāo)進(jìn)行優(yōu)化和設(shè)計。隨著深度學(xué)習(xí)算法發(fā)展，神經(jīng)網(wǎng)絡(luò)深度和規(guī)模越來越大，網(wǎng)絡(luò)結(jié)構(gòu)也從CNN為主的網(wǎng)絡(luò)架構(gòu)設(shè)計逐漸演變到Transformer為主的網(wǎng)絡(luò)架構(gòu)設(shè)計，算法對芯片需求也從計算密集性過度到存算密集性，AI芯片的設(shè)計也從偏計算走向存算一體的混合計算模式。具體體現(xiàn)在：
底層架構(gòu)：從存算分離到存算一體設(shè)計。
數(shù)據(jù)通信：從高速數(shù)據(jù)通信到低精度計算和稀疏計算。
模型設(shè)計：從模型-硬件獨(dú)立設(shè)計到模型-軟硬件聯(lián)合優(yōu)化設(shè)計。
時域計算
時域計算指采用定制化指令集的專用處理器，其通過指令流水線對邏輯計算單元(Arithmetic Logic Unit, ALU)和存儲系統(tǒng)進(jìn)行統(tǒng)一管理和調(diào)度，ALU流水線從存儲系統(tǒng)中讀取數(shù)據(jù)，經(jīng)過多級流水線處理后將最終運(yùn)算結(jié)果寫回存儲系統(tǒng)。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型主要是大量的線性代數(shù)運(yùn)算，而控制流程則相對簡單，所以，AI芯片通常采用高度并行的計算架構(gòu)設(shè)計，為了提高處理器并行計算能力，需要讓一條指令同時針對多個數(shù)據(jù)元素執(zhí)行相同的操作?；谏疃葘W(xué)習(xí)的計算流程相對固定的特點(diǎn)，多個固定步驟的計算可以通過多個ALU流水線設(shè)計來實(shí)現(xiàn)高效計算，比如矩陣運(yùn)算中的多數(shù)據(jù)乘累加計算。
時域計算架構(gòu)
中國科學(xué)院計算技術(shù)研究所的DianNao系列架構(gòu)設(shè)計是一種典型的時域計算架構(gòu)設(shè)計。DianNao系列的芯片主要包含三部分：神經(jīng)功能單元(Neural Functional Unit, NFU)、三個不同功能片上存儲區(qū)和控制器。NFU和存儲通過控制器的指令進(jìn)行調(diào)度，運(yùn)算核心NFU按照卷積運(yùn)算流程劃分為乘法功能段NFU1、加法功能段NFU2以及非線性激活函數(shù)功能段NFU3的三級流水線設(shè)計。DianNao針對深度學(xué)習(xí)的計算特性進(jìn)行定制設(shè)計，使其在AI計算上能夠獲得比通用處理器更高的能效。
空域計算
與時域計算不同，空域計算中每個計算單元PE都具有獨(dú)立的控制單元和存儲單元?？沼蛴嬎慵軜?gòu)通常由一維或二維PE陣列構(gòu)成，每個PE內(nèi)部自帶控制器和緩存，PE之間可以直接傳遞數(shù)據(jù)。除此之外，還有片上全局緩存、片外DRAM等不同層次存儲構(gòu)成的多級存儲系統(tǒng)?？沼蛴嬎慵軜?gòu)利用大量PE陣列完成高效的并行計算，通過PE之間的數(shù)據(jù)流動減少處理器與主存之間的通信次數(shù)。
空域計算架構(gòu)
Google TPU (Tensor Processing Unit)是空域計算架構(gòu)的典型代表之一，它包含一個256x256個MAC組成二維矩陣乘法陣列，此外其內(nèi)部還集成了歸一化/池化單元和非線性激活單元等。TPU的二維矩陣乘法陣列按照脈動陣列(Systolic Array)方式互連，PE計算的數(shù)據(jù)來自前一個時鐘周期中相鄰PE的計算結(jié)果，PE在當(dāng)前時鐘周期計算得到的結(jié)果則按同樣的方式流入相鄰的PE在下一個時鐘周期參與計算，由于數(shù)據(jù)在陣列中不同PE之間的流動像血液在血管中脈動傳輸一樣按照規(guī)定的節(jié)奏進(jìn)行傳遞和計算，所以稱之為脈動陣列架構(gòu)。
數(shù)據(jù)復(fù)用
數(shù)據(jù)復(fù)用指在計算過程中對同一數(shù)據(jù)進(jìn)行重復(fù)使用以減少對存儲器訪問次數(shù)。深度學(xué)習(xí)中的數(shù)據(jù)復(fù)用通常包括：輸入數(shù)據(jù)復(fù)用、輸出數(shù)據(jù)復(fù)用和權(quán)重數(shù)據(jù)復(fù)用。例如，在DianNao架構(gòu)中SB和NBin分別用來存儲權(quán)重和數(shù)據(jù)神經(jīng)元數(shù)據(jù)，NFU單元用來進(jìn)行點(diǎn)乘和累加的運(yùn)算，輸出數(shù)據(jù)存儲在NBout中，在計算過程中輸出數(shù)據(jù)會先輸出到緩存器中直到完成所有的部分和的累加后才會被寫回。
存儲優(yōu)化
彌補(bǔ)計算單元和存儲器之間的差距的途徑主要包括：
高帶寬的數(shù)據(jù)通信技術(shù)，使用更先進(jìn)的通信技術(shù)提高數(shù)據(jù)傳輸?shù)男省?/p>
通過增加片上存儲容量讓數(shù)據(jù)更靠近計算單元，減少數(shù)據(jù)在計算單元和內(nèi)存之間的搬運(yùn)成本。
使用高密度片上存儲技術(shù)，例如eDRAM存儲單元由晶體管和電容構(gòu)成，相比于SRAM具有更高的存儲密度。
使用三維集成(3D Integration)存儲器技術(shù)將多塊存儲器在垂直方向上堆疊起來，以獲得更大存儲容量。
直接在存儲器內(nèi)部實(shí)現(xiàn)計算，即存內(nèi)計算，目前受限制造工藝和計算精度等問題，其應(yīng)用范圍還比較有限。
鄭重聲明：文中僅代表作者觀點(diǎn)，不代表本公司觀點(diǎn)，本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請第一時間聯(lián)系我們修改或者刪除，感謝您的關(guān)注！