神經(jīng)網(wǎng)絡(luò)加速器：智能計(jì)算機(jī)的復(fù)興

當(dāng)代智能計(jì)算機(jī)本質(zhì)上是基于神經(jīng)網(wǎng)絡(luò)加速器和通用計(jì)算部件建立起來的計(jì)算機(jī)系統(tǒng)。它的復(fù)興取決于?3?個(gè)條件：①深度神經(jīng)網(wǎng)絡(luò)理論體系的完善；②計(jì)算能力的快速增長和專業(yè)領(lǐng)域數(shù)據(jù)的積累；③通用計(jì)算機(jī)體系結(jié)構(gòu)發(fā)展遇到技術(shù)障礙。

現(xiàn)代神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)是統(tǒng)計(jì)學(xué)。在統(tǒng)計(jì)學(xué)的學(xué)習(xí)方法（Learning Method）基礎(chǔ)上，現(xiàn)代神經(jīng)網(wǎng)絡(luò)發(fā)展為成熟的非線性建模工具。通過統(tǒng)計(jì)學(xué)的標(biāo)準(zhǔn)數(shù)學(xué)方法，可以獲得大量可以用函數(shù)來表達(dá)的局部結(jié)構(gòu)空間，這比依賴領(lǐng)域?qū)＜揖帉?if－then?規(guī)則進(jìn)行邏輯推理更容易，成本更低。

計(jì)算力的增長使得復(fù)雜神經(jīng)網(wǎng)絡(luò)計(jì)算成為可能。實(shí)際上，在?20?世紀(jì)?90?年代已經(jīng)出現(xiàn)了大量的神經(jīng)網(wǎng)絡(luò)加速器的工作。然而，受制于當(dāng)時(shí)有限的計(jì)算能力和匱乏的專業(yè)領(lǐng)域數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用乏善可陳，神經(jīng)網(wǎng)絡(luò)加速器缺少足夠的市場需求，未能獲得發(fā)展。

通用計(jì)算機(jī)體系結(jié)構(gòu)發(fā)展遇到的技術(shù)障礙也為神經(jīng)網(wǎng)絡(luò)加速器的發(fā)展創(chuàng)造了條件。2017?年，圖靈獎獲得者?John L． Hennessy?和?David Patterson?指出通用計(jì)算機(jī)體系結(jié)構(gòu)發(fā)展遇到巨大技術(shù)障礙，如芯片的性能增長比摩爾定律預(yù)測的緩慢；串行程序的并行遇到結(jié)構(gòu)化的限制；芯片散熱受到物理極限因素的制約。在這些條件的綜合約束下，針對特定領(lǐng)域應(yīng)用開展軟件和硬件的協(xié)同設(shè)計(jì)成為國際學(xué)術(shù)界的共識。這種學(xué)術(shù)趨勢可謂返璞歸真，馮?·?諾伊曼結(jié)構(gòu)出現(xiàn)之前的數(shù)字計(jì)算機(jī)就是為每個(gè)程序設(shè)計(jì)一個(gè)計(jì)算機(jī)結(jié)構(gòu)。當(dāng)然從直覺上來說，應(yīng)用越單一，系統(tǒng)效率越高。然而新的趨勢并不是放棄馮?·?諾伊曼結(jié)構(gòu)，而是采用一種異構(gòu)的體系結(jié)構(gòu)來提高效率：保留基于馮?·?諾伊曼結(jié)構(gòu)的通用計(jì)算部件，再增加針對特定領(lǐng)域應(yīng)用開發(fā)的加速器，如神經(jīng)網(wǎng)絡(luò)加速器。

深度學(xué)習(xí)在圖像識別、語音識別等眾多領(lǐng)域取得成功，甚至在單一問題上超過人的平均能力。與此同時(shí)，基于深度學(xué)習(xí)的應(yīng)用領(lǐng)域越來越廣。如藥物篩選、疾病診斷等。有理由相信，在深度學(xué)習(xí)加速器（所謂智能芯片）、智能系統(tǒng)、算法和行業(yè)應(yīng)用基礎(chǔ)上有希望發(fā)展出一個(gè)大規(guī)模的智能計(jì)算產(chǎn)業(yè)。