Cerebras Systems推出最大的半導(dǎo)體芯片 擁有1.2萬億個晶體管

人工智能公司Cerebras Systems正在推出有史以來最大的半導(dǎo)體芯片“晶圓級引擎”(WSE，Wafer Scale Engine)。這款芯片每邊寬約22厘米(約8.5英寸)，比一臺iPad還要大。

(圖源：Cerebras Systems)

Cerebras Wafer Scale Engine擁有1.2萬億個晶體管。這是什么概念?1971年，英特爾首款4004處理器擁有2300個晶體管，最近的AMD處理器擁有320億個晶體管。如今Cerebras Systems則成為打破紀(jì)錄的那顆新星!

WSE還包含3,000倍的高速片上存儲器，并且具有10,000倍的存儲器帶寬。

其芯片尺寸是英偉達(dá)“V100”芯片的57倍，擁有的存儲器電路達(dá)到18千兆字節(jié)，是“V100”的3000倍。

這塊芯片面積達(dá)到了46,225平方毫米，而英偉達(dá)旗艦GPU“Titan V”的核心面積也僅有815平方毫米。

這款里程碑式的芯片來自Andrew Feldman領(lǐng)導(dǎo)的團(tuán)隊(duì)，后者曾創(chuàng)建微型服務(wù)器公司SeaMicro，并以3.34億美元的價格出售給AMD后，又到AMD做了兩年半的副總裁。該公司位于美國加州，擁有194名員工。自成立以來，Cerebras Systems已經(jīng)悄然完成三輪融資，籌集1.12億美元，估值飆升至8.6億美元，其投資者包括了Benchmark，以及AMD前CTO Fred Weber、OpenAI科學(xué)家Ilya Sutskever等業(yè)界大牛。

雖然一直行事低調(diào)，Cerebras Systems的偉大項(xiàng)目終于還是浮出了水面：他們想將所有數(shù)據(jù)都保存在一個巨大的芯片上，以便加快系統(tǒng)運(yùn)行速度，節(jié)省數(shù)據(jù)在芯片之間傳遞所造成的不必要的消耗。Cerebras表示，WSE可以把處理復(fù)雜數(shù)據(jù)所需的時間從幾個月縮短到幾分鐘。總結(jié)來看，WSE芯片具有三大特征：超強(qiáng)AI算力、高效存儲、高帶寬通信。

芯片尺寸在AI中非常重要，因?yàn)楦竺娣e的芯片可以更快地處理信息，在更短的時間內(nèi)得出答案。減少洞察時間或“培訓(xùn)時間”，使研究人員能夠測試更多想法，使用更多數(shù)據(jù)并解決新問題。谷歌、Facebook、OpenAI、騰訊、百度和許多其他頭部企業(yè)和參與者認(rèn)為，當(dāng)下人工智能的基本限制就在于——培訓(xùn)模型需要很長時間。因此可以說，縮短培訓(xùn)時間，就消除了整個行業(yè)進(jìn)步的一大核心瓶頸。

當(dāng)然，芯片制造商通常不會制造如此大的芯片。在單個晶片上，在制造過程中通常會發(fā)生一些瑕疵。如果一種瑕疵會導(dǎo)致芯片發(fā)生故障，那么晶圓上的一些瑕疵就可能導(dǎo)致一些芯片報(bào)廢。實(shí)際制造產(chǎn)量僅占實(shí)際工作芯片的百分比。如果晶圓上只有一個芯片，它有瑕疵的幾率是100%，而瑕疵會使芯片報(bào)廢。但Cerebras的芯片是冗余式的設(shè)計(jì)，一種瑕疵不會讓整個芯片陷入“癱瘓”。如果有的核心出了問題，內(nèi)部鏈接可以跳過壞掉的核心。這種方法大大降低了芯片的制造成本。

WSE超級芯片專為AI設(shè)計(jì)而設(shè)計(jì)，包含了基礎(chǔ)創(chuàng)新，通過解決過去限制芯片尺寸數(shù)十年的技術(shù)挑戰(zhàn)——例如交叉光罩(cross-reticle)連接、成品率、功率輸送和封裝，從而推動了最先進(jìn)技術(shù)的發(fā)展。

“每個架構(gòu)決策都是為了優(yōu)化AI工作的性能。結(jié)果是，Cerebras WSE根據(jù)工作量提供了數(shù)百或數(shù)千倍的現(xiàn)有解決方案的性能，只需很小的功耗和空間。”Cerebras首席執(zhí)行官Feldman表示，“WSE訓(xùn)練AI系統(tǒng)的速度可以比現(xiàn)有硬件快100-1000倍。”

通過加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的所有元素，實(shí)現(xiàn)了這些性能提升。神經(jīng)網(wǎng)絡(luò)是多級計(jì)算反饋回路。輸入在循環(huán)中移動越快，循環(huán)學(xué)習(xí)的速度——或“訓(xùn)練”——就會越快。在循環(huán)更快地實(shí)現(xiàn)移動輸入的方法，關(guān)鍵在于加速循環(huán)內(nèi)的計(jì)算和通信。

Linley Group首席分析師Linley Gwennap在一份聲明中說：“Cerebras憑借其晶圓級技術(shù)實(shí)現(xiàn)了巨大的飛躍，在單片硅上實(shí)現(xiàn)了比任何人想象的更多的處理性能。”“為了實(shí)現(xiàn)這一壯舉，該公司已經(jīng)解決了一系列艱辛的工程挑戰(zhàn)，這些挑戰(zhàn)幾十年來阻礙了該行業(yè)，包括實(shí)施高速芯片到芯片通信，解決制造缺陷，封裝如此大的芯片，以及提供高密度電源和冷卻。通過將各種學(xué)科的頂級工程師聚集在一起，Cerebras在短短幾年內(nèi)創(chuàng)造了新技術(shù)并交付了一個產(chǎn)品，這是一項(xiàng)令人印象深刻的成就。“

芯片面積比最大的圖形處理單元多56.7倍，Cerebras WSE提供更多內(nèi)核進(jìn)行計(jì)算，更多內(nèi)存靠近內(nèi)核，因此內(nèi)核可以高效運(yùn)行。由于這些大量的內(nèi)核和內(nèi)存位于單個芯片上，因此所有通信都保留在芯片上，這意味著它的低延遲通信帶寬是巨大的，在此基礎(chǔ)上內(nèi)核組可以以最高效率進(jìn)行協(xié)作。

WSE面積為46,225平方毫米，包含400,000個AI優(yōu)化、無緩存、無開銷的計(jì)算內(nèi)核，和18千兆字節(jié)(Gigabytes)的本地、分布式、超高速SRAM內(nèi)存，作為內(nèi)存層次結(jié)構(gòu)的唯一級別。內(nèi)存帶寬為9 PByte/S。這些內(nèi)核通過細(xì)粒度，全硬件，片上網(wǎng)狀連接通信網(wǎng)絡(luò)連接在一起，可提供每秒100 petabits的總帶寬。更多內(nèi)核、更多本地內(nèi)存和低延遲高帶寬結(jié)構(gòu)，共同構(gòu)成了加速AI工作的最佳架構(gòu)。

(圖源：Cerebras Systems)

“雖然AI在一般意義上使用，但沒有兩個數(shù)據(jù)集或AI任務(wù)是相同的。新的人工智能工作負(fù)載不斷涌現(xiàn)，數(shù)據(jù)集繼續(xù)增長，“Tirias Research首席分析師兼創(chuàng)始人Jim McGregor在一份聲明中表示。“隨著人工智能的發(fā)展，硅和平臺解決方案也在不斷發(fā)展。Cerebras WSE是半導(dǎo)體和平臺設(shè)計(jì)領(lǐng)域令人驚嘆的工程成就，可在單晶圓級解決方案中提供超級計(jì)算機(jī)的計(jì)算、高性能存儲器和帶寬。

這些公司表示，如果沒有多年與全球最大的半導(dǎo)體代工廠或合約制造商臺積電及先進(jìn)工藝技術(shù)的領(lǐng)導(dǎo)者密切合作，那么Cerebras WSE的創(chuàng)紀(jì)錄成就是不可能實(shí)現(xiàn)的。WSE由臺積電基于其先進(jìn)的16nm工藝技術(shù)制造。

“我們非常高興與Cerebras Systems合作制造Cerebras Wafer Scale Engine，這是晶圓級開發(fā)的行業(yè)里程碑，”臺積電運(yùn)營部門高級副總裁J.K. Wang表示：“臺積電的卓越制造和對質(zhì)量的嚴(yán)格關(guān)注使我們能夠滿足嚴(yán)格的缺陷密度要求，以支持Cerebras創(chuàng)新設(shè)計(jì)前所未有的芯片尺寸。”

核心，更多的核心

WSE包含400,000個AI優(yōu)化的計(jì)算核心。被稱為稀疏線性代數(shù)核心(Sparse Linear Algebra Cores)的SLAC，計(jì)算核心靈活，可編程，并針對支持所有神經(jīng)網(wǎng)絡(luò)計(jì)算的稀疏線性代數(shù)進(jìn)行了優(yōu)化。SLAC的可編程性，確保內(nèi)核可以在不斷變化的機(jī)器學(xué)習(xí)領(lǐng)域中運(yùn)行所有神經(jīng)網(wǎng)絡(luò)算法。

由于SLAC針對神經(jīng)網(wǎng)絡(luò)計(jì)算基元(compute primitives)進(jìn)行了優(yōu)化，因此它們可實(shí)現(xiàn)業(yè)界最優(yōu)的利用率——通常是圖形處理單元的3-4倍。此外，WSE核心包括Cerebras發(fā)明的稀疏性收集技術(shù)，以加速稀疏工作負(fù)載(包含0的工作負(fù)載)的計(jì)算性能，如深度學(xué)習(xí)。

Zeros在深度學(xué)習(xí)計(jì)算中很普遍。通常，要相乘的向量和矩陣中的大多數(shù)元素都是0。然而，搭載0相當(dāng)于是在浪費(fèi)硅、功率和時間，因?yàn)闆]有新的信息。

由于圖形處理單元和張量處理單元是密集的執(zhí)行引擎，它們被設(shè)計(jì)為永遠(yuǎn)不會遇到0的引擎，即使遇到也會算上每個元素。當(dāng)50-98%的數(shù)據(jù)為零時，如深度學(xué)習(xí)中的情況一樣，大多數(shù)乘法運(yùn)算都被浪費(fèi)了。想象一下，當(dāng)你的大部分步驟沒有讓你走向終點(diǎn)時，試圖快速前進(jìn)完全就是在浪費(fèi)精力。而Cerebras的稀疏線性代數(shù)核不會乘以零，所有零數(shù)據(jù)都會被過濾掉，并且可以在硬件中跳過，從而可以在其位置上完成有用的工作。

內(nèi)存

內(nèi)存是每個計(jì)算機(jī)體系結(jié)構(gòu)的關(guān)鍵組件。更接近計(jì)算的內(nèi)存轉(zhuǎn)換為更快的計(jì)算，更低的延遲和更好的數(shù)據(jù)移動功效。高性能深度學(xué)習(xí)需要大量計(jì)算，并且頻繁訪問數(shù)據(jù)。這需要計(jì)算核心和存儲器之間的緊密接近，這在圖形處理單元中并非如此，其中絕大多數(shù)存儲器是緩慢且遠(yuǎn)離的(片外)。

而WSE包含更多內(nèi)核，具有比迄今為止任何芯片更多的本地內(nèi)存，并且在12小時內(nèi)可以通過其核心訪問18 GB的片上內(nèi)存。WSE上的核心本地內(nèi)存集合可提供每秒9 PB的內(nèi)存帶寬——比領(lǐng)先的圖形處理單元多3,000倍的片上內(nèi)存和10,000倍的內(nèi)存帶寬。

通信結(jié)構(gòu)

Swarm通信結(jié)構(gòu)是WSE上使用的處理器間通信結(jié)構(gòu)，它以傳統(tǒng)通信技術(shù)的功耗的一小部分實(shí)現(xiàn)突破性帶寬和低延遲。Swarm提供低延遲、高帶寬的2D網(wǎng)格，可連接WSE上的所有400,000個核心，每秒帶寬為100 petabits。Swarm支持單字活動消息，可以通過接收內(nèi)核來處理，而無需任何軟件使用。

Cerebras WSE的總帶寬為每秒100 petabits。不需要諸如TCP/IP和MPI之類的通信軟件，因此避免了它們的性能損失。該架構(gòu)中的通信能量成本遠(yuǎn)低于每比特1焦耳，這比圖形處理單元低近兩個數(shù)量級。通過結(jié)合大量帶寬和極低的延遲，Swarm通信結(jié)構(gòu)使Cerebras WSE能夠比任何當(dāng)前可用的解決方案更快地學(xué)習(xí)。

目前，Cerebras如何讓40萬個內(nèi)核高效協(xié)同仍有待觀察，不過從結(jié)果來看，Cerebras做了相當(dāng)振奮人心的嘗試，未來潛力讓人期待!

關(guān)鍵詞： Cerebras Systems 半導(dǎo)體芯片

責(zé)任編輯：Rex_08