在媒體層面傳播幾年后,“黃氏定律”這一命名終于被英偉達官方認可。

摩爾定律會失效嗎?

除了Intel一直不肯承認外,想必其他廠商的答案都是“肯定”的。

在這一事實的前提下,他們更多的考慮的問題是:摩爾定律失效后,該如何進一步提高處理器的能效?針對這個問題,一些公司已經找到了自己的答案,比如英偉達。

過去幾年來,黃仁勛一直對外表達“摩爾定律已死、新定律正在形成”,尤其是在GPU方面,更是預測每10年GPU性能增長1000倍,這一預測也被戲稱為“黃氏定律”。

值得注意的是,就在正在舉辦的GTC 2020中國線上大會上,“黃氏定律”正式被官方敲章——官方活動上,英偉達首席科學家兼研究院副總裁Bill Dally親口說出“黃氏定律”。

什么是黃氏定律?

聊黃氏定律之前,我們先了解一下被預測即將失效或“已死”的摩爾定律。

摩爾定律由Intel創始人之一的戈登·摩爾提出,預測集成電路上可以容納的晶體管數目大約每經過24個月就會增加一倍。

之后,Intel前CEO大衛·豪斯更新了另外一版說法,即每18個月芯片性能將提高一倍。

現在,以性能提升一倍為目標,黃仁勛也帶來了自己的答案——1年。沒錯,在黃仁勛認為,基于GPU的一倍性能提升只需要1年的時間,這個速度比摩爾定律至少快1．5倍。

當然,任何一個論點的成立沒有事實依據來支撐必然是脆弱的,為此Bill Dally在線上演講過程中直接以英偉達GPU產品為例,證明芯片產品性能的提升核心并不是制程工藝。

具體來看,Bill Dally帶來了一張圖標,其中展示了從2012年的Kepler,一直到今年5月份的Ampere A100等多款GPU產品的性能增長趨勢圖:

8年時間,單芯片推理性能提高了317倍。“實際上,我們的推理性能每年都要增加一倍以上,部分原因在于Tensor Core的改進、更優化的電路設計和架構,制程技術所發揮的作用不大。”Bill Dally表示。

他解釋稱,自2012年到2020年,英偉達在GPU產品養發上僅使用了3代制程工藝,分別是最開始Kepler架構使用的28nm、中間時期采用的16nm,以及最近Ampere架構使用的7nm。

其中Bill Dally指出,在“317倍”這一成果中,制程工藝整體上發揮的作用不到2成,主要功臣是“架構的改進”。

“在摩爾定律消失之后,我們還有‘黃氏定律’來不斷提高計算性能,因為我們未來需要利用更高的計算性能來完成許多工作。”

眾所周知,摩爾定律的關鍵是基于先進工藝在特定體積內放入更多的晶體管,還是容易理解的。至于黃氏定律的“架構改進”,具體怎么實現?針對這個問題,Bill Dally也在演講中做出了解答。

如何實現黃氏定律?

針對這個問題,Bill Dally在演講中用了三個項目進行解答。

首先是為了實現超高能效加速器的MAGNet工具。英偉達稱,MAGNet生成的AI推理加速器在模擬測試中,能夠達到每瓦 100 tera ops 的推理能力,比目前的商用芯片高出一個數量級。

之所以能夠達到這樣的成效,是因為MAGNet采用了一系列新技術來協調并控制通過設備的信息流,最大限度地減少數據傳輸,畢竟數據傳輸正是當今芯片中最耗能的環節。整個過程中,這一研究原型均以模組化實現,因此能夠靈活擴展。

第二個項目的目標則是為了以更快速的光鏈路取代現有系統內的電器鏈路。Bill Dally表示:“我們可以將連接GPU的NVLink速度提高一倍,也許還會再翻番,但電子信號最終會消耗殆盡。”

目前,由Bill Dally帶領的200人團隊正在與哥倫比亞大學的研究人員密切合作,探討如何利用電信供應商在其核心網絡中所采用的技術,通過一條光纖來傳輸數十路信號。

據了解,這種名為“密集波分復用”的技術, 有望在僅一毫米大小的芯片上實現Tb/s級數據的傳輸,是如今互連密度的十倍以上。

值得注意的是,除了更大的吞吐量,光鏈路也有助于打造更為密集型的系統。針對這一點,Bill Dally舉例展示了一個未來將搭載160多個GPU的NVIDIA DGX系統模型。

想要發揮光鏈路的全部潛能,還需要相應的軟件,這也是Bill Dally分享的第三個項目——全新編程系統原型Legate。

Legate將一種新的編程速記融入了加速軟件庫和高級運行時環境Legion,借助Legate,開發者可在任何規模的系統上運行針對單一GPU編寫的程序——甚至適用于諸如 Selene等搭載數千個GPU的巨型超級計算機。

目前,Legate正在美國國家實驗室接受測試。

黃氏定律存在“天花板”嗎?

一個定律的成立與延續,必然不是一家企業單打獨斗能夠做到的,需要更多上下游的合作伙伴一起來激發新需求和推進創新落地。

這方面,英偉達也正以GPU產品為中心,搭建自己的AI生態圈。以英偉達初創加速計劃為例,在4年時間內,加入該計劃的企業已經超過了7000家,遍布全球92個國家,其中僅在中國,得到英偉達扶持的企業就已經超過了800家。

在Bill Dally的演講中,我們也見到了國內12家代表性AI創企的展示,其中包括自動駕駛明星創企圖森未來、文遠知行、衛星圖像數據分析公司大地量子等等。

以圖森未來為例,早在此前的一次采訪中,他們就曾對外表示,采用英偉達AI芯片的系統,效能每年都增加一倍。站在落地商用的角度,從企業所表述的情況來看,“黃氏定律”顯然正發揮作用、成為現實。

當然,參考當前摩爾定律正在失效的情況,人們也不可避免的開始擔憂,黃氏定律也會有失效的一天嗎?

不同于制程工藝的肉眼可見,架構的改進相對來講是較為虛化的。針對這個問題,曾有人給出了一個“10年內”的可能答案。對于這個答案的準確與否,我們也不過多評判,不管“天花板”存在與否,我們目前可以確定的是,從過去8年的表現來判斷,在未來一段十日內,黃氏定律仍然會繼續發揮它“性能一年翻一倍”的優勢,這一定律帶來的最終成果還是很值得期待的。