產業的(de)需(xu)求(qiu)決定(ding)了要完成的(de)人(ren)工智能(neng)任(ren)務越來(lai)越復(fu)雜(za)，輕量化人(ren)工智能(neng)必須通過加速運算效(xiao)(xiao)率(lv)、提高計算密(mi)度才能(neng)實(shi)現(xian)極致的(de)效(xiao)(xiao)率(lv)。

　　——冷(leng)聰 中國科學院自動化(hua)研(yan)究(jiu)(jiu)所(suo)副研(yan)究(jiu)(jiu)員

　　◎本報記者 陸成寬

　　人(ren)(ren)(ren)工(gong)智(zhi)能(neng)(neng)算(suan)(suan)法的(de)(de)(de)(de)復雜度急(ji)劇攀(pan)升，神經(jing)網絡計(ji)算(suan)(suan)的(de)(de)(de)(de)能(neng)(neng)耗代(dai)價(jia)越(yue)(yue)來(lai)越(yue)(yue)高，數據(ju)洪水式(shi)地涌積(ji)堰塞……這些(xie)年，人(ren)(ren)(ren)工(gong)智(zhi)能(neng)(neng)的(de)(de)(de)(de)發展遇(yu)到了越(yue)(yue)來(lai)越(yue)(yue)多(duo)的(de)(de)(de)(de)瓶頸。如(ru)何(he)將人(ren)(ren)(ren)工(gong)智(zhi)能(neng)(neng)模型及其(qi)計(ji)算(suan)(suan)載體前(qian)端(duan)化(hua)(hua)、輕(qing)(qing)量(liang)化(hua)(hua)成(cheng)為亟待(dai)解決(jue)的(de)(de)(de)(de)問題。最(zui)新興起的(de)(de)(de)(de)輕(qing)(qing)量(liang)化(hua)(hua)人(ren)(ren)(ren)工(gong)智(zhi)能(neng)(neng)被寄予厚(hou)望，以(yi)“輕(qing)(qing)量(liang)化(hua)(hua)”為賽(sai)點的(de)(de)(de)(de)人(ren)(ren)(ren)工(gong)智(zhi)能(neng)(neng)競賽(sai)下半場已經(jing)來(lai)臨。為此，4月27日，科(ke)技日報記者采訪(fang)了中國(guo)科(ke)學院自動化(hua)(hua)研究所的(de)(de)(de)(de)相(xiang)關專家。

　　輕量化成為人工智(zhi)能下半場(chang)賽點(dian)

　　人工(gong)智能技術在行業應用中，大多依賴海(hai)量(liang)的(de)(de)訓(xun)練數據和(he)大規模服(fu)務器的(de)(de)算力支持。

　　然而，近年(nian)來(lai)(lai)，隨著信息(xi)技術領域的摩爾定律逐步放(fang)緩(huan)，硬件(jian)的發(fa)展越(yue)來(lai)(lai)越(yue)難以(yi)滿足當前人工(gong)智(zhi)能(neng)模型動輒萬(wan)億級規模的存儲(chu)和算(suan)力需求(qiu)，數據堰塞、存儲(chu)暴漲(zhang)、隱私泄(xie)露、能(neng)耗高企等問(wen)題(ti)隨之(zhi)而來(lai)(lai)。

　　“當前，對(dui)于人工智(zhi)能(neng)設備和應(ying)用的(de)快速響應(ying)、隱私保(bao)護以及節能(neng)減排的(de)需(xu)求越(yue)發凸顯，輕量化人工智(zhi)能(neng)應(ying)運而生，并被寄予厚望。2020年，《麻(ma)省理(li)工科(ke)技評論》將輕量化人工智(zhi)能(neng)列為‘全球十大突破性技術’。”中國(guo)科(ke)學(xue)院自動化研究(jiu)所(suo)研究(jiu)員程(cheng)健(jian)說(shuo)。

　　所謂輕量(liang)化人(ren)工智能，是(shi)指以一系列輕量(liang)化技術為(wei)驅動(dong)提高芯片、平臺和算(suan)法的(de)(de)效率，在(zai)更緊密的(de)(de)物理空間上實現低(di)功耗的(de)(de)人(ren)工智能訓(xun)練和應用部署，不需要依賴與云端的(de)(de)交互就能實現智能化操作(zuo)的(de)(de)人(ren)工智能。

　　輕(qing)量(liang)化(hua)人工智能被評入“全球十(shi)大(da)突破性技術”，《麻省理工科技評論》給出的(de)評選(xuan)理由是，輕(qing)量(liang)化(hua)智能使現(xian)有的(de)服務，比(bi)如語音助手(shou)、手(shou)機拍照等，變得(de)更(geng)(geng)(geng)好(hao)更(geng)(geng)(geng)快，不(bu)必每(mei)次都需要(yao)連接云端才能運(yun)行深度學習模(mo)型；此外，輕(qing)量(liang)化(hua)人工智能也將使新的(de)應用(yong)(yong)成(cheng)為可(ke)能，比(bi)如基于移動端的(de)醫學檢測分析、對反應時間要(yao)求更(geng)(geng)(geng)快的(de)自(zi)動駕駛汽車(che)；此外，本(ben)地化(hua)的(de)人工智能更(geng)(geng)(geng)利于隱私(si)保護，用(yong)(yong)戶的(de)數據不(bu)再(zai)需要(yao)離開設備就能實現(xian)服務功能的(de)進化(hua)。

　　“更(geng)重要的(de)是，輕量(liang)化人(ren)工(gong)智(zhi)能(neng)將人(ren)工(gong)智(zhi)能(neng)推向更(geng)主流，它大(da)大(da)降低了人(ren)工(gong)智(zhi)能(neng)系統的(de)部署難(nan)度和成(cheng)本，把人(ren)工(gong)智(zhi)能(neng)從一場(chang)高門檻的(de)科(ke)技巨頭競賽變成(cheng)更(geng)容易普惠民生的(de)智(zhi)能(neng)生態。”程健說，在人(ren)工(gong)智(zhi)能(neng)領域(yu)的(de)角(jiao)逐(zhu)中(zhong)，以輕量(liang)化為賽點的(de)下半場(chang)已經來臨(lin)。

　　極(ji)致效(xiao)率、極(ji)低能耗(hao)是(shi)最終追求

　　在(zai)表現上，輕量化人工智能(neng)是在(zai)做減法，降低能(neng)耗、降低對硬件平(ping)臺性能(neng)指標的要求、降低與云端的通訊需求等。

　　然而(er)，“實質上，輕(qing)量化的內(nei)核卻是在做加法。”中國科(ke)學(xue)院自動(dong)化研究(jiu)所副研究(jiu)員冷聰說，產業的需求決定了要完(wan)成的人(ren)工(gong)智(zhi)能(neng)任務越(yue)來(lai)越(yue)復雜，輕(qing)量化人(ren)工(gong)智(zhi)能(neng)必(bi)須(xu)通(tong)過(guo)提高運(yun)算速(su)度、計算密度才能(neng)實現極致(zhi)的效率。

　　在(zai)程健看(kan)來(lai)，在(zai)精度(du)接近(jin)無損的(de)前提(ti)下，將(jiang)人工(gong)智能(neng)模(mo)型及其(qi)計算(suan)載體輕(qing)量化，是一個(ge)極具挑戰性的(de)任務。

　　解(jie)決這一問(wen)題，需要對神經網絡進行輕量化設計(ji)、計(ji)算加速(su)以及設計(ji)新的(de)計(ji)算架(jia)構以實現模型的(de)硬件(jian)化，這需要從軟件(jian)和(he)硬件(jian)兩方面來著手。

　　在軟件上，進行模(mo)型和算(suan)法創新(xin)，通過輕量化(hua)模(mo)型設(she)(she)(she)計、矩陣分解、稀疏表(biao)示、量化(hua)計算(suan)來實現(xian)模(mo)型的微型化(hua)和計算(suan)加速；而在硬(ying)件上，則要通過流水線設(she)(she)(she)計、存儲模(mo)式(shi)設(she)(she)(she)計等手段進行硬(ying)件架(jia)構的創新(xin)，通過軟硬(ying)協同(tong)設(she)(she)(she)計和優化(hua)實現(xian)人工智能的輕量化(hua)。

　　“雖然執(zhi)行神(shen)經(jing)網絡計算的(de)是硬件(jian)(jian)，但神(shen)經(jing)網絡結構(gou)和人工智(zhi)能平臺決定(ding)了計算量(liang)的(de)大小和運算方式(shi)。”冷聰坦(tan)言，所以(yi)極致的(de)輕(qing)量(liang)化必(bi)須是軟件(jian)(jian)和硬件(jian)(jian)的(de)協同輕(qing)量(liang)化——基于復(fu)雜的(de)人工智(zhi)能應用場景，將芯片(pian)、平臺和算法充分(fen)結合以(yi)聯合加速。

　　作為人工(gong)智(zhi)能(neng)(neng)的(de)硬件載(zai)體(ti)，人工(gong)智(zhi)能(neng)(neng)芯片必須達到更(geng)高(gao)(gao)的(de)性能(neng)(neng)、更(geng)高(gao)(gao)的(de)效(xiao)率、更(geng)低的(de)功耗和更(geng)小的(de)體(ti)積。這(zhe)樣才能(neng)(neng)有(you)足(zu)夠平價高(gao)(gao)效(xiao)的(de)計算平臺滿(man)足(zu)產業需(xu)求，承(cheng)載(zai)復雜的(de)人工(gong)智(zhi)能(neng)(neng)任務，并且使(shi)推(tui)理(li)和運算從云端遷移到終端。

　　同(tong)時，輕量化(hua)的(de)(de)人(ren)工(gong)智能(neng)平臺要(yao)(yao)以更低的(de)(de)功耗來訓練和運(yun)行人(ren)工(gong)智能(neng)算法，最大化(hua)的(de)(de)發掘硬件(jian)的(de)(de)能(neng)力。更重要(yao)(yao)的(de)(de)是，應(ying)用輕量化(hua)技術的(de)(de)神經(jing)網絡模型要(yao)(yao)小規模、少運(yun)算量并保(bao)持良好的(de)(de)精度。

　　未(wei)來輕量化(hua)人(ren)工智能將賦能萬物

　　程健介紹，中(zhong)國科學院自動化研究所是輕(qing)量化人工智能的(de)先(xian)行(xing)者，很(hen)早(zao)就開始了軟硬協同輕(qing)量化的(de)技術研究，并走在國際前列(lie)。

　　早在(zai)2016年，卷積(ji)神經(jing)網(wang)絡(luo)(luo)大規(gui)模邁向應用之(zhi)(zhi)初，中國科學院(yuan)自(zi)動(dong)化(hua)研究(jiu)所就(jiu)在(zai)國際人工智(zhi)能頂級期(qi)刊發(fa)表了多篇(pian)神經(jing)網(wang)絡(luo)(luo)模型輕(qing)量化(hua)領(ling)域(yu)的(de)重要(yao)論文，成(cheng)為國際上最(zui)早開始人工智(zhi)能輕(qing)量化(hua)研究(jiu)的(de)機構之(zhi)(zhi)一，相(xiang)關成(cheng)果引起了國內外諸(zhu)多專家的(de)廣泛關注。

　　“我們設計(ji)開發的輕量(liang)(liang)化人工智能平臺QEngine及輕量(liang)(liang)化算法已經(jing)在數十萬(wan)終端上部(bu)署。2019年，在國際(ji)神(shen)經(jing)信息(xi)處理系(xi)統大會(hui)的微(wei)型網絡挑戰競(jing)賽(sai)中(zhong)，我們與ARM、IBM、高通、Xilinx等(deng)國際(ji)一流芯(xin)片公司同(tong)場競(jing)技，獲得(de)了輕量(liang)(liang)化神(shen)經(jing)網絡架構圖(tu)像類(lei)的雙(shuang)冠軍。”程健表(biao)示。

　　2020年(nian)，中(zhong)國(guo)科(ke)學(xue)院自(zi)動化研究所自(zi)主研發的(de)(de)全球首款極(ji)低比特量化神經處理芯片(QNPU)成功(gong)流片，繞開(kai)了芯片計(ji)算領域備受關注(zhu)的(de)(de)“內存(cun)墻”難(nan)題，在芯片成本、功(gong)耗、計(ji)算結構、邊緣計(ji)算等方面實現革命性的(de)(de)變革。

　　“該(gai)芯(xin)片(pian)的面世，也標志著自動化研究所成為了全(quan)球為數(shu)不多的擁有‘人(ren)(ren)工(gong)智能芯(xin)片(pian)—平臺(tai)—算法(fa)’全(quan)棧輕量化人(ren)(ren)工(gong)智能技術的機構之一(yi)。”冷聰說(shuo)。

　　未來(lai)，以人(ren)工智能(neng)(neng)(neng)驅動(dong)的小型化(hua)設備會越(yue)來(lai)越(yue)多出(chu)現(xian)在(zai)我(wo)們身邊(bian)。由人(ren)工智能(neng)(neng)(neng)芯(xin)片(pian)、平臺和算法組成的輕量化(hua)人(ren)工智能(neng)(neng)(neng)終端將(jiang)在(zai)越(yue)來(lai)越(yue)多的場景中應用(yong)。

　　“比(bi)如，在電(dian)力(li)(li)行業，我(wo)國的輸電(dian)線(xian)路覆蓋(gai)廣，野外自然環境復(fu)雜，檢(jian)(jian)修維護作業危險(xian)系數高、難度大(da)，我(wo)們設計的自主巡(xun)檢(jian)(jian)無(wu)人機(ji)、缺(que)陷識別(bie)分析便攜終端、通道可視化智能感知攝像頭具備多種智能識別(bie)、檢(jian)(jian)測(ce)和分析功能，能夠保(bao)障(zhang)輸配電(dian)線(xian)路的安全(quan)和電(dian)力(li)(li)系統穩定。”程健舉例說。

　　同時，在(zai)消費電(dian)子(zi)行業(ye)，暗光增(zeng)強(qiang)、超分辨率等自(zi)動(dong)化(hua)(hua)所設計(ji)的輕量化(hua)(hua)算(suan)法及輕量化(hua)(hua)神經(jing)網絡計(ji)算(suan)架構，也(ye)為手機終端、安防終端提供了影像增(zeng)強(qiang)效果。

　　程(cheng)健(jian)表示，輕量化人(ren)工智能未來將賦能萬物，讓每個設備都具有(you)環(huan)境感知(zhi)、人(ren)機交(jiao)互、決策控制的(de)能力。