┊文章閱讀:次
剛跨過安兔兔跑分的坎,又跌入安兔兔AI評(píng)測(cè)的坑。評(píng)價(jià)君這么形容麒麟980其實(shí)并沒有什么不恰當(dāng)?shù)牡胤健2痪们鞍餐猛霉俜桨l(fā)布了一款A(yù)I測(cè)試工具,然而跑分之后有些小伙伴不淡定了,這分?jǐn)?shù)究竟是咋跑出來的?不怪各位有這樣的疑惑,今天評(píng)價(jià)君就稍微解讀一下AI測(cè)試背后的一些東西,看完也許就知道該如何理解跑分。
廢話不說,先來看看被質(zhì)疑的成績(jī)是怎么回事。從評(píng)價(jià)君截取的三張圖可以看到,小米Note3、紅米Note7兩款手機(jī)獲得了超過72000分的成績(jī),而榮耀Magic2的成績(jī)是62964分。前面兩款使用的是驍龍660芯片,因此從這三張圖能輕易得出他們勝過麒麟980的結(jié)論,焦點(diǎn)自然也就在這了。
評(píng)價(jià)君順便挖個(gè)坑:各位說驍龍660和驍龍660 AIE是同一款芯片么?這個(gè)問題在本文中不討論。
對(duì)于這種現(xiàn)象,安兔兔官方的人自然也是強(qiáng)勢(shì)回?fù)簟4蟾趴偨Y(jié)起來就是三點(diǎn)。第一這個(gè)成績(jī)和測(cè)試標(biāo)準(zhǔn)被海思認(rèn)可。第二,AI不代表整體性能。第三,NPU沒底層支持所以成績(jī)差。評(píng)價(jià)君對(duì)這個(gè)回應(yīng)不發(fā)表評(píng)論,只順勢(shì)說一下不怎么清凈甚至暗流涌動(dòng)的AI競(jìng)爭(zhēng)。
在很早之前,評(píng)價(jià)君就多次在介紹AI的文章中引用了另一款軟件AI Benchmark的榜單。這是一個(gè)相對(duì)權(quán)威的榜單,測(cè)試成績(jī)也都是公開的,各位可以到網(wǎng)上查詢。看成績(jī)之余,不知道有沒有人注意到很多成績(jī)的右上角都有備注信息?這個(gè)備注往往被忽略,但其實(shí)相當(dāng)關(guān)鍵。
評(píng)價(jià)君隨便解釋幾個(gè)對(duì)本文可能有用的吧:
1——代表支持浮點(diǎn)AI模型,也就是依賴FP16運(yùn)算能力,典型的就是華為芯片內(nèi)置的NPU。
2——代表支持量化AI模型,依賴的是INT8運(yùn)算能力,典型代表就是高通的Hexagon DSP。
3——代表對(duì)前面兩者通吃。多說一句,即便通吃,實(shí)際使用中也只能二選一。
6——代表使用了Android的NNAPI驅(qū)動(dòng),AI性能會(huì)有30%到50%提升,但系統(tǒng)最低要求是Android 8.1。還敢說升級(jí)系統(tǒng)沒用?
7——代表使用華為EMUI8.1系統(tǒng),該系統(tǒng)的BUG會(huì)導(dǎo)致長(zhǎng)時(shí)間待機(jī)之后AI性能下降30%,重啟之后恢復(fù)。(╯‵□′)╯︵┴─┴
所以先解釋了三星芯片為什么得分低:Exynos 9810不支持任何AI運(yùn)算模型,全靠CPU運(yùn)算,這一點(diǎn)AI Benchmark和安兔兔結(jié)論一致。那么接下來問題來了,從上面可以知道AI運(yùn)算模型有INT8和FP16兩種,在方案上就是高通DSP和華為NPU競(jìng)爭(zhēng)。安兔兔員工說NPU無法被調(diào)用所以測(cè)不出成績(jī),AI也無法發(fā)揮作用。那真就不能讓兩大方案一比高低了嗎?
答案當(dāng)然不是。同樣作為測(cè)試軟件的AI Benchmark非常清楚的給出了麒麟980基于FP16模型的AI成績(jī),并不存在無法調(diào)用NPU的問題。同時(shí)也能看到,支持NPU和不支持NPU成績(jī)差距相當(dāng)明顯,測(cè)試中運(yùn)算速度會(huì)被加快3倍左右。所以同樣測(cè)試AI性能,安兔兔做不到的項(xiàng)目,AI Benchmark做到了,不愧是愛因斯坦母校的作品。
其實(shí)從網(wǎng)友分享的成績(jī)來看,安兔兔對(duì)INT8評(píng)分的測(cè)試還是相當(dāng)精準(zhǔn)的,測(cè)試做的相當(dāng)有技術(shù)水平。比如下圖中的vivo X23完全可以把前面的驍龍660手機(jī)摁在地上摩擦,實(shí)際上它可能只是一個(gè)驍龍670芯片的機(jī)型。
安兔兔AI測(cè)試這成績(jī)很好的解釋了兩者的硬件差異——雖然其他方面比較相近,驍龍670使用了驍龍845同款的Hexagon 685,AI性能向旗艦看齊。同理,也可以看到小米6的AI成績(jī)遠(yuǎn)不如小米8,也反映了小米6和小米8使用不同DSP產(chǎn)生的性能差距。所以至少在高通系芯片上,安兔兔AI測(cè)試相當(dāng)有參考價(jià)值。
AI運(yùn)算到底是基于INT8還是基于FP16,不光是高通和華為之間的矛盾,也是人工智能模型繼續(xù)向前推進(jìn)和發(fā)展必須面對(duì)的問題,兩種方案都有各自的支持者投入大量研發(fā)力量促進(jìn)其進(jìn)化,以確保獲得競(jìng)爭(zhēng)中的優(yōu)勢(shì)。以目前情況看,直接競(jìng)爭(zhēng)也就不可避免了,測(cè)試軟件則在其中起到了導(dǎo)向作用。
所以不客氣的說,任何評(píng)測(cè)軟件都會(huì)有自己對(duì)發(fā)展趨勢(shì)的理解和預(yù)判。盡管可能讓用戶覺得軟件有傾向性,但只有這樣才能發(fā)揮出自己最大的價(jià)值,這一點(diǎn)放之四海皆準(zhǔn)。對(duì)于用戶來說,也就意味著不能只看一個(gè)測(cè)試軟件的結(jié)果,要綜合評(píng)估。其實(shí)跑分除了驗(yàn)證某些猜想之外,跑分對(duì)于絕大多數(shù)用戶而言意義也并不大,看看就好,不要太認(rèn)真。
Copyright @ 2013-2018 中國(guó)福建網(wǎng) 版權(quán)所有
聯(lián)系我們
免責(zé)聲明:本站為非營(yíng)利性網(wǎng)站,部分圖片或文章來源于互聯(lián)網(wǎng)如果無意中對(duì)您的權(quán)益構(gòu)成了侵犯,我們深表歉意,請(qǐng)您聯(lián)系,我們立即刪除。