視覺(jué)與AI深度融合，開(kāi)啟智慧視覺(jué)新未來(lái)

    從智慧城市、智能汽車(chē)等行業(yè)的應(yīng)用來(lái)看，視覺(jué)技術(shù)面臨的主要挑戰(zhàn)來(lái)自全天候圖像捕獲、價(jià)值數(shù)據(jù)獲取等方面。雖然目前整個(gè)產(chǎn)業(yè)已經(jīng)進(jìn)入4K/8K超高清時(shí)代，但是“看得清”仍然是產(chǎn)業(yè)升級(jí)動(dòng)力之一，尤其是低照度、逆光等場(chǎng)景，仍然是業(yè)界公認(rèn)的難題，普遍存在視頻畫(huà)質(zhì)差、目標(biāo)不清晰、進(jìn)而影響后續(xù)AI識(shí)別率等難題。

    海思多年來(lái)深耕ISP圖像處理技術(shù)，通過(guò)不斷超越的技術(shù)手段，即使在極端的低照度和逆光等場(chǎng)景，也能提供令人驚艷的畫(huà)質(zhì)。

    在暗光場(chǎng)景，海思綜合利用8級(jí)3D降噪和多光譜融合多種技術(shù)提供了業(yè)界最優(yōu)秀的暗光成像品質(zhì)。其中8級(jí)3D降噪技術(shù)利用8級(jí)濾波器進(jìn)行降噪處理，它可以在空域?yàn)V波過(guò)程中同時(shí)實(shí)現(xiàn)圖像去噪和增強(qiáng)，以及在時(shí)域?yàn)V波過(guò)程中混合兩種不同的時(shí)間模式。8級(jí)3D降噪技術(shù)還包含兩個(gè)用于細(xì)節(jié)增強(qiáng)的IE模塊和一個(gè)銳化模塊，可以在實(shí)現(xiàn)更強(qiáng)的去噪的同時(shí)，保留并增強(qiáng)更多的圖像細(xì)節(jié)。而多光譜融合則通過(guò)紅外補(bǔ)光，在ISP將可見(jiàn)光、850nm、940nm等常見(jiàn)光譜融合，在不增加光污染的同時(shí)，最終使圖像效果達(dá)到暗光全彩，細(xì)節(jié)紋理豐富，過(guò)曝區(qū)和非過(guò)曝區(qū)準(zhǔn)確處理。

    例如在光線不足的地下停車(chē)場(chǎng)，海思的8級(jí)3D降噪與多光譜融合技術(shù)結(jié)合能夠讓圖像達(dá)到暗光全彩的效果，細(xì)節(jié)紋理更加豐富，噪聲大幅降低，能夠在暗光下精準(zhǔn)記錄信息，大大減少視覺(jué)死角。

    在逆光等高動(dòng)態(tài)范圍場(chǎng)景，海思能夠基于圖像目標(biāo)區(qū)域（隧道出入口等）進(jìn)行檢測(cè)及分類(lèi)，實(shí)時(shí)調(diào)整曝光策略，提升特定區(qū)域的成像效果。在靜態(tài)場(chǎng)景，在目標(biāo)辨識(shí)度、整體細(xì)節(jié)、清晰度、色彩飽和度等方面，表現(xiàn)均優(yōu)于業(yè)界領(lǐng)先水平；在出入隧道等動(dòng)態(tài)場(chǎng)景，海思技術(shù)在實(shí)測(cè)中表現(xiàn)出曝光準(zhǔn)確，調(diào)整迅速的特點(diǎn)，對(duì)行車(chē)安全有很大幫助。

    “看得懂”使能智慧視覺(jué)更豐富的應(yīng)用

    近年來(lái)數(shù)據(jù)、算力、算法不斷進(jìn)步，特別是視頻數(shù)據(jù)與AI結(jié)合，極大地推動(dòng)了智能終端的升級(jí)和廣泛應(yīng)用。全聯(lián)網(wǎng)、全高清帶來(lái)圖像質(zhì)量大幅提升的同時(shí)，也帶來(lái)龐大數(shù)據(jù)量，從視頻到結(jié)構(gòu)化數(shù)據(jù)的智能轉(zhuǎn)換成為行業(yè)發(fā)展重點(diǎn)。上海海思在2016年布局AI視覺(jué)處理芯片，2018年推出跨時(shí)代旗艦處理器，引領(lǐng)視覺(jué)相關(guān)產(chǎn)業(yè)向AI化發(fā)展，幫助行業(yè)合作伙伴在海量場(chǎng)景中快速獲取價(jià)值目標(biāo)信息。

    由于端側(cè)的特點(diǎn)，實(shí)現(xiàn)算力的同時(shí)需要綜合考慮成本、功耗等多種元素。深度神經(jīng)網(wǎng)絡(luò)計(jì)算的特點(diǎn)是基于大量的矩陣乘法，分解下來(lái)的最基礎(chǔ)單元是MAC乘加運(yùn)算。海思通過(guò)自研的達(dá)芬奇魔方架構(gòu)對(duì)矩陣乘加計(jì)算進(jìn)行加速，并針對(duì)智能終端的特點(diǎn)，提供新一代高性?xún)r(jià)比達(dá)芬奇端側(cè)AI引擎，通過(guò)硬件和軟件結(jié)合的優(yōu)化，實(shí)現(xiàn)PPA（Performance Power Area）以及MAC利用率大幅領(lǐng)先行業(yè)水平。僅有算力也是不夠的，為了滿(mǎn)足不同的應(yīng)用場(chǎng)景和開(kāi)發(fā)需求，開(kāi)發(fā)者還迫切需要更容易使用的開(kāi)發(fā)套件，高效率高質(zhì)量的完成開(kāi)發(fā)。海思AI芯片支持業(yè)界主流開(kāi)發(fā)框架：PyTorch、TensorFlow、Caffe、MindSpore，并且支持ONNX開(kāi)放神經(jīng)網(wǎng)絡(luò)交換格式，能夠靈活適配不同的開(kāi)發(fā)框架。

    除了基于神經(jīng)網(wǎng)絡(luò)的應(yīng)用，海思還深入分析智慧視覺(jué)應(yīng)用的特點(diǎn)，結(jié)合豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)，將部分計(jì)算機(jī)視覺(jué)的算子直接硬化集成，例如圖像縮放、顏色空間轉(zhuǎn)換、基本濾波處理、目標(biāo)檢測(cè)、車(chē)牌識(shí)別、3D深度檢測(cè)等基礎(chǔ)CV算子，不僅運(yùn)算更高效，而且開(kāi)發(fā)更便捷，可廣泛應(yīng)用在智慧城市、無(wú)人機(jī)、機(jī)器人、AGV、輔助駕駛等多種場(chǎng)景。

    當(dāng)視覺(jué)進(jìn)入AI時(shí)代，智慧視覺(jué)也逐步成為必不可少的社會(huì)效率工具。例如智慧停車(chē)場(chǎng)將停車(chē)場(chǎng)管理帶入無(wú)人值守時(shí)代，利用攝像機(jī)+AI自動(dòng)識(shí)別車(chē)牌，從取卡到“無(wú)感”，降低了人力和卡片維護(hù)系統(tǒng)成本，提升了駕車(chē)出行的效率。

    從刷卡到非接觸打卡，從人員值守到快速通勤，智慧視覺(jué)在辦公場(chǎng)景的應(yīng)用也大大提升了園區(qū)管理的效率。2020年疫情期間，實(shí)體打卡、接觸式指紋識(shí)別打卡逐漸被智能打卡取代：多通道智慧視覺(jué)能力被應(yīng)用于眾多智慧打卡機(jī)、通道閘機(jī)中，與多維感知融合，提升通勤效率同時(shí)減少人員接觸，有力保障了園區(qū)有序管理。

    視覺(jué)與AI的深度融合是產(chǎn)業(yè)發(fā)展的大勢(shì)所趨

    基于濾波等傳統(tǒng)技術(shù)的圖像處理技術(shù)在暗光、寬動(dòng)態(tài)等場(chǎng)景的效果逐漸遇到一定的瓶頸，獲得顯著的改進(jìn)越來(lái)越困難，而利用AI進(jìn)行圖像增強(qiáng)逐漸成為研究新熱點(diǎn)并取得了顯著的進(jìn)展。根據(jù)海思研究表明，利用神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)圖像中的噪聲進(jìn)行檢測(cè)和去除，疊加多光譜技術(shù)不僅更好的區(qū)分了運(yùn)動(dòng)物體和靜止背景，而且改善噪聲形態(tài)及提高信噪比，0.1 Lux下智能識(shí)別率預(yù)估可達(dá)到95%以上。除了暗光去噪，AI還可用于寬動(dòng)態(tài)DRC等多種場(chǎng)景。近年來(lái)AI對(duì)靜態(tài)照片的優(yōu)化已經(jīng)廣泛應(yīng)用于高端手機(jī)的相機(jī)拍照并獲得了不錯(cuò)的效果，而視覺(jué)行業(yè)的特點(diǎn)要求能夠?qū)Ω叻直媛�、高幀率的視頻應(yīng)用AI進(jìn)行實(shí)時(shí)調(diào)優(yōu)，對(duì)算法算力的要求更高，特別是如何在端側(cè)算力環(huán)境下高效實(shí)現(xiàn)AI ISP功能，獲得相比傳統(tǒng)ISP更優(yōu)的效果，是海思以及產(chǎn)業(yè)伙伴正在探索的方向。

    視覺(jué)與AI是新基建眾多領(lǐng)域的關(guān)鍵技術(shù)，也是智能終端最重要的基礎(chǔ)能力，它們?cè)跀?shù)據(jù)、算法、算力的推動(dòng)下不斷進(jìn)步，滿(mǎn)足更多行業(yè)和場(chǎng)景的應(yīng)用需求，并且呈現(xiàn)出越來(lái)越強(qiáng)的融合的趨勢(shì)。上海海思能力覆蓋感知、計(jì)算、聯(lián)接、表達(dá)、以及半導(dǎo)體工程工藝等多方面，特別是以視覺(jué)產(chǎn)業(yè)為基礎(chǔ)，在端側(cè)視覺(jué)感知、AI計(jì)算領(lǐng)域有深厚的經(jīng)驗(yàn)和業(yè)界領(lǐng)先的核心能力，堅(jiān)持投入，不斷創(chuàng)新，為行業(yè)伙伴提供最領(lǐng)先的技術(shù)與解決方案，為智慧城市、智慧家庭、智慧出行等場(chǎng)景的智能終端打造性能領(lǐng)先、安全可靠的半導(dǎo)體基石。