視覺(jué)大模型落地應(yīng)用 �？低�視發(fā)布系列大模型攝像機(jī)

    進(jìn)入2025年，依托海康觀瀾大模型技術(shù)體系，�？低�視將大模型能力直接部署至端側(cè)，推出一系列視覺(jué)大模型攝像機(jī)。視覺(jué)大模型攝像機(jī)不僅成像畫(huà)質(zhì)更優(yōu)，更重要的是突破了場(chǎng)景普適性弱、復(fù)雜目標(biāo)識(shí)別難等瓶頸，進(jìn)一步提升目標(biāo)檢出率，大幅降低誤報(bào)，在零樣本的情況下也能進(jìn)行識(shí)別，檢測(cè)目標(biāo)種類更豐富。

    大幅降低誤報(bào)檢出率、檢準(zhǔn)率雙提升

    智能攝像機(jī)在實(shí)際應(yīng)用中，不同場(chǎng)景、不同光照條件、不同天氣等均會(huì)帶來(lái)大量誤報(bào)警告，造成運(yùn)維成本增加，用戶體驗(yàn)不佳，降低事件響應(yīng)的信任度。

    20余年來(lái)，�？低�視深耕視頻領(lǐng)域業(yè)務(wù)，結(jié)合各類場(chǎng)景的豐富行業(yè)知識(shí)，構(gòu)建了預(yù)訓(xùn)練大模型，在預(yù)訓(xùn)練階段中增加了各類真實(shí)動(dòng)態(tài)場(chǎng)景干擾數(shù)據(jù)，如雨雪霧天氣、強(qiáng)光閃爍、動(dòng)物移動(dòng)、振動(dòng)抖動(dòng)等，針對(duì)不同條件下進(jìn)行數(shù)據(jù)增強(qiáng)，大幅提升智能識(shí)別的檢出與檢準(zhǔn)率。

    同時(shí)，海康威視構(gòu)建了完善的大模型部署技術(shù)體系，從模型輕量化、計(jì)算效率提升、計(jì)算資源節(jié)省等方面研究模型結(jié)構(gòu)設(shè)計(jì)和量化技術(shù)，創(chuàng)新研發(fā)出更加適配場(chǎng)景的視覺(jué)大模型攝像機(jī)。

    如在周界應(yīng)用中，海康威視已形成球機(jī)、IPC、多攝等大模型警戒系列攝像機(jī)。相比傳統(tǒng)視頻周界產(chǎn)品，大模型警戒系列攝像機(jī)進(jìn)一步提升識(shí)別距離，誤報(bào)率下降90%以上。(根據(jù)項(xiàng)目實(shí)測(cè)數(shù)據(jù))。例如，同一測(cè)試場(chǎng)景下，采用4mm鏡頭測(cè)試，視覺(jué)大模型相機(jī)在70米可檢出人員入侵，以往深度學(xué)習(xí)算法40米可檢出，傳統(tǒng)smart算法在20米才能檢出。同樣檢測(cè)條件下，過(guò)濾小鳥(niǎo)誤報(bào)時(shí)，傳統(tǒng)smart算法檢出人員入侵的同時(shí)持續(xù)檢出小鳥(niǎo)入侵，視覺(jué)大模型相機(jī)可精準(zhǔn)過(guò)濾小鳥(niǎo)誤報(bào)，僅檢出人員入侵。

    在交通事件檢測(cè)中，海康威視推出雷視一體機(jī)、事件檢測(cè)攝像機(jī)、FOD雷視檢測(cè)一體機(jī)等視覺(jué)大模型攝像機(jī)。在高速公路交通事件檢測(cè)領(lǐng)域，有效解決復(fù)雜場(chǎng)景下拋灑物、停車、行人等事件的誤報(bào)、漏報(bào)難題。

    在交通卡口應(yīng)用中，推出卡口抓拍單元、非機(jī)動(dòng)車抓拍單元、雷云船舶卡口一體機(jī)等視覺(jué)大模型攝像機(jī)產(chǎn)品。如在駕駛室特征識(shí)別應(yīng)用中，識(shí)別安全帶時(shí)，有效過(guò)濾低對(duì)比度、遮擋、復(fù)雜姿態(tài)等產(chǎn)生的誤報(bào)；識(shí)別打電話時(shí)，有效過(guò)濾對(duì)抬手、握物等產(chǎn)生的誤報(bào)。

    支持零樣本開(kāi)放識(shí)別，目標(biāo)識(shí)別種類更豐富

    傳統(tǒng)智能應(yīng)用的落地，千行百業(yè)智能需求各不相同，針對(duì)不同目標(biāo)需訓(xùn)練特定的識(shí)別算法，存在樣本采集成本高、類別拓展難、訓(xùn)練周期較長(zhǎng)等問(wèn)題。

    通過(guò)在攝像機(jī)部署開(kāi)放式目標(biāo)檢測(cè)大模型，采用自研的統(tǒng)一模態(tài)學(xué)習(xí)方案，將視覺(jué)識(shí)別的圖像特征對(duì)齊語(yǔ)義特征，實(shí)現(xiàn)目標(biāo)的精準(zhǔn)檢出與定位，�？低�視推出”描述即識(shí)別”的智能攝像機(jī)應(yīng)用模式，即輸入一個(gè)詞、一句話可按需快速靈活生成模型，無(wú)需樣本訓(xùn)練即可識(shí)別目標(biāo)。

    場(chǎng)景定義畫(huà)質(zhì)，精準(zhǔn)自適應(yīng)調(diào)優(yōu)

    視覺(jué)大模型攝像機(jī)以“硬件+算法”深度融合，打造全場(chǎng)景畫(huà)質(zhì)提升。以專業(yè)的大光圈鏡頭，高感光傳感器設(shè)計(jì)能力，結(jié)合豐富低照度場(chǎng)景經(jīng)驗(yàn)，構(gòu)建端到端的智能大模型算法，有效區(qū)分圖像中信號(hào)和噪聲，精準(zhǔn)去噪，提升夜視監(jiān)控畫(huà)面信噪比，針對(duì)暴雨、霧霾、過(guò)曝、偏色等場(chǎng)景，可實(shí)現(xiàn)場(chǎng)景定義畫(huà)質(zhì)，讓圖像細(xì)節(jié)更豐富，色彩更真實(shí)，為智能應(yīng)用提供更優(yōu)的視頻圖像支撐。

    從看得見(jiàn)，看得清，到看得懂，大模型的到來(lái)，進(jìn)一步提升�？低�視的技術(shù)和產(chǎn)品創(chuàng)新能力。目前海康威視已推出警戒系列、交通事件檢測(cè)系列、卡口抓拍系列、機(jī)械臂防碰撞系列、抗振防抖系列、巡檢系列等視覺(jué)大模型攝像機(jī)。