1. 概述

監(jiān)控視頻技術(shù)經(jīng)歷了模擬時(shí)代，進(jìn)入了數(shù)字化時(shí)代。在數(shù)字化監(jiān)控的進(jìn)程中，目前正處在從數(shù)字化、網(wǎng)絡(luò)化、高清化向智能化的發(fā)展過程中。其中智能化的監(jiān)控視頻分析是當(dāng)前重點(diǎn)發(fā)展方向之一，人們希望通過智能分析取代大量繁重的人工對(duì)監(jiān)控視頻內(nèi)容的察看、分析和總結(jié)。

智能化涉及到對(duì)監(jiān)控視頻圖像的種種處理，從技術(shù)的層面上大致可以分為三個(gè)層次：注重于像素或像塊的視頻圖像處理，注重于圖像特征和目標(biāo)的視頻圖像分析，注重于圖像內(nèi)容語義的智能分析。用通俗的話說，監(jiān)控視頻圖像處理的目標(biāo)是“看清楚”監(jiān)控的場(chǎng)景，包含去噪聲、去模糊、去抖動(dòng)、去霧霾、超分辨率重建、動(dòng)態(tài)范圍擴(kuò)展等措施;監(jiān)控視頻圖像分析的目標(biāo)是“看明白”監(jiān)控的對(duì)象，包含車牌識(shí)別、人臉識(shí)別、人流統(tǒng)計(jì)等方面;智能監(jiān)控視頻分析的目標(biāo)是“看懂”監(jiān)控場(chǎng)景內(nèi)容的語義(semantics)，即給出人能夠理解的分析結(jié)果，如這里發(fā)生了什么，這里有什么等。它包含多種智能分析技術(shù)，如行為識(shí)別、入侵檢測(cè)、遺留物檢測(cè)、群體行為識(shí)別、違規(guī)車輛檢測(cè)等方面。

在這三個(gè)層次中，顯然智能監(jiān)控視頻分析是我們最終的目標(biāo)，替代人工對(duì)視頻監(jiān)控內(nèi)容的觀察、分析和判斷，甚至比我們?nèi)祟愒谀承┓矫娓訙?zhǔn)確和快捷。但是，要達(dá)到這一目標(biāo)，必須向智能分析系統(tǒng)提供盡可能清楚的視頻圖像，盡可能準(zhǔn)確的目標(biāo)劃分和識(shí)別的結(jié)果，我們將這些技術(shù)稱之為智能視頻分析的基礎(chǔ)技術(shù)，即視頻圖像處理和分析。如果所提供的圖像達(dá)不到這樣的要求，則很難指望智能分析系統(tǒng)會(huì)獲得正確的分析結(jié)果。因此，我們說智能視頻分析固然重要，智能分析的具體方法固然重要，但是提供優(yōu)質(zhì)視頻圖像的基礎(chǔ)技術(shù)在當(dāng)前視頻分析智能化的起始發(fā)展階段尤為重要。

目前從應(yīng)用的角度看，智能視頻分析雖然取得了長(zhǎng)足的進(jìn)展，但仍然有太多的內(nèi)容需要研究和開發(fā)，智能視頻分析技術(shù)尚處于視頻處理和視頻分析的“初級(jí)階段”，這一部分是當(dāng)下實(shí)際應(yīng)用場(chǎng)合中重點(diǎn)關(guān)注的內(nèi)容?；A(chǔ)的監(jiān)控視頻處理和分析技術(shù)包含很多的方面，除了經(jīng)典的視頻處理技術(shù)如圖像增強(qiáng)、圖像去噪等技術(shù)外，目前大家較為關(guān)注的主要有圖像去霧，動(dòng)態(tài)范圍擴(kuò)展，超分辨率重建，車牌識(shí)別，人臉識(shí)別，……，等多項(xiàng)技術(shù)。下面以在視頻監(jiān)控行業(yè)小有名氣的VAIS(Video Analysis Instrument System)——迅通視頻圖像分析系統(tǒng)為例，著重介紹視頻圖像處理和視頻圖像分析這兩方面的基礎(chǔ)處理技術(shù)。

2. 視頻圖像處理

2.1 去霧增透處理

由于大氣散射作用，霧天天氣條件下獲取的視頻圖像較為模糊，嚴(yán)重地影響著圖像的視覺效果。其原因主要在于目標(biāo)光線在傳播過程中遭到霧氣的衰減而導(dǎo)致了圖像細(xì)節(jié)的丟失，清晰度不夠;周圍環(huán)境光的參與造成了圖像顏色的失真，色調(diào)平淡。

為了改善這類霧天圖像，可采取視頻去霧增透技術(shù)(簡(jiǎn)稱透霧技術(shù))，將因霧氣和灰塵等導(dǎo)致朦朧不清的圖像變得清晰，發(fā)掘出更多的圖像所包含的信息，為下一步對(duì)圖像的智能分析應(yīng)用提供良好的條件。

目前的透霧處理方法主要分為兩類：霧天圖像增強(qiáng)和霧天圖像復(fù)原。霧天圖像增強(qiáng)方法現(xiàn)對(duì)比較簡(jiǎn)單，它不考慮圖像降質(zhì)原因，只針對(duì)圖像的色彩進(jìn)行處理，能有效地提高霧天圖像的對(duì)比度，突出圖像的細(xì)節(jié)，改善圖像的視覺效果，但可能會(huì)造成一定的信息損失。

　　霧天圖像復(fù)原針對(duì)霧天圖像質(zhì)量退化的機(jī)理，建立霧氣圖像退化模型，然后用圖像復(fù)原的方法，對(duì)霧天退化圖像進(jìn)行復(fù)原，補(bǔ)償退化過程造成的失真，獲得對(duì)無霧圖像的最優(yōu)估計(jì)，從而改善霧天圖像質(zhì)量。這種方法針對(duì)性強(qiáng)，得到的去霧效果自然，信息損失小，處理的關(guān)鍵是模型中參數(shù)的估計(jì)。圖1為VAIS系統(tǒng)采用基于物理模型的快速實(shí)時(shí)去霧方法對(duì)霧天圖像增透處理的一例。

(a) 透霧處理前 (b) 透霧處理后

圖1 透霧處理效果對(duì)比

2.2 超分辨率重建

隨著人們對(duì)監(jiān)控圖像質(zhì)量的要求越來越高，提升監(jiān)控圖像的分辨率已經(jīng)成為整個(gè)安防行業(yè)的一項(xiàng)迫切要求。提高圖像分辨率最直接的辦法就是提高采集設(shè)備(如攝像機(jī))的傳感器密度。

但是，一方面高密度的圖像傳感器的價(jià)格相對(duì)昂貴，在一般應(yīng)用中難以承受;另一方面，由于成像系統(tǒng)受其傳感器陣列密度的限制，目前已接近極限。

　　在這樣的情況下，解決這一問題的一個(gè)有效途徑是就采用基于信號(hào)處理的軟件方法對(duì)圖像的空間分辨率進(jìn)行提高，即超分辨率(SR：Super-Resolution)圖像重建，將采集到的低分辨率圖像通過一定算法重建為高分辨率圖像。

VAIS的SR重建的核心方法是用時(shí)間帶寬(獲取同一場(chǎng)景的多幀圖像序列)換取空間分辨率，實(shí)現(xiàn)時(shí)間分辨率向空間分辨率的轉(zhuǎn)換，使得重建圖像的視覺效果超過任何一幀低分辨率圖像。

圖2出示了一幅低分辨率視頻圖像經(jīng)過超分辨率重建以后形成的高分辨率圖像的前后對(duì)比。

(a) 原始低分辨率圖像 (b) 重建后的高分辨率圖像

圖2 超分辨率圖像重建對(duì)比

2.3 動(dòng)態(tài)范圍擴(kuò)展

在不少視頻監(jiān)控場(chǎng)合，常常會(huì)由于光線的原因產(chǎn)生彩色(亮度)動(dòng)態(tài)范圍偏離的圖像，出現(xiàn)整體或局部的“曝光”不足或“曝光”過度。對(duì)這類視頻圖像的處理主要是糾正彩色動(dòng)態(tài)范圍的偏離，包括兩個(gè)方面：對(duì)背光圖像的處理和對(duì)暗光(如夜晚場(chǎng)景)圖像的處理。

(1)暗光圖像的處理

　　夜晚場(chǎng)景下采集的圖像由于光照強(qiáng)度不足，導(dǎo)致圖像亮度及對(duì)比度降低，丟失顏色等細(xì)節(jié)信息，增加了圖像的噪聲，從而降低了圖像質(zhì)量，嚴(yán)重影響了圖像的使用和進(jìn)一步的智能分析處理。目前比較流行的暗光圖像處理的方法是Retinex算法，從給定的圖像中分離出亮度圖像和反射圖像，在彩色恒定的條件下，通過改變亮度圖像和反射圖像在原圖像中的比例來達(dá)到增強(qiáng)暗光圖像的目的。但這種方法的計(jì)算量非常大，很難應(yīng)用于實(shí)時(shí)處理。為此VAIS系統(tǒng)通過統(tǒng)計(jì)分析后發(fā)現(xiàn)反轉(zhuǎn)后的暗光圖像與霧天圖像具有類似的統(tǒng)計(jì)特征，在此基礎(chǔ)上設(shè)計(jì)了一種新的基于圖像去霧法的擴(kuò)展圖像動(dòng)態(tài)范圍的快速算法，對(duì)反轉(zhuǎn)的暗光圖像進(jìn)行處理，處理完畢再進(jìn)行翻轉(zhuǎn)就成為擴(kuò)展了動(dòng)態(tài)范圍的圖像。圖3為暗光圖像動(dòng)態(tài)范圍擴(kuò)展的一例，圖像的動(dòng)態(tài)范圍的改善和Retinex算法相當(dāng)，但處理速度很快，能夠滿足實(shí)時(shí)應(yīng)用的要求。

(a) 暗光處理前 (b) 暗光處理后

圖3 暗光處理效果對(duì)比

(2)背光圖像的處理

在視頻采集過程中，如果攝像機(jī)正對(duì)光源，這部分非常亮，而場(chǎng)景中的目標(biāo)物體比光源暗得多，由于攝像機(jī)的動(dòng)態(tài)范圍的限制，從而導(dǎo)致目標(biāo)區(qū)域的亮度非常暗，看不清細(xì)節(jié)，這就是所謂的背光現(xiàn)象。很明顯，背光圖像補(bǔ)償處理的關(guān)鍵就在于提高目標(biāo)區(qū)域的亮度，降低光源部分的亮度，同時(shí)保證整幅圖像自然過渡的平滑特性。VAIS系統(tǒng)對(duì)背光圖像采用類似暗光圖像處理的方法，即基于圖像去霧法的方法來處理背光圖像的。背光補(bǔ)償前后效果對(duì)比的一個(gè)實(shí)例如圖4所示。

(a) 背光補(bǔ)償前 (b) 背光補(bǔ)償后

圖4 背光處理效果對(duì)比

3. 視頻圖像分析

3.1 人臉識(shí)別

基于圖像處理的人臉識(shí)別技術(shù)大體上可分兩類，一類是合作型人臉識(shí)別，就是大家常見的用于考勤、門禁、會(huì)議簽到等場(chǎng)合的身份識(shí)別方式，目前這一類技術(shù)已比較成熟;另一類則是非合作型人臉檢測(cè)和識(shí)別技術(shù)，最典型的就是監(jiān)控視頻中目標(biāo)人物的臉部檢測(cè)與識(shí)別，這一類技術(shù)還不夠完善，還有許多問題有待解決。

目前，在監(jiān)控視頻的應(yīng)用中，大部分是非合作方式的人臉檢測(cè)和識(shí)別，由于無法得到目標(biāo)人員的配合，再加上各種不利環(huán)境因素的影響，使得視頻中人臉圖像的精度不高、面部模糊、角度變化大，從而導(dǎo)致很難做高精度的人臉檢測(cè)和人臉識(shí)別。

VASI系統(tǒng)關(guān)注的就是非合作型的這一類人臉識(shí)別技術(shù)，致力于在小樣本庫的人臉識(shí)別中的算法優(yōu)化，因而具有較高的人臉檢測(cè)和識(shí)別率。VAIS系統(tǒng)將視頻場(chǎng)景內(nèi)捕獲并檢測(cè)到的所有人臉圖像傳送至VAIS的人臉識(shí)別部分，采用WSR與LCR算法對(duì)模糊人臉進(jìn)行重建后，然后將他們與VAIS系統(tǒng)數(shù)據(jù)庫的人臉數(shù)據(jù)進(jìn)行多次比對(duì)，篩選出最接近的一個(gè)或多個(gè)人臉數(shù)據(jù)，供使用者進(jìn)行目標(biāo)身份確認(rèn)，或者起到對(duì)使用者一個(gè)提示、警示的作用，提醒使用者進(jìn)行進(jìn)一步的身份核實(shí)。這種人臉識(shí)別方式在不少場(chǎng)合是非常有用的，如酒店、銀行、機(jī)場(chǎng)、碼頭、海關(guān)等處的VIP或黑名單用戶的初步識(shí)別與提示等。

3.2 車牌識(shí)別

車牌識(shí)別技術(shù)主要包括兩類，一類是相對(duì)靜止的卡口車牌識(shí)別，另一類是車輛處于運(yùn)動(dòng)狀態(tài)的車牌識(shí)別。

對(duì)于停車場(chǎng)卡口類的車牌識(shí)別，由于車輛的靜止或速度較慢，再加上車輛對(duì)檢測(cè)的配合，因而相對(duì)容易，識(shí)別率也很高。VAIS系統(tǒng)對(duì)此類車牌識(shí)別，只要攝像機(jī)捕獲的車牌圖片寬度達(dá)到30個(gè)像素以上，就能準(zhǔn)確識(shí)別出車牌號(hào)碼，準(zhǔn)確率幾乎為百分之百。

對(duì)于行駛中車輛的牌照識(shí)別，如道路上車輛、甚至是逃逸的車輛等，由于復(fù)雜的環(huán)境、高速的運(yùn)動(dòng)、其他車輛的遮擋等不利因素存在，大大增加了車牌分割和車號(hào)識(shí)別的技術(shù)難度。VAIS系統(tǒng)在這種情況下利用監(jiān)控場(chǎng)景中目標(biāo)之間存在的關(guān)聯(lián)和約束，能夠以比較高的準(zhǔn)確率識(shí)別出大部分模糊車牌號(hào)碼。目前VAIS已多次成功協(xié)助公安部門從車牌識(shí)別入手快速偵破不同程度的棘手案件。今后隨著VAIS模糊車牌自動(dòng)識(shí)別技術(shù)的不斷完善，車牌識(shí)別準(zhǔn)確率還將不斷提高。

4. 結(jié)語

在智能監(jiān)控視頻分析技術(shù)飛速發(fā)展的過程中，當(dāng)我們遇到困難或出現(xiàn)差錯(cuò)時(shí)，往往問題的源頭還是在提供給智能分析系統(tǒng)的圖像本身的質(zhì)量不佳，如圖像不清晰，目標(biāo)劃分不準(zhǔn)確，圖像內(nèi)容暗淡等，所以，加強(qiáng)視頻圖像的處理和初步分析，是獲得智能視頻分析的準(zhǔn)確結(jié)果的最為關(guān)鍵的必要條件之一。

以上我們簡(jiǎn)單介紹了幾項(xiàng)重要的視頻圖像處理和分析技術(shù)，包括圖像透霧處理、暗光圖像和背光圖像的均衡處理，人臉的檢測(cè)和識(shí)別技術(shù)，車牌的檢測(cè)和識(shí)別技術(shù)等，這些都是VAIS智能視頻分析系統(tǒng)所具備的基本功能，在實(shí)際應(yīng)用中已經(jīng)取得了良好的成績(jī)。除了上面介紹的幾種特殊的視頻處理方法外，還有多種其它的預(yù)處理方法，例如感興趣區(qū)域的處理，防抖動(dòng)處理，動(dòng)態(tài)目標(biāo)鎖定處理，對(duì)該目標(biāo)進(jìn)行跟蹤和增析處理。

只有打牢了視頻處理和分析的基礎(chǔ)，才有可能在此基礎(chǔ)上進(jìn)行智能視頻分析，VAIS朝這一方向努力正在進(jìn)行中，結(jié)合海量視頻數(shù)據(jù)(大數(shù)據(jù))的挖掘，采用人工智能中的機(jī)器學(xué)習(xí)方法，尤其是結(jié)語人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，正在將一步一步地提高智能監(jiān)控視頻分析的速度和準(zhǔn)確性，一步一步地推向?qū)嵱谩?/p>