智能視頻信息識別監(jiān)控系統(tǒng)

背景介紹

   在復雜施工環(huán)境和條件多變的情況下，施工作業(yè)過程中的操作人員難免存在作業(yè)違章行為并伴隨著較大的作業(yè)風險。不同的操作人員業(yè)務水平高低不同，在施工作業(yè)過程中，無法意識到自身存在作業(yè)違章行為并存在一定的作業(yè)風險。針對以上問題，開展作業(yè)風險告警技術研究，建立基于人工智能的行為識別告警技術。作業(yè)風險識別告警模型通過基于作業(yè)指導文件內容，同時結合歷史風險作業(yè)圖像特征實現(xiàn)作業(yè)風險識別告警目的。

系統(tǒng)架構

   智能視頻信息識別監(jiān)控系統(tǒng)整體建設方案以智能推理平臺為主，從數(shù)據(jù)采集終端獲取數(shù)據(jù)，通過網(wǎng)線網(wǎng)絡傳輸?shù)綌?shù)據(jù)采集控制中心再通過網(wǎng)絡網(wǎng)線將數(shù)據(jù)推送至智能推理平臺中，搭配人工智能的軟硬件處理，最后以獲取到數(shù)據(jù)的分析結果進行警報響應，從而形成一體化的智能推理平臺解決方案。

   系統(tǒng)可以兼容已有的前端監(jiān)控設備和系統(tǒng)，對監(jiān)控畫面進行不間斷分析和判斷，實現(xiàn)全天候自動化視頻監(jiān)控。邊緣端只負責采集數(shù)據(jù)，將采集到的原始數(shù)據(jù)統(tǒng)一上傳到數(shù)據(jù)采集控制中心進行緩存和設備控制。其中視頻數(shù)據(jù)會傳遞給智能推理平臺，進行處理，并產(chǎn)生報警信息，之后將報警信息推送到推理平臺監(jiān)控中心。推理平臺監(jiān)控中心根據(jù)接收到的數(shù)據(jù)進行可視化的展現(xiàn)以及實時觸發(fā)報警事件。

   方案采用B/S架構，系統(tǒng)整體計算服務部署在智能推理平臺服務器中，使用瀏覽器客戶端進行訪問和控制，用戶無需安裝客戶端，具有維護簡單，使用方便，分布性強等優(yōu)點。

功能算法介紹

   人工智能介紹：

   “人工智能"（Artificial Intelligence，AI）這一概念最早由被譽為人工智能之父的美國學者John Mc Carthy于1956年在達特茅斯大學召開的會議上提出，是研究開發(fā)用于模擬、延伸和擴展人類智能的理論、方法、技術及應用系統(tǒng)的一門技術科學。人工智能是一門綜合了計算機科學、控制論、信息論、神經(jīng)生理學、心理學、語言學、哲學等多種學科互相滲透而發(fā)展起來的一門交叉學科。關于人工智能，目前研究界尚無統(tǒng)一的定義，美國斯坦福大學人工智能研究中心尼爾遜教授下過這樣一個定義：“人工智能是關于知識的學科，是怎樣表示知識以及怎樣獲得知識并使用知識的科學。"而麻省理工學院的溫斯頓教授認為：“人工智能就是研究如何使計算機去做過去只有人才能做的智能工作。"而單從人工智能所實現(xiàn)的功能來定義，主要是探討如何運用計算機模仿人腦所從事的推理、證明、識別、理解、設計、學習、思考、規(guī)劃以及問題求解等思維活動，并以此解決如咨詢、診斷、預測、規(guī)劃等需要人類專家才能處理的復雜問題，即研究人類智能活動的規(guī)律。經(jīng)過多年發(fā)展，人工智能呈現(xiàn)出深度學習、跨界融合、人機協(xié)同、群智開放、自主操控等新特征。人工智能正在加速與各行業(yè)的深度融合，催生新技術、新產(chǎn)品、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式，將深刻改變人類社會生活、改變世界。

   1、深度學習

   深度學習是人工智能的一個方面，它涉及模仿人類用來獲取某些類型知識的學習方法，簡單的深度學習可以被認為是一種自動化分析的方法。傳統(tǒng)的機器學習算法是線性的，但深度學習算法堆疊在一個越來越復雜和抽象的層次結構中。

   一個理解深度學習的例子是，想象一個小孩學習一個詞是狗。小孩通過指向一個物體并說出狗這個詞來了解什么是狗/不是狗，父母會說“是的，那是一只狗"或者“不，那不是狗"。小孩進而繼續(xù)指向新的物體并繼續(xù)詢問、了解的時候，他會越來越意識到狗擁有的所有特征。小孩在不了解客觀事物的情況下做的這個事情，也就是通過構建一個層次結構來闡明復雜的抽象（狗的概念），其中每個抽象層次都是從層次結構的前一層獲得的知識創(chuàng)建的。

   使用深度學習的計算機程序經(jīng)歷了相同的過程。層次結構中的每個算法對其輸入應用非線性變換，并使用其學習的內容創(chuàng)建統(tǒng)計模型作為輸出。迭代繼續(xù)直到輸出達到可接受的準確度。數(shù)據(jù)必須通過的處理層數(shù)也就是來自標簽的深層啟發(fā)。

   2、計算機視覺

   計算機視覺是使計算機“看到"的科學。它采用一個或多個攝像機，模數(shù)轉換（ADC）和數(shù)字信號處理（DSP），生成的數(shù)據(jù)將發(fā)送到計算機或機器人控制器。計算機視覺的復雜性與語音識別相似。由于人眼只對390至770納米的電磁波長敏感。攝像機可以對比這更寬的波長范圍敏感。一些計算機視覺系統(tǒng)就可以在紅外（IR），紫外（UV）或X射線波長下起作用。

   機器視覺需要更具有高級處理器的計算機，這種深度感知需要高分辨率相機，大量隨機存取器（RAM）和人工智能（AI）編程。它用于從簽名識別到醫(yī)學圖像分析的各種應用中。專注于基于機器的圖像處理的計算機視覺通常與機器視覺相混淆。

   基礎設施提供者為人工智能系統(tǒng)提供計算能力支持，實現(xiàn)與外部世界的溝通，并通過基礎平臺實現(xiàn)支撐。計算能力由智能芯片（CPU、GPU、ASIC、FPGA等硬件加速芯片以及其它智能芯片）等硬件系統(tǒng)開發(fā)商提供；與外部世界的溝通通過新型傳感器制造商提供；基礎平臺包括分布式計算框架提供商及網(wǎng)絡提供商提供平臺保障和支持，即包括云存儲和計算、互聯(lián)互通網(wǎng)絡等。

   基本算法介紹：

   1、目標分類

   解決“是什么? "的問題，即給定一張輸入圖像，圖像分類任務旨在判斷該圖像所屬類別。常見的分類算法有：ResNet、LetNet、AlexNet、GooleNet等。

   2、目標檢測

   解決“是什么?在哪里? "的問題，即給定一張輸入圖像，目標檢測的任務旨在定位出目標的位置并且告知目標物是什么。常見的檢測算法有：SSD、YOLO、Fast RCNN、Faster RCNN等。

   3、目標分割

   目標分割分為實例的分割和場景分割，解決“每一個像素屬于哪個目標物或場景? "的問題。常見的分割算法有：DeepLab、Mask R-CNN、U-Net、FCN等。

   算法方案構成：

   為保證視頻智能分析的檢測精度，用戶現(xiàn)場攝像頭要求：

   1、支持RTSP、RTMP視頻流格式的攝像頭，分辨率不低于200萬像素（1920x1080或1600x1200）；

   2、攝像頭安裝位置：一般攝像機距需要采集的區(qū)域為3至30米左右，高度為1至8米；室內場景監(jiān)控距離一般小于10米,架設高度1至3米，室外場景監(jiān)控距離一般小于30米，架設高度小于8米。

安全帽監(jiān)測

   安全帽檢測為防范特定區(qū)域內人員未佩戴安全帽，本算法方案首先使用YOLO-V3目標檢測算法進行人頭檢測，定位圖片中的人頭位置，得到包含人頭的檢測框后，在此檢測框的基礎上再使用ResNet-50安全帽的分類算法對檢測框內容進行分類處理，根據(jù)分類輸出的安全帽置信度與預設的閾值比較，若低于閾值，則輸出告警信息。

   下圖為對特定區(qū)域的人員安全帽佩戴情況進行檢測效果，對于未佩戴安全帽的人員進行黃框標注，正常佩戴安全帽的人員試用綠框標注。

安全帽實際效果

工作服（紅、藍）檢測

  為規(guī)范特定區(qū)域的人員穿戴規(guī)范，對未合規(guī)穿戴工作服的人員進行預警，本算法方案首先采用YOLO-V3目標檢測算法進行人體檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上再使用質量模型進行過濾，去除圖像質量不好的圖像。再對圖像質量較好的行人檢測框進行ResNet-50工作服的分類處理，根據(jù)分類輸出的工作服置信度與預設的閾值比較，若低于閾值，則輸出告警信息。

   下圖為對特定區(qū)域的人員工作服穿著情況進行檢測的效果，對于未穿著工作服的人員使用黃框標注，正常穿著工作服的人員使用綠框標注。

工服穿戴實際效果

反光衣穿戴識別

   為規(guī)范特定區(qū)域的人員穿戴規(guī)范，對未合規(guī)穿戴反光衣的人員進行預警，本算法方案首先采用YOLO-V3目標檢測算法進行人體檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上再使用ResNet-50反光衣的分類算法對檢測框內容進行分類處理，根據(jù)分類輸出的反光衣置信度與預設的閾值比較，若低于閾值，則輸出告警信息。

   下圖為對特定區(qū)域的人員反光衣穿著情況進行檢測的效果，對于未穿著反光衣的人員使用紅框標注，正常穿著反光衣的人員使用綠框標注。

反光衣佩戴實際效果演示

行人闖入監(jiān)測

  目前特定區(qū)域內闖入仍然采用人工查看監(jiān)控視頻的方式，對于防范具有滯后性，不能準確實時的進行監(jiān)測告警。為防止事態(tài)進一步惡化，本算法方案先采用YOLO-V3目標檢測算法進行人體檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上使用質量模型進行過濾，去除圖像質量不好的人體區(qū)域圖像。然后基于配置好的區(qū)域進行判斷，判斷區(qū)域內是否有人員在內，當有人員在區(qū)域內則進行告警。

下圖為對特殊區(qū)域內行人闖入的檢測效果，對出現(xiàn)在違進區(qū)域（綠色為禁止進入?yún)^(qū)域）的人員進行異常報警。

人員闖入實際效果

皮膚裸露檢測

   皮膚裸露檢測為防范區(qū)域內人員未穿戴防護用品，造成皮膚裸露有事故隱患，本算法方案首先使用YOLO-V3目標檢測算法進行人體檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上使用質量模型進行過濾，去除圖像質量不好的人體區(qū)域圖像。過濾后使用DeepLab v3皮膚裸露的分割算法對剩余檢測框內的圖像進行分割處理（注意：分割區(qū)域為胳膊、手、腿、腳部），然后計算分割出的皮膚區(qū)域占人體檢測框的比值。根據(jù)計算出的皮膚區(qū)域占比與預設的閾值比較，若高于閾值，則輸出告警信息。

   下圖為對區(qū)域內的人員進行皮膚裸露檢測的效果，正常人員以綠框進行標識，皮膚裸露的人員以紅框進行標識。

皮膚裸露實際效果

煙火檢測

   本算法功能首先采用YOLO-V3目標檢測算法進行煙霧、火焰檢測，定位圖片中的煙火，得到包含煙火的檢測框后，基于該檢測框位置摳取出后4幀的對應圖像，將這5幀中該檢測框區(qū)域圖像的通道進行合并。最后使用ResNet-50算法對合并后的圖像進煙火分類處理，根據(jù)分類輸出的煙火置信度與預設的閾值比較，若高于閾值，則輸出告警信息。

煙火算法效果圖

抽煙檢測

   為規(guī)范區(qū)域的人員行為，防止人員在禁煙區(qū)域內吸煙，有火災的安全隱患，本算法方案首先采用YOLO-V3目標檢測算法進行人頭檢測，定位圖片中的人頭，得到包含人頭的檢測框后，在此檢測框的基礎上再使用ResNet-50抽煙的分類算法對檢測框內容進行分類處理，根據(jù)分類輸出的抽煙置信度與預設的閾值比較，若高于閾值，則輸出告警信息。

   下圖為抽煙行為檢測的效果。

抽煙檢測算法效果

打電話檢測

  為規(guī)范區(qū)域的人員行為，防止意外事故發(fā)生，進行人員打電話行為監(jiān)測，本算法方案首先采用YOLO-V3目標檢測算法進行人頭檢測，定位圖片中的人頭，得到包含人頭的檢測框后，在此檢測框的基礎上再使用ResNet-50打電話的分類算法對檢測框內容進行分類處理，根據(jù)分類輸出的抽煙置信度與預設的閾值比較，若高于閾值，則輸出告警信息。

   下圖為打電話行為檢測檢測效果。

打電話檢測算法效果

人員倒地檢測

   為及時預警區(qū)域的人員安全，防止人員在發(fā)生倒地時無人發(fā)現(xiàn)，可以采用智能識別方式，本算法方案首先采用YOLO-V3目標檢測算法進行摔倒人體的檢測，定位圖片中的人體，得到包含人體的檢測框后，在此檢測框的基礎上再使用HRNet進行人體關鍵點檢測，獲取左右肩中點和左右腳踝中點的連線（人體中心線），計算人體中心線與垂直方向的夾角并進行判斷，若大于閾值角度就判定為摔倒，否則繼續(xù)進行判斷。基于前一步的人體關鍵點繪制骨架圖，使用ResNet-50對骨架圖進行分類處理，根據(jù)分類輸出的摔倒置信度與預設的閾值比較，若高于閾值，則輸出告警信息。

   下圖為人員倒地行為檢測的效果圖。