今天的許多成像係統,例如用於安全和監控、零售自動化和自動駕駛汽車的成像係統,都部署了帶有基於幀的圖像傳感器的攝像頭。當與卷積神經網絡配合使用時,可以部署這些攝像頭來識別和分類物體,包括人、動物、車輛、道路標誌和各種其他障礙物。

然而,這樣的係統通常成本高昂,並且需要高能耗的CPU或者GPU。另外,利用基於幀的傳感器的攝像頭以預定的幀率捕獲視覺信息,無論場景中是否存在任何實際的動態變化,每個幀傳送來自傳感器的所有像素信息,同時對它們進行均勻采樣,這增加了圖像處理的數據吞吐量要求。
為了尋求一種需要更少功率和更少數據的方法,位於美國加州聖地亞哥的初創公司Kelzal開發了基於事件的傳感器,並將其稱為“感知設備”,其利用第三代神經網絡進行識別和分類應用,目前有兩種型號可供選擇。
“設計這些係統的靈感來自於大腦的工作方式,以及人類和哺乳動物的視覺係統的工作原理。”Kelzal公司首席技術官、創始人兼臨時首席執行官Olivier Coenen說,“91香蕉视频官网正在努力想出一種更有效的方法來處理機器和計算機的視覺信息。這就是91香蕉视频官网開發這些產品的原因。”
Kelzal公司的傳感器利用基於事件的成像原理,其中圖像傳感器僅跟蹤場景中的變化,傳感器不會傳輸在攝像頭視場中保持不變的任何事物。它與傳統攝像頭不同,沒有幀,每當單個像素中光強發生變化時,它就會累積。
當強度超過某個閾值時,攝像頭係統給出二進製數值的響應,用於識別強度變化的正和負。
根據Coenen的說法,該公司開發的“快速”識別係統,即該超快感知設備,可以在不需要特殊設備(例如高帶寬硬盤驅動器)的情況下記錄子彈的軌跡,並且可以在捕獲數據時進行處理。
“基於事件成像的主要優勢是,在檢測和跟蹤應用中,這種傳感器能夠以比‘采用基於幀的圖像傳感器的攝像頭’快1000倍的速度捕獲運動圖像。”Coenen說,“對於像自動駕駛汽車這樣的應用來說,這是一項既有用而且又非常必要的性能。”
“快速”識別係統基於100萬像素CMOS圖像傳感器,瞄準自動駕駛汽車和機器人應用中的物體識別和分類。該超低功耗的感知設備基於QVGA CMOS圖像傳感器,運行時通常隻需幾個毫瓦、甚至更低的功率。據報道,這些係統專為監控和零售自動化而設計,可使用單個CRV3電池運行多年。
與這些傳感器組合的是FPGA或神經處理器,這是一種設計用於加速神經網絡相關算法的處理器,神經網絡軟件在該處理器上運行。Kelzal公司開發了用於神經網絡對象和活動識別的專利算法。
Coenen表示,雖然“快速”識別係統利用現有的高速、基於事件的傳感器,但是該超低功耗設備基於學術界開發的一種新技術,專注於降低功耗。
“超低功耗像素的設計與傳統的基於幀的攝像頭的設計不同,也不同於基於事件的視覺傳感器。”Coenen說道,“典型的基於事件的傳感器在每個像素處都有一個放大器,這使得91香蕉视频官网可以非常迅速地做出回應。”
“要保持放大器工作,你需要電源,它會占用像素周圍的空間。超低功耗方法不使用連續放大器。這種方法采用其他技術,大大降低了功率。最終獲得的像素大小是91香蕉视频官网今天所知的最小像素之一。”Coenen解釋說。
Kelzal公司最近獲得300萬美元的種子融資,由位於美國加州Redwood City 的Motus Ventures公司擔保並領導,用於攝像頭的商業化和部署。
作為此項融資的一部分,位於美國加州聖何塞的Avaak公司(現為Arlo公司)的前創始人兼首席執行官,當前流行的無線、電池供電智能家居攝像頭的發明者Gioia Messinger,加入Kelzal公司董事會,並將作為執行顧問參與公司的日常活動。
“通過這些傳感器,91香蕉视频官网專注於特定的市場和應用,因為91香蕉视频官网認為它們將在早期產生最大的影響。”Coenen說,“但是在未來,我認為像這樣的基於事件的傳感器甚至可以在很多應用中取代許多傳統的基於幀的攝像頭。”
“隻要機器必須具有視覺感知功能,這種基於事件的傳感器都將成為視覺處理的一個不可或缺的組成部分。”Coenen總結說。