該系統以AI算法為智能核心,通過攝像頭拍照來獲得圖像等視覺信息,然后基于AI算法進行識別、判斷和輸出,為使用者選擇一條無障礙路線,最后在導航提示中,綜合提供聽覺和左右手部皮膚的觸覺等信號,能將振動信號傳給使用者,以指導移動方向。
4月14日23時許,國際學術期刊《自然-機器智能》在線發表論文報告了一款可以為盲人和部分視力障礙人士提供導航輔助功能的可穿戴系統。
該系統以AI算法為智能核心,通過攝像頭拍照來獲得圖像等視覺信息,然后基于AI算法進行識別、判斷和輸出,為使用者選擇一條無障礙路線,最后在導航提示中,綜合提供聽覺和左右手部皮膚的觸覺等信號,比如骨傳導耳機傳遞簡要的聲音信號,以及能戴在手腕上的可伸展人造皮膚,能將振動信號傳給使用者,以指導移動方向,避開兩側的物體,從而輔助視力障礙人士穿過迷宮,避開障礙物,以及抓取某個物體。
上海交通大學電院清源研究院長聘教軌副教授、博士生導師顧磊磊是該論文的通訊作者。
他向澎湃科技表示,“視障人士出行的三件套是墨鏡、手杖、導盲犬,這是他們身上的標志。”通過創新的智能硬件,逐漸把這些標志去掉,讓他們像有正常視力的人一樣生活,這是顧磊磊的目標之一,也是他所理解的“以人為本”。
AI算法的優化和響應需要數據,而實時的數據來自傳感器。顧磊磊帶領的團隊聚焦智能傳感領域。
他表示,以前類似的系統,“偏電子,把人當作一臺車,來實現導航”,但人的特點是人,不是機器,沒辦法像機器一樣嚴格地去走一條路線;此外,有些系統把導航轉化成語音,“一直在嘰里呱啦地響,在使用上不太友好”,同時,為了實現強大的功能,使用者要背著一臺電腦,體積大,功耗高,而且笨重。使用者一穿戴上這樣的系統,看起來像個機器人,因而難以推廣。
顧磊磊介紹,最新發布的系統的目標是提高視障人士的行動能力,能幫助他們走到他們通過語音告訴系統的一個目標位置去,比如門口在哪里;同時根據系統的提示——向前、向左、向右一點,讓使用者避開障礙物。新系統總重約200克,由裝載了RGB-D(紅綠藍和深度)攝像頭的眼鏡、兩小塊人造電子皮膚和一個微型單板計算機——樹莓派組成。“其中,最耗電的是樹莓派,功率大約3瓦到5瓦。”更重要的是,新系統從拍照到響應、輸出的時間是僅200-300毫秒,與人類的反應時間一致,從而與使用者更默契。
為了解決光線不足可能給拍照系統帶來的風險,該系統還集成了一個紅外探測器,可以“像激光雷達一樣”進行主動探測,提供距離、高低等信息。
“我們調研后發現,視障人士的基本需求有三個,第一個是明暗變化,比如眼前有沒有障礙物;第二個是形狀;第三是看到運動的信息,比如面前是不是有東西移動過去。他們沒有爬山、游泳那么高的要求,所以我們是一直在做減法。我可以把功能做得很高很強,但那不是我們的最終目的,我們是要它具有人們剛需使用時的合理功能就行。”顧磊磊表示,新系統關注的是使用者面前一米左右范圍內的區域。
此外,該系統還提供了一雙摩擦供電的智能鞋墊和VR訓練平臺,讓使用者在正式出行前可以在虛擬系統中進行模擬、訓練。
對于新系統的局限性,顧磊磊表示,目前屬于基礎研究階段,只是進行了少量的測試——一共有20人試用的數據,其中16人是視障人士。該產品如果要投放市場,需要更多的反饋數據,以進行優化。
“說不定我們可以把攝像頭換掉。”顧磊磊希望把攝像頭整合到隱形眼鏡中,取代目前系統中的鏡框眼鏡,代替手杖,“讓使用者盡力看起來像健全人”。
此外,他表示,很重要的一點是,希望未來的類似系統是個性化的,因為每個人關注的東西不一樣。而這樣的“量身定做”可以基于AI算法的優化來實現。