科技專訪:盲人抖動臉肌就能“打字”!
發布時間:2021-06-21
瀏覽次數:1218
科技專訪:盲人抖動臉肌就能“打字”!

是什麽(me) 讓病人無需說話,就能在電腦屏幕上打出 “I NEED WATER” 去向醫護人員要水喝?

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | 病人在屏幕上打字(來源:受訪者)

 

這是由重慶大學賀顯明、郭恒宇、牟笑靜等人與(yu) 王中林院士合作,受蛙鳴行為(wei) 的啟發,聯合開發的一款免提打字通信係統,該係統可幫助殘疾人與(yu) 外界通信。

 

盲打測試中,病人首先打出 “I”。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

動圖 | 打出字母 “I”(來源:受訪者)

 

然後再打出 “ NEED”,最後打出 “WATER” 便有了文章開頭的 “I NEED WATER”。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

動圖 | 打出 “NEED”(來源:受訪者)

 

該係統的全稱叫基於(yu) BTUSE 傳(chuan) 感器的免提打字通信係統,其中 BTUSE 是 bionic triboelectric nanogenerator-based ultra-sensitive self-powered electromechanical 的縮寫(xie) ,即基於(yu) 摩擦納米發電機的超靈敏自供電的仿生機電傳(chuan) 感器。

由於(yu) 該傳(chuan) 感器輸出的是一種脈衝(chong) 信號,所以該研究團隊使用莫爾斯電碼作為(wei) 通信協議,來實現殘疾人或者病人的人機交互。

他們(men) 將一個(ge) 觸發信號設置為(wei) “dit”,兩(liang) 個(ge) 觸發信號設置為(wei) “dah”,三個(ge) 觸發信號設置為(wei) “Enter”,四個(ge) 觸發信號設置為(wei) “backspace”。

 

其中,“dit” 和 “dah” 之間的時間間隔是一個(ge) 重要參數,在短時間間隔下,用戶必須快速觸發,而長時間間隔則會(hui) 降低通信效率。

 

這意味著,由於(yu) 不同的觸發習(xi) 慣,每個(ge) 用戶都有一個(ge) 獨特的最優(you) 值,而最優(you) 值是效率和精度之間的折衷值,可通過機器學習(xi) 算法的預訓練得到。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | 免提打字通信係統(來源:受訪者)

 

在支持向量機(SVM)模型中進行預訓練後,該團隊獲得了 96.3% 的高識別準確率。根據莫爾斯電碼的一般規則,所有字母都可以用 “dit” 和 “dah” 來表示。

 

在演示中,該研究團隊根據莫爾斯電碼規則成功輸入了單詞 “HMI”(Human Machine Interface 的縮寫(xie) ,即人機接口,又叫人機界麵)。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | 根據莫爾斯電碼規則成功輸入了單詞 “HMI”(來源:受訪者)

 

作為(wei) 一種新型醫療通信輔助設備,基於(yu) BTUSE 傳(chuan) 感器的免提打字通信係統在智慧醫療方麵具有較好的應用前景。

事實上,免提打字通信係統隻是該研究團隊成果的具體(ti) 應用之一。圍繞 BTUSE 傳(chuan) 感器,該研究團隊撰寫(xie) 了論文並於(yu) 近期發表在 Advanced Science

論文標題為(wei) 《用於(yu) 肌肉觸發通信應用的仿生超靈敏自供電機電傳(chuan) 感器》(Bionic Ultra-Sensitive Self-Powered Electromechanical Sensor for Muscle-Triggered Communication Application),是由重慶大學賀顯明、郭恒宇、牟笑靜等人與(yu) 王中林院士合作共同發表。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | 相關(guan) 論文(來源:受訪者)

 

以青蛙“咕呱”為啟發,研發出超靈敏自供電的仿生機電傳感器

 

摩擦納米發電機(TENG,Triboelectric Nanogenerator),是基於(yu) 接觸起電(contact electrification)和靜電感應(electrostatic induction)耦合,可收集人體(ti) 與(yu) 環境中的微小機械能的新型微能源技術。

自幾年前由王中林院士團隊首次發明以來,它已廣泛應用於(yu) 環境能量采集、自驅動傳(chuan) 感(人機界麵、穿戴式電子產(chan) 品、環境監測、醫療康複、智能書(shu) 寫(xie) 和語音識別等)和藍色能源等領域。

 

TENG 具有高輸出性能、輕薄、柔性和較好的穩定性等優(you) 勢,故可用於(yu) 開發穩定舒適的人機交互應用。

具體(ti) 以怎樣的形式交互?該研究團隊想到了仿生青蛙。

他們(men) 發現,當雄蛙呱呱叫時,由肌肉控製的大嘴輕微收縮(微運動),擠壓出來的氣流推動青蛙的外部聲囊發生明顯的變形。然後,聲帶的共振會(hui) 增強聲帶的聲音

受青蛙呱叫行為(wei) 的啟發,該研究團隊研發出這種基於(yu) TENG 的超靈敏自供電的仿生機電傳(chuan) 感器,它可將咬肌肌肉的實時微運動,轉化為(wei) 人機交互的控製命令。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | 雄蛙呱呱叫(來源:受訪者)

 

如下圖所示,BTUSE 傳(chuan) 感器集成了具有放大效果的運動模塊、以及可產(chan) 生電信號的 TENG 模塊。運動模塊包括傳(chuan) 感膜、以及由間隔層分離的振動膜,其中穿透間隔層的孔隙可作為(wei) 空氣呼吸通道。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | BTUSE 傳(chuan) 感器的結構示意圖(來源:受訪者)

 

半徑為(wei) 14 mm、距離間隔層為(wei) 5 mm的傳(chuan) 感膜,就像青蛙的嘴一樣,會(hui) 隨著肌肉縮放而變形。

同樣,半徑為(wei) 7 mm 並與(yu) 間隔層緊密接觸的振動膜,可以模仿青蛙外部聲囊的功能,在傳(chuan) 感膜的驅動下,它會(hui) 產(chan) 生大幅度變形。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | 傳(chuan) 感器青蛙鳴叫(來源:受訪者)

 

這裏有個(ge) 小細節,所有薄膜都被設計成圓形,是因為(wei) 圓形邊界的曲率與(yu) 其他形狀相同,從(cong) 而能實現又小又均勻的應力分布。

 

接著,通過模擬口腔的結構和聲囊,該團隊使用柔性 PDMS 彈性體(ti) (聚二甲基矽氧烷,一種疏水的有機矽材料),製備出了傳(chuan) 感膜和可變形振動膜,這時便可將咬肌的微小波動,放大為(wei) 振動膜的大幅度變形。此時,再把 TENG 技術融入到仿生結構中,即可把薄膜的振動轉換為(wei) 電信號。

研究中,該研究團隊還運用摩擦材料摻雜改性技術,讓摩擦電層的表麵電荷密度實現最大化,借此增強摩擦電層的信號強度。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

(來源:受訪者)

 

據悉,該傳(chuan) 感器的靈敏度為(wei) 54.6 mV mm -1、強度信號為(wei) ±700 mV、傳(chuan) 感範圍為(wei) 0-5 mm。相比傳(chuan) 統的生物電位肌電圖方法,它的信號強度高出 206 倍。

 

利用摩斯電碼和機器學習(xi) 算法,該傳(chuan) 感器可實現安全、準確且穩定的通信輔助人機交互應用,其中準確度達 96.3%。

 

BTUSE 傳(chuan) 感器可將用戶咬肌的實時微動,轉化成人機界麵的控製命令,同時作為(wei) 摩斯電碼的通信協議,可應用於(yu) 人機交互中。

基於(yu) BTUSE 傳(chuan) 感器的高性能,該研究團隊將 莫爾斯電碼作為(wei) 通信協議引入 HMI 應用,並開發出了上述免提打字通信係統。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

(來源:受訪者)

 

原理基於接觸帶電和靜電感應的耦合

 

TENG 模塊由銀納米線(AgNWs)基底部電極、銀納米線/鈦酸鋇納米顆粒/聚二甲基矽氧烷(Ag NWs/BaTiO3 NPs/PDMS)複合摩擦材料(下稱“摩擦材料”)、以及碳基頂部電極組成。

其中,底部電極和摩擦層被集成為(wei) 一個(ge) 間隔層,頂部電極附著在振動膜上,當薄膜振動時,它與(yu) 摩擦材料接觸/分離。

下圖分別是傳(chuan) 感膜、底部電極、摩擦層和最終組裝的裝置,這些裝置的靈活性可幫助提高用戶體(ti) 驗。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | 傳(chuan) 感膜、底部電極、摩擦層和最終組裝的傳(chuan) 感器(來源:受訪者)

 

下麵的掃描電子顯微鏡(SEM)圖像,分別顯示了銀納米線、摩擦材料和碳基導電膜的微觀形貌圖。它們(men) 的微觀形貌會(hui) 影響器件的信號強度。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | 銀納米線、摩擦材料和碳基導電膜的 SEM 圖(來源:受訪者)

 

該研究團隊表示,BTUSE 傳(chuan) 感器中的放大效應,源於(yu) 傳(chuan) 感膜和振動膜之間的尺寸差異。其中,肌肉運動會(hui) 導致傳(chuan) 感器中的空氣被壓縮,但這種影響可以忽略不計,因此由感測膜的輕微變形擠壓出的空氣體(ti) 積等於(yu) 振動膜的體(ti) 積。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | 傳(chuan) 感膜和振動膜之間的尺寸差異(來源:受訪者)

 

BTUSE 傳(chuan) 感器產(chan) 生電氣輸出信號的原理,是基於(yu) 接觸帶電和靜電感應的耦合。下圖顯示了它在肌肉收縮和放鬆過程中的發電過程,包括電荷轉移行為(wei) 和 COMSOL 模擬的電位分布。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

圖 | BTUSE 傳(chuan) 感器在肌肉收縮和放鬆過程中的發電過程,及電荷轉移行為(wei) 和 COMSOL 模擬的電位分布(來源:受訪者)

 

在初始階段,摩擦薄膜帶負電,碳基電極則帶正電,這些電荷是通過幾次接觸分離循環獲得的。

在傳(chuan) 感器的肌肉收縮階段,由振動膜驅動的頂部電極會(hui) 逐漸離開摩擦材料,這會(hui) 導致兩(liang) 層之間的電位差逐漸增加。

然後,電子會(hui) 從(cong) 頂部電極流到銀納米線底部電極。在肌肉鬆弛的中間階段,在傳(chuan) 感膜的彈性力和以及振動薄膜的壓力下,頂部電極可逐漸回到初始狀態,這會(hui) 導致電位差逐漸降低,並會(hui) 讓外部電路產(chan) 生相反的電流。而這正是信號生成過程的整個(ge) 周期。

 

采用防水性材料與密封結構,可在出汗環境下穩定工作

 

除了研究摩擦材料對 BTUSE 傳(chuan) 感器輸出的影響外,該研究團隊還研究了裝置結構尺寸對輸出的影響,如振動膜的尺寸、厚度以及呼吸孔的布置。

 

為(wei) 實現對於(yu) BTUSE 傳(chuan) 感器性能的定量描述,他使用振動平台和位移傳(chuan) 感器來控製振動膜的變形。

 

實驗中,他們(men) 發現了一個(ge) 規律現象:隨著變形的增加,不同構型的傳(chuan) 感器的輸出,經曆了三個(ge) 變化階段,分別是線性增加階段、非線性增加階段和飽和階段。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

(來源:受訪者)

 

這三個(ge) 階段分別對應 BTUSE 傳(chuan) 感器在肌肉驅動的小變形、大變形和過度變形中工作。該研究團隊還發現,薄膜厚度越薄,靈敏度和信號強度也越好。

緊接著,該團隊還研究了傳(chuan) 感器的表征如頻率響應、穩定性和防水。如前所述,一定範圍內(nei) ,BTUSE 傳(chuan) 感器的電學輸出會(hui) 隨著頻率增加而逐漸增大。為(wei) 研究長期實際應用中的穩定性和耐久性,該研究團隊以5Hz的頻率對其進行了 60 000 個(ge) 周期的重複變形實驗。

盲人抖動臉肌就能“打字”!重慶大學研發免提打字通信係統|專訪

 

(來源:受訪者)

 

結果證明,整個(ge) 過程中傳(chuan) 感器的輸出始終保持穩定,由於(yu) 其外層的 PDMS 密封層,即便浸水後其輸出性能也不受影響,因此可在出汗環境下穩定工作。

談及未來,該團隊表示免提係統不是終點而是起點,病魔無情,科技有愛,未來我們(men) 會(hui) 致力於(yu) 研發更靈敏、更舒適、更友好的人機交互係統,讓人人都能感受到科技的魅力,享受到科技的便利。據世界衛生組織(WHO)統計,目前全球有 10 億(yi) 左右殘疾人。他們(men) 也被要求在疫情期間出示健康碼,這就得使用智能手機。

多數殘疾人用的手機,是基於(yu) 正常人的需求設計而來。智能產(chan) 品給正常人帶來了方便,但卻可能給他們(men) 帶來更大的不便,因此專(zhuan) 為(wei) 殘疾人設計的人機交互係統寥寥無幾。而該團隊的工作瞄準這一小眾(zhong) 群體(ti) ,正是科技向善的彰顯。


關(guan) 注【深圳科普】微信公眾(zhong) 號,在對話框:
回複【最新活動】,了解近期科普活動
回複【科普行】,了解最新深圳科普行活動
回複【研學營】,了解最新科普研學營
回複【科普課堂】,了解最新科普課堂
回複【科普書(shu) 籍】,了解最新科普書(shu) 籍
回複【團體(ti) 定製】,了解最新團體(ti) 定製活動
回複【科普基地】,了解深圳科普基地詳情
回複【觀鳥星空体育官网入口网站】,學習(xi) 觀鳥相關(guan) 科普星空体育官网入口网站
回複【博物學院】,了解更多博物學院活動詳情
 

聽說,打賞我的人最後都找到了真愛。
做科普,我們是認真的!
掃描關注深i科普公眾號
加入科普活動群
  • 參加最新科普活動
  • 認識科普小朋友
  • 成為科學小記者