有初科技|5G遠(yuǎn)程醫(yī)療時(shí)代，談?wù)勈謩葑R別的VR/AR交互應(yīng)用場景

時(shí)間：2021-08-11作者：智匯有初(廣州)科技有限公司瀏覽：64

從新型冠狀病毒肺炎疫情開始到現(xiàn)在，中國是世界上疫情控制做得較好的國家。不過，關(guān)聯(lián)境外輸入的零星小規(guī)模偶發(fā)疫情持續(xù)不斷，一旦疫情出現(xiàn)必然導(dǎo)致隔離發(fā)生，醫(yī)院作為戰(zhàn)疫主戰(zhàn)場，影響許多需要醫(yī)療救助的病人。幸運(yùn)的是，5G技術(shù)推動的遠(yuǎn)程醫(yī)療快速發(fā)展，尤其VR/AR技術(shù)立體呈現(xiàn)病人器官、組織病變形態(tài)，允許醫(yī)生遠(yuǎn)程清晰診斷病人的病灶；手勢識別精準(zhǔn)定位醫(yī)生的動作與病人身體的位置，遠(yuǎn)程控制醫(yī)療設(shè)備為病人診療、手術(shù)，為遠(yuǎn)程病人帶來曙光。



一、遠(yuǎn)程醫(yī)療“VR/AR+手勢識別”方案落地性強(qiáng)

自從5G誕生，云計(jì)算速度延遲的基礎(chǔ)設(shè)施障礙沒了，我們落地遠(yuǎn)程醫(yī)療就要考慮三方面因素：一是精度，醫(yī)療的精度必須高到離譜，有初科技手勢控制精度能達(dá)到0.01mm級別；二是立體，醫(yī)生也是人，有正常的交互習(xí)慣，建立VR/AR病人器官、組織模型，較大化接近人體并看得較清楚；三是成本，類似一針?biāo)?00多萬的產(chǎn)品沒有普及**，這是一個(gè)軟件算法配合硬件的方案，軟件算法效率提升可以降低硬件成本，進(jìn)而降低整體成本，實(shí)現(xiàn)“普通攝像頭+深度學(xué)習(xí)”方案，大數(shù)據(jù)進(jìn)一步訓(xùn)練，精準(zhǔn)度越來越高。


首先來講，基于計(jì)算機(jī)視覺的手勢識別的技術(shù)方案優(yōu)勢明顯，從醫(yī)生動作信息輸入到VR/AR模型做出反饋，這是一個(gè)動態(tài)過程，降低了硬件的束縛，為實(shí)時(shí)手術(shù)提供了可行性，而且，手勢識別降低了硬件的依賴，讓醫(yī)生的手避免被其他物體遮擋，順應(yīng)醫(yī)生視覺習(xí)慣，而且0.01mm識別精度比醫(yī)生手術(shù)刀微弱抖動還小，技術(shù)的落地基礎(chǔ)有了。

其次，人體是一個(gè)三維立體結(jié)構(gòu)，而手勢識別也是三維立體識別，VR/AR模型呈現(xiàn)也是三維立體。這過程類似增強(qiáng)CT、MR或造影支持，從機(jī)器視覺獲取人體三維模型信息到VR/AR模型立體呈現(xiàn)，呈現(xiàn)在醫(yī)生眼前的就是一個(gè)立體的病人器官、組織，并清晰展示病灶情況，此時(shí)，醫(yī)生遠(yuǎn)程診斷病人情況，需要手術(shù)的情況下，也可以借助遠(yuǎn)程**VR/AR模型為基礎(chǔ)的手術(shù)平臺，實(shí)現(xiàn)兩地病人與醫(yī)生的鏈接，完成遠(yuǎn)程手術(shù)，為來不及遠(yuǎn)程運(yùn)送的急重癥病人提供新的希望。

最后，任何科技的產(chǎn)生都是為了造福大眾，成本的高企無法適應(yīng)市場需求，進(jìn)行較優(yōu)方案降低成本也是必須考慮的因素。目前來講，基于機(jī)器視覺的手勢識別方案分為兩種“一種是用深度攝像頭，一種是用一個(gè)或者多個(gè)普通攝像頭實(shí)現(xiàn)。 而其中深度攝像頭的方案又分為兩種，TOF（Time of Flight，光飛時(shí)間）和結(jié)構(gòu)光?！倍煌桨傅牟顒e就像人的一只眼睛、兩只眼睛看到景深層次不同，但是一只眼睛借助已有信息、關(guān)鍵提示等其他輔助軟條件也可以達(dá)到預(yù)定效果，而普通攝像頭信息延遲**TOF數(shù)倍、拍攝角度大于TOF很多，雖然提高算法要求，但是降低綜合成本，較及時(shí)、全面獲取信息，也較適應(yīng)醫(yī)療場景需求。



二、遠(yuǎn)程醫(yī)療VR/AR硬件低成本、高精度手勢識別技術(shù)可行

在手勢識別應(yīng)用于VR/AR硬件方面，有初科技有落地項(xiàng)目進(jìn)行實(shí)際驗(yàn)證，并把成本分成不同方案進(jìn)行呈現(xiàn)，當(dāng)然，包括較低成本的實(shí)現(xiàn)方案。


對于醫(yī)療來講，高精度就是病人的生命，有初科技實(shí)現(xiàn)0.01mm識別精度，為遠(yuǎn)程精準(zhǔn)醫(yī)療提供技術(shù)可行性。實(shí)現(xiàn)手勢識別依賴“攝像頭+算法”的合理方案，得益于機(jī)器視覺和深度學(xué)習(xí)技術(shù)的發(fā)展，我們利用普通攝像頭實(shí)現(xiàn)高精度的手勢識別，對于應(yīng)用的落地是一大利好。

而且，手勢識別的高精度擺脫穿戴設(shè)備也是一大突破，一個(gè)穿戴設(shè)備套在手上，增加一層交互傳感的誤差，這個(gè)誤差遠(yuǎn)遠(yuǎn)大于手術(shù)刀的誤差，這一點(diǎn)無手套、無標(biāo)記的手勢識別也是有初科技的優(yōu)勢。

對于醫(yī)療來講，延遲和視角是高精度的間接影響因素，卻直接影響著醫(yī)生對病人的**。利用現(xiàn)有SLAM攝像頭實(shí)現(xiàn)手勢識別，大部分用于SLAM的攝像頭均為魚眼或者廣角灰度攝像頭，在實(shí)現(xiàn)的精度上，用同樣的計(jì)算資源或者用同樣復(fù)雜度模型的話，基于深度的或者灰度的攝像頭能夠做到精度較高，RGB的精度反而相對會弱一些，因此，直接在SLAM的相機(jī)上實(shí)現(xiàn)手勢識別的精度也能夠達(dá)到比較滿意的效果。

在成本、延遲、廣角都占據(jù)優(yōu)勢的條件下，SLAM相機(jī)進(jìn)一步加速“普通攝像頭+深度學(xué)習(xí)”方案落地，也可能是未來的主流方案，等待臨床數(shù)據(jù)去訓(xùn)練和驗(yàn)證。



三、遠(yuǎn)程醫(yī)療“較自然交互”手勢識別成為VR/AR選擇

較好的交互就是沒有交互，當(dāng)下的交互方式都是人適應(yīng)機(jī)器，這樣就容易導(dǎo)致用戶的操作失誤，醫(yī)生的操作失誤就會導(dǎo)致病人的生命危險(xiǎn)，所以，交互方式適應(yīng)人才是較佳方案。


人類誕生語言前，手勢識較原始、較自然的交流方式，成為人的一種習(xí)慣、潛意識，出錯(cuò)率大大降低，而手勢識別就是基于較自然的交互，適應(yīng)醫(yī)生的習(xí)慣，讓醫(yī)生全身心投入**，而不是分心于交互習(xí)慣。

而無論具有高度三維立體沉浸感的VR/AR，還是交互自然而生的手勢控制，模仿人體日常生活中的行為方式，如揮手、握手、擊掌、猜拳、抓取……動態(tài)追蹤手勢進(jìn)行實(shí)時(shí)識別，**動作識別的及時(shí)性、準(zhǔn)確性。

為了提高真實(shí)手術(shù)場景的觸感，基于VR/AR定制手術(shù)刀、鑷子等設(shè)備，實(shí)現(xiàn)手勢的觸覺反饋體驗(yàn)，進(jìn)一步感知手部復(fù)雜自由度的姿態(tài)和意圖，未來手勢識別成為VR/AR設(shè)備主流交互方式指日可待。


智匯有初(廣州)科技有限公司專注于電腦一體機(jī),筆記本電腦,投影電腦等

• 詞條

  詞條說明

• 智匯有初|我們知道美國發(fā)明****高，怎么申請呢？

  在科技領(lǐng)域，美國擁有**良好的科技研發(fā)實(shí)力、儲備、人才，積累了巨大的綜合國力優(yōu)勢，成為一個(gè)稱霸世界的**級大國，而**是科技的皇冠，發(fā)明**是皇冠**上的明珠，怎么申請美國發(fā)明**呢？ 中國類似的流程，大同小異的分類 一般情況下，美國**有“外觀、植物、發(fā)明”三種，智匯有初通過了美國發(fā)明**的申請，而負(fù)責(zé)機(jī)構(gòu)屬于商標(biāo)局，申請流程類似中國，一些稱謂不同而已。 而且，美國發(fā)明**也是三種**審核較嚴(yán)格的一

• 有初科技|用“智慧之眼”透視質(zhì)量控制盲點(diǎn)

  在“中國制造2025”戰(zhàn)略推動下，以工業(yè)物聯(lián)網(wǎng)為代表的智能制造產(chǎn)業(yè)迅速崛起，掀起云計(jì)算、大數(shù)據(jù)、人工智能等信息技術(shù)與傳統(tǒng)工業(yè)的深入融合，向智能化、數(shù)字化制造演進(jìn)，帶來工業(yè)生產(chǎn)方式的深遠(yuǎn)變革。 如何利用人工智能優(yōu)化制造業(yè)務(wù)鏈上的生產(chǎn)**？以人工智能機(jī)器視覺為例，有初科技的Space Touching技術(shù)變身機(jī)器視覺“智慧之眼”，取代人工肉眼進(jìn)行輪轂、電路板、鍛造件、噴漆等裂隙、瑕疵產(chǎn)品質(zhì)檢，推進(jìn)制造

• 有初科技|為什么說機(jī)器視覺是實(shí)現(xiàn)中國制造2025的關(guān)鍵？

  從鴉片戰(zhàn)爭、洋務(wù)運(yùn)動到**，中國科技受制于人的局面沒有得到根本扭轉(zhuǎn)，導(dǎo)致美國肆無忌憚地掐斷中國芯片供應(yīng)，給中國企業(yè)造成巨大損失?？上驳氖牵覀儑业摹吨袊圃?025》全面推進(jìn)實(shí)施制造強(qiáng)國的戰(zhàn)略文件開始發(fā)力短板科技，這是由百余名院士*著手制定，為中國制造業(yè)未來10年設(shè)計(jì)**層規(guī)劃和路線圖，通過努力實(shí)現(xiàn)中國制造向中國創(chuàng)造、中國速度向中國質(zhì)量、中國產(chǎn)品向中國品牌三大轉(zhuǎn)變，推動中國到2025年基本實(shí)

• 有初科技|Space Touching技術(shù)，賦能沉浸式互動投影空間

  在工業(yè)化時(shí)代，工業(yè)化大生產(chǎn)帶來工業(yè)標(biāo)準(zhǔn)產(chǎn)品的生產(chǎn)效率提升，一批率先完成工業(yè)化的英國、美國、法國等西方國家企業(yè)意識到競爭中“公關(guān)、廣告”的重要性，并發(fā)明了5W理論、4P營銷模型、多級傳播理論、定位理論、漏斗模型、STP理論等，誕生了大衛(wèi)·奧格威、哈羅德·拉斯韋爾、拉扎斯菲爾德、馬歇爾·麥克盧漢等一大批傳播學(xué)大師，奠定了現(xiàn)代公關(guān)、廣告行業(yè)的理論根基。然而，進(jìn)入互聯(lián)網(wǎng)時(shí)代，中國電商、社交網(wǎng)絡(luò)、直播、短視