維修AR智能操作引導

Intelligent operation
泉系列商用開水器

JHARMaintance

JHARMaintance維修維護 AR智能輔助系統基于3D數字化維修手冊和現場AR裝備實現維修過程的目標識別、操作引導、操作防錯等,在實際維修現場為維修操作人員提供實時、智能化引導。

圖片
  • 產品介紹
  • 規格參數
  • 售后服務
  • 樣本下載
  • JHARMaintance維修維護AR智能化輔助系統包含軟件子系統(初始虛實注冊軟件、AR智能化引導軟件)和現場AR硬件設備(AR眼鏡或平板電腦、AR輔助mark標以及其他傳感器)。

    用戶在一個環境首次使用需要進行虛實注冊。用戶首先調入3D數字化維修操作手冊文件包,然后通過語音、手勢等方式選擇維修/故障處理內容,系統即根據所選擇的內容在真實維修現場進行維修目標識別、維修動作引導、操作正誤判斷等,以此來引導用戶完成正確的裝備的維修維護操作。用戶在維修過程中,可以隨時查閱維修手冊、2D電子圖紙、3D操作演示。

    主要功能特色:

    一、AR智能操作引導(平板電腦終端)

    ?  可實現現場多人同時觀看維修過程。需手持,適合現場多人配合進行維修操作的過程;

    AR智能操作引導(平板電腦終端).jpg

    圖:AR智能操作引導(平板電腦終端)

    ?  語音識別:通過麥克風對聲音進行捕獲并識別出用戶發出的特定語音命令詞,用于用戶發送維修指令或交互操作指令;

    ?  虛實注冊:根據Marker標志與注冊攝像頭位姿關系,完成虛實場景之間的定位注冊;

    ?  動態視點計算:誘導維修時,根據攝像頭獲取的Marker標志信息,動態計算虛擬視點的位姿;

    ?  維修工藝指導:對維修邏輯進行描述,建立故障檢測、故障列表與故障維修之間的邏輯關系,記錄維修過程中每一步驟的工藝信息,包括維修對象、操作工具、注意事項、維修工藝動畫等,為維修邏輯控制提供數據支持;

    ?  圖像采集與處理:實時采集維修對象、標志點、用戶手等實物對象的圖像,進行預處理,壓縮并編碼后以視頻流方式傳輸到遠程專家終端;

    ?  音頻信號采集與處理:實時獲取維修者語音并進行必要處理,形成可發送給遠程專家的音頻信息,以及識別語音命令后進行菜單和模型操作;

    ?  維修手冊查閱:在誘導維修過程中呼叫數字化維修手冊,查閱故障檢測方法、維修工藝及相關電子資料等;

    二、AR智能操作引導(可穿戴式便攜AR終端)

    使用時直接由維修人員佩戴,背負式計算機背在身上,通過電源和數據線與可穿戴式透視眼鏡、高清攝像頭、手勢識別傳感器連接,輔助定位標志貼在真實維修對象零部件的特定位置。通過姿態交互技術、語音交互技術與頭戴顯示技術實現能夠解放裝配人員雙手的人機交互操作引導模式。

    ?  手勢識別:通過Leap Motion傳感器檢測手的姿態,并根據多個手的姿態以及運動軌跡計算用戶手勢,用于用戶發送維修指令或交互操作指令;

    ?  語音識別:通過麥克風對聲音進行捕獲并識別出用戶發出的特定語音命令詞,用于用戶發送維修指令或交互操作指令;

    ?  虛實注冊:根據Marker標志與注冊攝像頭位姿關系,完成虛實場景之間的定位注冊;

    ?  動態視點計算:誘導維修時,根據攝像頭獲取的Marker標志信息,動態計算虛擬視點的位姿;

    ?  維修工藝指導:對維修邏輯進行描述,建立故障檢測、故障列表與故障維修之間的邏輯關系,記錄維修過程中每一步驟的工藝信息,包括維修對象、操作工具、注意事項、維修工藝動畫等,為維修邏輯控制提供數據支持;

    虛實融合的維修工藝指導.jpg

    圖:虛實融合的維修工藝指導

    ?  圖像采集與處理:實時采集維修對象、標志點、用戶手等實物對象的圖像,進行預處理,壓縮并編碼后以視頻流方式傳輸到遠程專家終端;

    ?  音頻信號采集與處理:實時獲取維修者語音并進行必要處理,形成可發送給遠程專家的音頻信息,以及識別語音命令后進行菜單和模型操作;

    ?  維修手冊查閱:在誘導維修過程中呼叫數字化維修手冊,查閱故障檢測方法、維修工藝及相關電子資料等;

    維修過程中的工藝手冊電子資料查閱.jpg

    圖:維修過程中的工藝手冊/電子資料查閱

    三、遠程專家指導

    維修現場用戶通過佩戴的AR眼鏡或平板電腦上的攝像頭實時獲取現場實時圖像,系統將這些實時圖像通過視頻流方式發送到后方的維修指導中心,使得后方專家能夠同步觀察維修現場。

    呼叫遠程專家端進行實時支援.jpg

    圖:呼叫遠程專家端進行實時支援

    ?  專家操作:后方專家對前方維修人員進行在線維修指導與操作演示;

    ?  維修人員操作:維修人員現場操作演示過程可通過3D場景實時傳輸給后方專家端同步觀察;

    ?  前后方實時、可視化協同:基于同一個3D數字化維修手冊的現場與遠程專家實時、可視化協同;

    現場實時場景.jpg

    圖:現場實時場景

    ?  雙向語音對話:前后方建立連接后,雙方可進行雙向語音通話。且與3D場景協同、現場的視頻傳輸與后方觀看等應用互不影響;

    ?  維修手冊查看:專家指導過程中可隨時查看維修手冊,包括現有維修工藝流程以及各類工藝資料;

?2019上海江衡軟件科技有限公司  公司地址:盛榮路88弄1號樓409室(華夏中路和金科路交叉口)  滬ICP備14042341號-1   wanan   滬公網安備 31011502014258號   gs