這個系統的核心在于將基于三維視覺的精準幾何感知模型與擅長規劃的二維圖文大模型進行結合。研究團隊創造性地將基于三維視覺的GAPart技術引入了機器人的物體操控系統SAGE中。這一創新使SAGE成為首個三維具身圖文大模型系統，為機器人從感知、物理交互到反饋的全鏈路提供了全新的思路。

系統的一大亮點是其交互反饋機制。研究團隊引入了一種機制，能夠在互動過程中利用新獲得的觀測結果來更新感知結果并相應調整操作。為了實現這一目標，他們為互動過程設計了一個兩部分的反饋機制。此外，為了解決首次觀測中可能出現的遮擋和估算錯誤問題，研究者們提出了一個利用交互式觀測來增強操作的模型。? ?

這項研究的意義在于顯著提升了機器人在物體識別和操作方面的智能水平。SAGE系統實現了泛化的三維零件檢測和精確的位姿估計，克服了以往二維圖像模型在計算精度和推理能力上的局限。這不僅在決策層面增強了機器人的理解能力和問題解決能力，而且在執行層面展示了基于GAPart位姿的強大物理操作能力，實現了對不同零件的泛化性操作。

這一突破性進展為機器人在智能家居、家電操控等領域的應用開辟了新的道路，向通用性和智能化邁出了重要一步。未來，這項技術有望在智能家居系統中得到廣泛應用，為用戶提供更加便捷、智能的生活體驗。

二、深水應用的生物模擬驅動技術

隨著深海探索需求的增加，開發能適應極端水壓的高效水下機器人變得愈發重要。傳統的驅動技術在深水環境中往往面臨性能受限的問題。為了提升能源效率和設備可靠性，北京大學材料科學與工程學院楊槐團隊領銜的研究項目"打結人工肌肉用于生物模擬驅動的深水應用"取得了重大突破。

研究團隊借鑒軟體動物的肌肉機制，發展出了創新的"打結人工肌肉"技術。這種人造肌肉由三維打印液晶彈性纖維和加熱細線編織而成，采用獨特的分層編織結構。通過數值模擬和實驗驗證，研究人員發現這種結構可以提供更大的線性沖程、力速率和損傷耐受性。

這種打結人工肌肉展現出令人矚目的性能。在水下3000米深處，它能以1赫茲的頻率顯示出可靠的驅動周期。研究團隊通過推動模型船的實驗，進一步展示了其在實際應用中的潛力。這項成果的意義在于解決了傳統驅動技術在深海應用中的局限性，為構建輕量、智能、高適應性的水下機器人提供了全新的動力源。打結人工肌肉具有高效能量轉換、快速響應、自我修復及生物相容性等多重優勢，有望重塑深海探測設備的設計理念。

這項技術的應用前景廣闊，可能推動深海科研、資源勘探、環境保護乃至深海救援等領域實現技術跨越。隨著材料科學與仿生工程技術的進一步發展，打結人工肌肉有望實現更大規模的生產與更廣泛的應用場景拓展，為深海探索和開發提供強有力的技術支持。

三、多模態軟體兩棲機器人的創新設計

在兩棲機器人領域，軟體機器人因其能夠主動或被動地根據周圍環境調整自身形態，以及具有固有柔順性的獨特優勢，展現出了巨大的潛力。然而，在實現高機動性和多地形適應能力方面，軟體兩棲機器人仍然面臨著巨大挑戰。北京大學工學院謝廣明教授團隊的研究人員在這一領域取得了重要突破。

受果蠅幼蟲和海蛞蝓獨特的運動模式啟發，研究團隊提出了一種基于塑料片增強的薄膜氣動驅動器的軟體兩棲機器人。這款機器人的運動核心是由四層薄型氣動執行器組成的驅動系統。研究人員對傳統設計進行了創新性改進，在兩個腔室之間嵌入了一片不可拉伸的塑料片。這一設計不僅實現了對執行器彎曲形態的限制，顯著提升了機器人的輸出扭矩，還能在機器人身體彎曲時儲存能量，有助于機器人在隨后身體展平時實現更遠的跳躍距離。

這種將柔軟薄膜與半剛性塑料片相結合的設計理念，為機器人提供了執行連續跳躍和游動所需的靈活性與強度。通過身體交替的彎曲和展平動作，該機器人在陸地上實現了最高移動速度1.77BL/s，而在水中則達到了最高游動速度0.69BL/s，其性能均超越了現有的軟體兩棲機器人。

研究團隊還借鑒了果蠅幼蟲的跳躍機制來優化機器人設計。通過觀察果蠅幼蟲的彎曲狀態，研究人員發現其尾部曲率大于頭部曲率的獨特結構保證了向前的跳躍運動。基于這一發現，研究人員在機器人設計中加入了一對側鰭，用來限制機器人頭部彎曲。這一設計細節確保了在身體彎曲時，機器人能夠尾部與地面充分接觸，從而幫助其實現更穩定地向前跳躍。

這項研究的軟體兩棲機器人設計展現出卓越的多地形適應性和多樣化運動能力，顯著提高了機器人在復雜環境中的機動性和靈活性。它能夠有效適應斜坡、障礙、臺階以及不同質地的地面如泥地、沙地和礫石等，使其能夠在多變的地形中執行任務。這一特性對于搜索與救援、戰場偵察和環境監測等領域具有重要意義。? ?

此外，該機器人展現了多種運動模態，包括在陸地和水生環境中的前進、后退、轉彎、自翻等動作，增加了其適用場景和操作復雜度。高跳躍速度和游泳速度指標表明了其優越的運動效率，突破了以往軟體兩棲機器人的速度限制，為未來高速、高效軟體機器人的設計和應用提供了新的視角和技術參考。

四、智能光伏清洗解決方案

隨著太陽能產業的快速發展，光伏板的清洗維護問題日益凸顯。傳統的人工清洗方式存在諸多問題，包括成本高、周期長、效率低、水資源浪費嚴重等。此外，人工操作時易受力不均勻影響，容易導致光伏電板刮痕或隱裂。特別是在水洗過程中，無法精確掌控水壓變化，高水壓雖然有助于提高清洗效果，但也可能對光伏電板造成不良沖擊。

為解決這些問題，北大智慧城市實驗室提出了采用D2PV智慧終端及兩棲光伏清洗機器人的創新解決方案。這一方案不僅提高了清洗效率，降低了維護成本，還能夠避免傳統清洗方式可能導致的光伏電板損害和安全風險。

D2PV智慧終端的設計包含了多項創新功能。首先，它能夠收集光伏板的性能數據，如電壓、電流和溫度。這些數據有助于實時監測系統的運行狀況，為優化和故障排除提供基礎。其次，通過互聯實現遠程監控，使用戶能夠隨時隨地查看太陽能系統的狀態，提高了系統管理的靈活性和便利性。? ?

此外，D2PV智慧終端還具備性能優化功能，能夠自動調整設置以最大化能源產出，可能包括調節光伏板的角度、管理電池存儲等。這有助于提高太陽能系統的整體效率。最后，它還具備故障診斷功能，能夠識別系統中的問題并發出警報，使運維人員能夠及時采取措施，降低維護成本和系統停機時間。

與D2PV智慧終端配套的兩棲光伏清洗機器人則進一步提升了清洗效率和質量。這種機器人能夠適應不同的光伏板安裝環境，無論是地面還是水上光伏電站，都能夠進行高效清潔。它采用精確控制的水壓系統，既能確保清洗效果，又能避免對光伏板造成損害。

這項技術的應用不僅局限于光伏領域，還延續了無人機在建筑清洗領域的成功經驗。隨著對自動化和智能化解決方案的需求不斷增長，這種多用途和全面化的技術演進為無人機在未來多個行業中的應用提供了堅實的基礎，并有潛力進一步推動整個無人駕駛技術產業的發展。

五、具身大模型在機械臂控制中的應用

人工智能和機器人技術的融合一直是研究熱點。北京大學董豪團隊最新發布的具身大模型研究成果"ManipLLM"在這一領域取得了重要突破。這項研究探索了大語言模型在控制機械臂完成各種日常物體操作方面的潛力，實現了僅通過一張物體就能指導機械臂完成復雜操作的目標。

ManipLLM的核心創新在于利用大語言模型的推理和面對開放世界的泛化能力，成功提升了模型在物體操縱方面的泛化能力。與傳統方法不同，ManipLLM致力于探索和激發大語言模型在預測低層原子任務的能力，從而實現對許多類別物體的以物體為中心的通用操縱。

研究團隊通過設計了三個學習階段來實現這一目標。首先，他們利用大語言模型的推理能力來解析任務指令，并生成相應的操作計劃。其次，系統將這些計劃轉化為具體的操作點和方向，直接在物體圖像上進行預測。最后，通過一個無需學習的閉環主動式阻抗適應策略，系統能夠完成完整的操縱過程。

這種閉環主動式阻抗適應策略的應用是ManipLLM的另一個重要創新。在獲得初始接觸姿態的輸出后，系統利用這一策略來不斷微調末端執行器的旋轉方向，從而靈活地適應物體的形狀和軸向，逐步完成對物體的操控任務。具體來說，系統會在當前方向的周圍加入一些微小的變化，生成多個可能的移動方向，然后嘗試每個方向，選擇能讓物體移動最遠的方向作為下一步的移動方向。

ManipLLM的研究成果具有重要的理論和實踐意義。它將大語言模型的推理和泛化能力引入機械臂控制領域，實現了對各類日常物體的精確操控。這一技術不僅顯著提升了模型在未知環境中的泛化能力，還展現了其在多樣化任務執行中的出色表現。

此外，ManipLLM簡化了人機交互過程，使得非專業用戶也能輕松指導機械臂完成任務。這為智能機器人在家庭服務、醫療輔助和災難救援等潛在應用場景中的應用開辟了新的可能性。? ?

這項研究推動了智能機器人領域的發展，為智能機器人與人類生活更緊密結合提供了新的道路和技術基礎。未來，基于ManipLLM的技術有望在各種需要精確物體操控的領域得到廣泛應用，從而提高工作效率，改善人機協作體驗。

六、醫療機器人在微創手術中的應用

在醫療領域，機器人技術的應用正在不斷拓展，特別是在復雜的微創手術中。北京大學李學松教授領導的上尿路修復團隊最近發表了一篇關于三維重建導航輔助機器人輸尿管成形術治療腔靜脈后輸尿管的研究文章，為這一罕見先天性發育畸形的治療提供了新的解決方案。

腔靜脈后輸尿管是一種罕見的先天性發育畸形，輸尿管沿下腔靜脈后方繞行再回到正常位置，可引起輸尿管梗阻和腎積水。傳統的手術治療非常具有挑戰性，需要對下腔靜脈的后方和側面進行廣泛且精細的解剖工作，稍有不慎可能造成大出血。

李學松教授團隊開發的三維重建導航輔助機器人輸尿管成形術為這一復雜手術提供了創新的解決方案。這項技術結合了三維重建、導航系統和機器人手術的優勢，大大提高了手術的精確性和安全性。? ?

研究團隊詳細展示了該項手術的具體技術細節，包括患者體位、trocar布局和機器人對接位置，以及腔靜脈后輸尿管的定位、游離、離斷和體內吻合等步驟。這些詳細的技術說明為其他醫療機構開展類似手術提供了寶貴的參考。

更重要的是，研究團隊通過分析不同手術類型的臨床數據和隨訪結果，證明了三維重建導航輔助機器人輸尿管成形術治療腔靜脈后輸尿管的安全性和可行性。這一結論為該技術的臨床推廣奠定了堅實的基礎。

這項技術的應用意義重大。首先，它為腔靜脈后輸尿管這一罕見疾病的治療提供了一個安全、有效的新選擇。其次，該技術的成功應用展示了機器人輔助手術在復雜泌尿系統手術中的潛力，為其他類型的微創手術提供了借鑒。最后，這項研究為世界范圍內的上尿路修復醫生提供了寶貴的經驗和參考，有助于推動這一領域的技術進步。

隨著技術的進一步完善和推廣，三維重建導航輔助機器人輸尿管成形術有望成為治療腔靜脈后輸尿管的標準方法，為許多患者帶來福音。同時，這項技術的成功也為機器人在其他復雜微創手術中的應用開辟了新的道路，推動了整個醫療機器人領域的發展。