MNN TaoAvatar是阿里巴巴基于 MNN 框架打造的一款本地運行、完全離線的手機端3D數字人應用。它將大語言模型（LLM）、語音識別（ASR）、語音合成（TTS）、聲音驅動表情動作（A2BS）、神經渲染（NNR）等模塊融合到Android手機上，無需聯網即可實現多模態互動。核心功能亮點包括離線聊天體驗、精準語音識別、流暢語音輸出、自動表情聯動和精細渲染表現，所有功能均在本機完成，確保數據安全與隱私。

MNN TaoAvatar阿里巴巴數字虛擬人app介紹

歡迎使用MNN TaoAvatar App，這是一款基于TaoAvatar論文(arXiv:2503.17032v1)的功能齊全的移動應用。

該項目將多模態AI虛擬形象直接呈現在 Android設備上，所有模型均可在本地運行，包括：

LLM（大型語言模型）

ASR（自動語音識別）

TTS（文本轉語音）

A2BS（音頻到BlendShape）

NNR（神經渲染）

MNN TaoAvatar阿里巴巴數字虛擬人app功能

特征

由本地法學碩士(LLM)提供支持的對話式人工智能

嵌入ASR模型的語音轉文本

使用設備上的TTS進行語音合成

通過A2BS(Audio-to-BlendShape)實現頭像行為動畫

富有表現力的虛擬形象的實時神經渲染

100%離線且注重隱私

設備要求

由于所有AI模型都是在設備本地執行的，因此該項目需要高性能硬件才能順利運行。

最低設備要求

Snapdragon 8 Gen 3或同等旗艦SoC

示例：Snapdragon 8 Gen 3、Dimensity 9200以獲得流暢的體驗。

8 GB RAM或更多

5 GB可用磁盤空間用于模型文件

ARM64架構

低于這些規格的設備可能會出現延遲、音頻卡頓或功能受限的情況。

MNN TaoAvatar阿里巴巴數字虛擬人app相關新聞

MNN TaoAvatar:手機上的3D數字人“魔法棒”

MNN TaoAvatar是阿里巴巴基于其開源的輕量級深度學習推理框架MNN開發的3D數字人技術。與傳統的平面化Live2D技術不同，MNN TaoAvatar支持真3D虛擬角色的實時生成與驅動，能夠在手機等移動設備上以高達90FPS的幀率運行，帶來流暢的交互體驗。

該技術結合了3D高斯濺射（3D Gaussian Splatting）技術，通過多視角圖像序列生成照片級逼真的3D全身虛擬形象。無論是面部表情、手勢還是身體姿態，MNN TaoAvatar都能實現毫米級的精細控制，確保虛擬角色的口型、表情和動作自然同步，為用戶帶來栩栩如生的視覺體驗。

技術亮點:輕量高效，多模態驅動

MNN TaoAvatar的成功離不開MNN框架的強大性能支持。作為阿里巴巴自2019年開源的推理引擎，MNN以其輕量級、高性能和跨平臺兼容性在業內廣受好評。MNN TaoAvatar在此基礎上進一步優化，具備以下核心優勢:

實時面部捕捉:通過深度學習算法，MNN TaoAvatar能夠精準捕捉用戶的喜怒哀樂，并以低延遲同步到3D虛擬角色，適用于直播、虛擬會議等實時交互場景。

輕量級部署:得益于MNN的模型量化和內存優化技術，MNN TaoAvatar能夠在普通手機上流暢運行，無需高端硬件支持，大幅降低使用門檻。

多模態支持:除了面部表情捕捉，MNN TaoAvatar還支持語音、文本和圖像生成等多種輸入方式，為開發者提供豐富的創作空間。

開源生態:作為阿里開源戰略的一部分，MNN TaoAvatar提供完善的API和工具，方便開發者將其集成到Android和iOS應用中，助力快速開發與部署。

此外，MNN TaoAvatar通過知識蒸餾技術和可學習的高斯混合形狀優化了非剛性變形處理，確保虛擬形象在復雜姿態下依然保持高保真度。這種技術創新使其在資源受限的移動設備上也能實現高質量渲染，堪稱3D數字人領域的“黑科技”。

應用場景:從直播帶貨到元宇宙

MNN TaoAvatar的應用潛力十分廣泛，已在阿里巴巴內部的多個場景中得到驗證。例如，在淘寶和優酷等平臺中，3D數字人技術已用于提升直播帶貨和虛擬活動的用戶體驗。以下是一些典型應用場景:

電商直播:通過逼真的3D虛擬主播，MNN TaoAvatar能夠提升用戶沉浸感，同時降低人力成本。

虛擬社交與會議:用戶可創建個性化的3D虛擬形象，參與虛擬會議或社交互動，增強沉浸式體驗。

元宇宙與AR:MNN TaoAvatar支持在AR設備（如Apple Vision Pro）上運行，為元宇宙和虛擬現實應用提供技術支持。

在線教育與娛樂:通過生動的虛擬角色，MNN TaoAvatar可為教育和游戲內容增添趣味性和互動性。

值得一提的是，MNN TaoAvatar的低存儲需求和高兼容性使其尤其適合移動端和AR設備，為未來元宇宙的普及奠定了技術基礎。

開源賦能:阿里數字人技術的又一里程碑

MNN TaoAvatar的開源標志著阿里巴巴在數字人技術領域的又一重要突破。此前，阿里通義實驗室已推出EchoMimic、OmniTalker等數字人項目，展現了其在該領域的深厚積累。而MNN TaoAvatar的發布，進一步壯大了MNN生態，為全球開發者提供了探索3D數字人應用的便捷工具。

更新日志

版本0.0.1

點擊此處下載

這是我們第一個公開發布的版本；您可以使用asr和tts與應用程序中的3d頭像聊天；如果您有任何疑問，請隨時打開問題尋求幫助。