今天小編分享的科技經驗：我在iPhone上裝了70億參數大模型，來自陳天奇團隊最新成果，歡迎閱讀。
跑大語言模型的門檻，已經降低到一部 iPhone 了。
當然安卓版本也有，只要手機 RAM 夠 6G，聽上去是不是比用 2060 還要震撼？
而且這次還是開箱即用的版本！
這個項目名為 MLC LLM，與之前的 WebLLM 同出自知名學者陳天奇團隊。
截止目前已在 GitHub 上斬獲超 6800 星。
目前可以測試的模型有羊駝家族（基于 LLaMA）的 RedPajama 和 Vicuna。
可選模型參數分别為 30 億和 70 億，與很多在線 Demo 規模也相當了。
RedPajama 團隊表示，這一成果打開了大模型私有化部署的可能性。
話不多說，快來看看體驗如何。
文字功底尚可，但理科是短板
我們選擇了其中的 Vicuna 模型進行測試。
首先測試一下它的文學造詣，于是讓它為四個季節分别寫了一首詩。
韻律嗎，基本上是兩三句一押。
除了詩歌，故事也能創作，甚至還能寫出内心戲來。
不只是愛情，其他類型的故事也難不倒它。
除了文學上的應用，我們不妨再來試試它的實用功能。
我們讓它生成了一道夏威夷披薩的菜譜，看上去還蠻不錯。
旅遊計劃也可以讓它來安排。
我們再來看看它在理工科上的表現怎麼樣。
首當其衝的是代碼，我們讓它嘗試用 Python 寫了一段尋找最大數的代碼。
想不到上來就是一通枚舉……不過結果倒也是符合要求。
def max_of_three ( num1, num2, num3 ) :
if num1 > num2 and num1 > num3:
return num1
elif num2 > num1 and num2 > num3:
return num2
elif num3 > num1 and num3 > num2:
return num3
return None
num1 = 11
num2 = 45
num3 = 14
max_value = max_of_three ( num1, num2, num3 )
print ( "The maximum value is: ", max_value )
不過遇到稍難的問題，它的編程能力就有些捉襟見肘了。
至于數學和邏輯推理則一言難盡，不過畢竟為适配手機參數有限，倒也情有可原。
我們還試了試用中文進行提問，但發現目前對中文的适配還有些問題。
另外，移動 APP 目前還不具有保存聊天記錄功能，切出界面時一定要小心小心再小心。
雖然目前能在手機上跑的大模型能力還有限，但團隊也展示了未來更多發展方向。
比如為用戶定制模型并與雲端公共基礎模型互動、提供離線支持、App 嵌入、去中心化等等。
如何安裝
這款大模型支持 iOS、安卓移動設備，以及 Windows 和 Mac
iOS 用戶可以先安裝好 TestFlight，然後從下面的傳送門申請測試：
傳送門：https://testflight.apple.com/join/57zd7oxa
如果名額已滿，也可以用 GitHub 上的代碼自行編譯安裝
傳送門：https://github.com/mlc-ai/mlc-llm
傳送門：https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk
桌面用戶請參閱官方教程：
傳送門：https://mlc.ai/mlc-llm/
