Mac 專屬大模型框架來了：兩行代碼部署，能聊本地數據還支持中文
Mac 用戶，終于不用羨慕 N 卡玩家有專屬大模型 Chat with RTX 了！大神推出的新框架，讓蘋果電腦也跑起了本地大模型，而且只要兩行代碼就能完成部署。
仿照 Chat with RTX，框架的名字就叫 Chat with MLX（MLX 是蘋果機器學習框架），由一名 OpenAI 前員工打造。
黃院士的框架里有的功能，例如本地文檔總結、YouTube 視頻分析，Chat with MLX 里也都有。
而且包括中文在內共有 11 種可用語言，自帶支持的開源大模型多達七種。
體驗過的用戶表示，雖然計算量負擔對蘋果設備可能大了點，但是新手也很容易上手，Chat with MLX 真的是個好東西。
那么，Chat with MLX 的實際效果究竟怎么樣呢？
用 MacBook 部署本地大模型
Chat with MLX 已經集成到了 pip 命令中，所以在有 pip 的條件下，只需要一行代碼就能完成安裝：
pip install chat-with-mlx
安裝完成后，在終端中輸入 chat-with-mlx 并按回車，就會自動完成初始化并彈出網頁（第一次啟動及下載模型時需要連接到 Hugging Face 服務器）。
將這個頁面向下翻，選擇想用的模型和語言后點擊 Load Model，系統(tǒng)就會自動下載模型信息并加載。
注意如果中途需要更換模型，需要先將前面的模型 Unload 再選擇新模型。
其他模型只要 Hugging Face 上有并且兼容 MLX 框架，也可以手工添加，方法可以到 GitHub 頁中了解。
如果要使用自有數據，需要先選擇類型（文件或 YouTube 視頻），然后上傳文件或填寫視頻鏈接，并點擊 Start Indexing 建立索引。
按照開發(fā)者的說法，只要不點擊 Stop，再次上傳新文件后數據是累加的。當然，也可以不傳數據，直接當成普通大模型來用。
為了避免推理時間過長，我們選擇了規(guī)模較小的 Quyen-SE 來進行測試。
（Quyen-SE 基于阿里的通義千問改造而成，Chat with MLX 的作者也參與了研發(fā)工作。）
首先看看模型不加定制數據的速度，在 M1 芯片的 MacBook 上，這個 0.5B 的模型表現(xiàn)是這樣的，可以說比較流暢。
但在宣傳中，Chat with MLX 的主要賣點，還是本地 RAG 檢索。為了確保素材文檔在模型的訓練數據中不存在，小編從箱底翻出了自己不公開上網的本科畢業(yè)論文。
我們詢問了論文中不同位置的細節(jié)，一共根據文章內容給 Chat with MLX 設計了十個問題。
其中有七個回答是正確（符合文意）的，不過速度和純生成相比要略慢一些。
測試中我們還發(fā)現(xiàn)，模型還有一定的幾率會把提示詞吐出來，不過觸發(fā)條件似乎沒有什么規(guī)律。
但可以看出，為了提高模型的表現(xiàn)，作者已經把給小費這種新興的提示詞技巧都招呼上了。
整體感受下來，可能是受制于算力原因，在蘋果設備上部署本地大模型，效果無法和英偉達的 Chat with RTX 相媲美。
同時，在 GitHub 上，也有許多用戶反饋各種各樣的安裝失敗問題，作者也都進行了回復或跟進，并把程序重新更新了一遍。
但無論如何，選擇本地化部署，數據的安全性可能是更為重要的考量因素；而且從中可以看出，本地化、專屬化的大模型，已經開始出現(xiàn)向消費級產品普及的趨勢。
用網友的話說，升級 AI PC 的時間到了。
GitHub：
https://github.com/qnguyen3/chat-with-mlx
本文來自微信公眾號：量子位 （ID：QbitAI），作者：克雷西
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。
