Mixtral 是 Mistral AI 最新的開源模型。Mistral AI 于 12 月 8 日通過磁力鏈接的一條推文發(fā)布了該模型，沒有任何文檔、解釋或其他評(píng)論。Mistral AI 有幾種流行的開源 LLM 模型，包括 Mistral 7B。
Mixtral 8X7B 的顯著特點(diǎn)是它是一個(gè)混合專家 (MoE) 模型，具有卓越的能力。本指南使用了一些 hack 實(shí)現(xiàn)來使其運(yùn)行。一旦該模型推出幾個(gè)月，它肯定會(huì)獲得更多開源工具的支持。
要在捷智算平臺(tái)上運(yùn)行它，請(qǐng)使用 8X 4090/3090 或 4X A6000/A40 實(shí)例。實(shí)例上需要 120GB 的總 GPU RAM 來運(yùn)行模型。我們使用典型的開發(fā) Pytorch 推薦模板和修改版的 Illama 來運(yùn)行推理。這是一個(gè)沒有指令微調(diào)的基礎(chǔ)模型，因此適當(dāng)?shù)奶崾炯记珊苡袔椭?/p>
運(yùn)行 Mixtral 8X7B步驟
1、選擇模板：
通過在模板中選擇Pytorch 的Devel 模板。
2、租用服務(wù)器：
選擇 8X 4090/3090 或 4X A40/A6000
添加至少 120GB 的磁盤空間
點(diǎn)擊租賃按鈕
如果需要的話，購買積分。
請(qǐng)參閱快速入門指南以獲取幫助。
3、SSH 進(jìn)入機(jī)器：
單擊 >_ 按鈕從實(shí)例卡獲取 SSH 信息
通過 SSH 命令連接到實(shí)例。它看起來像這樣，但包含實(shí)例的端口和服務(wù)器 IP 信息：
ssh -p <yourport> root@<yourserverip> -L 8080:localhost:8080
4、下載 Mixtral 8X7B 模型重量：
使用 torrent 文件。這通常需要大約 15 分鐘，具體取決于服務(wù)器的下載速度。
要下載 torrent 文件，請(qǐng)運(yùn)行：
apt install transmission-cli
transmission-cli magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce
5、安裝 Illama 進(jìn)行推理：
克隆存儲(chǔ)庫：
git clone https://github.com/dzhulgakov/llama-mistral
安裝依賴項(xiàng)：
pip install fire sentencepiece
6、運(yùn)行 Mixtral 8X7B！：
加載模型權(quán)重并運(yùn)行提示example_text_completion.py。如果您使用 8 個(gè) GPU，請(qǐng)?jiān)谶\(yùn)行命令末尾附加“--num-gpus 8”，如下例所示。如果您使用 2 個(gè) GPU，請(qǐng)刪除該行。：
cd llama-mistral
python example_text_completion.py ../Downloads/mixtral-8x7b-32kseqlen/ ../Downloads/mixtral-8x7b-32kseqlen/tokenizer.model --num-gpus 8
就這樣！您將獲得當(dāng)前列出的提示的輸出
7、修改提示：
安裝 Nano：
apt install nano
編輯文件：
nano example_text_completion.py
找到底部的提示并進(jìn)行修改。
重新運(yùn)行python文件以獲取新的響應(yīng)。
感謝您使用捷智算平臺(tái)運(yùn)行最新的開源 LLM Mixtral 8X7B。給我們留言，讓我們知道您對(duì)該模型的看法。
