九九九色_欧美高清在线不卡免费观看_日本最黄网站_国产欧美在线观看不卡_精品久久人人做人人爽综合_日韩亚洲欧美在线爱色

Mixtral 是 Mistral AI 最新的開源模型。Mistral AI 于 12 月 8 日通過磁力鏈接的一條推文發布了該模型，沒有任何文檔、解釋或其他評論。Mistral AI 有幾種流行的開源 LLM 模型，包括 Mistral 7B。

Mixtral 8X7B 的顯著特點是它是一個混合專家 (MoE) 模型，具有卓越的能力。本指南使用了一些 hack 實現來使其運行。一旦該模型推出幾個月，它肯定會獲得更多開源工具的支持。

要在捷智算平臺上運行它，請使用 8X 4090/3090 或 4X A6000/A40 實例。實例上需要 120GB 的總 GPU RAM 來運行模型。我們使用典型的開發 Pytorch 推薦模板和修改版的 Illama 來運行推理。這是一個沒有指令微調的基礎模型，因此適當的提示技巧很有幫助。

運行 Mixtral 8X7B步驟

1、選擇模板：

通過在模板中選擇Pytorch 的Devel 模板。

2、租用服務器：

• 選擇 8X 4090/3090 或 4X A40/A6000

• 添加至少 120GB 的磁盤空間

• 點擊租賃按鈕

• 如果需要的話，購買積分。

• 請參閱快速入門指南以獲取幫助。

3、SSH 進入機器：

• 單擊 >_ 按鈕從實例卡獲取 SSH 信息

• 通過 SSH 命令連接到實例。它看起來像這樣，但包含實例的端口和服務器 IP 信息：

ssh -p <yourport> root@<yourserverip> -L 8080:localhost:8080

4、下載 Mixtral 8X7B 模型重量：

• 使用 torrent 文件。這通常需要大約 15 分鐘，具體取決于服務器的下載速度。

• 要下載 torrent 文件，請運行：

apt install transmission-cli

transmission-cli magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce

5、安裝 Illama 進行推理：

• 克隆存儲庫：

git clone https://github.com/dzhulgakov/llama-mistral

• 安裝依賴項：

pip install fire sentencepiece

6、運行 Mixtral 8X7B！：

• 加載模型權重并運行提示example_text_completion.py。如果您使用 8 個 GPU，請在運行命令末尾附加“--num-gpus 8”，如下例所示。如果您使用 2 個 GPU，請刪除該行。：

cd llama-mistral

python example_text_completion.py ../Downloads/mixtral-8x7b-32kseqlen/ ../Downloads/mixtral-8x7b-32kseqlen/tokenizer.model --num-gpus 8

就這樣！您將獲得當前列出的提示的輸出

7、修改提示：

• 安裝 Nano：

apt install nano

• 編輯文件：

nano example_text_completion.py

• 找到底部的提示并進行修改。

• 重新運行python文件以獲取新的響應。

感謝您使用捷智算平臺運行最新的開源 LLM Mixtral 8X7B。給我們留言，讓我們知道您對該模型的看法。