廣州益美銷毀處理公司 12 月 5 日消息:供本地使用的 LLM（大型語言模型）常日視為一組權重分布在數(shù) GB 文件中。這些軟件無法干脆單獨使用，這一般使得它們比其他軟件更難分發(fā)和運行。給定的模型也恐怕經(jīng)歷了更改和調整，如果使用不同的版本，則會導致不同的結果。

Mozilla 的立異團隊最近發(fā)布了 llamafile，這是一種開源方法，用于將一組權重轉變?yōu)閱蝹€可在六種不同操作系統(tǒng)（macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD）上運行的二進制文件，無需安裝。這大大簡化了大型語言模型（LLMs）的分發(fā)和運行，并確保特定版本的 LLM 仍舊一致性和可重現(xiàn)性。

這一成就離不開 [Justine Tunney] 的獻出，他是一次構建、多處運行框架 Cosmopolitan 的創(chuàng)造者。另一個緊要部分是 llama.cpp，它在運行自托管 LLM 方面具有緊要作用。

有一些使用 Mistral-7B、WizardCoder-Python-13B 和 LLaVA 1.5 LLMs 的示例二進制文件可供使用。需要謹慎的是，要么您使用的是 Windows 平臺，只有 LLaVA 1.5 能運行，因為它是唯一一個符合 Windows 對可執(zhí)行文件 4 GB 大小限制的模型。萬一遇到問題，請查看「常見問題」列表以獲取故障排除提示。

llamafile 的宣布標志著在大型語言模型的分發(fā)和運行方面的進步。這不僅降低了使用這些模型的技術門檻，也使得開發(fā)者和研究人員或將更容易地在多種操作系統(tǒng)上使用這些強大的 AI 工具。

隨著越來越多的 LLMs 的開發(fā)和應用，llamafile 供給了一個有效的解決方案，以確保這些模型的有效和一致的使用。

據(jù)了解，在這里提到的權重是指在機器學習和人工智能領域中的一個術語。在大型語言模型（LLMs，如 GPT-4）中，權重是模型在訓練過程中學習到的參數(shù)，用來鐵定輸入數(shù)據(jù)怎么轉換為輸出結果。這些權重決定了模型應該解釋和處置輸入的數(shù)據(jù)。

因此，當說到 LLMs 日常以多個 Gigabyte 的文件形式分發(fā)一組權重時，意味著這些文件包含了模型在訓練過程中學到的所有必要參數(shù)。這些權重文件自己無從干脆使用，需要通過確定的軟件框架或環(huán)境來加載和運行，這使得與其他類型的軟件相比，它們的分發(fā)和運行更加復雜。

（舉報）