广州益美销毁处理公司 12 月 5 日消息:供本地使用的 LLM（大型语言模型）常日视为一组权重分布在数 GB 文件中。这些软件无法干脆单独使用，这一般使得它们比其他软件更难分发和运行。给定的模型也恐怕经历了更改和调整，如果使用不同的版本，则会导致不同的结果。

Mozilla 的立异团队最近发布了 llamafile，这是一种开源方法，用于将一组权重转变为单个可在六种不同操作系统（macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD）上运行的二进制文件，无需安装。这大大简化了大型语言模型（LLMs）的分发和运行，并确保特定版本的 LLM 仍旧一致性和可重现性。

这一成就离不开 [Justine Tunney] 的献出，他是一次构建、多处运行框架 Cosmopolitan 的创造者。另一个紧要部分是 llama.cpp，它在运行自托管 LLM 方面具有紧要作用。

有一些使用 Mistral-7B、WizardCoder-Python-13B 和 LLaVA 1.5 LLMs 的示例二进制文件可供使用。需要谨慎的是，要么您使用的是 Windows 平台，只有 LLaVA 1.5 能运行，因为它是唯一一个符合 Windows 对可执行文件 4 GB 大小限制的模型。万一遇到问题，请查看「常见问题」列表以获取故障排除提示。

llamafile 的宣布标志着在大型语言模型的分发和运行方面的进步。这不仅降低了使用这些模型的技术门槛，也使得开发者和研究人员或将更容易地在多种操作系统上使用这些强大的 AI 工具。

随着越来越多的 LLMs 的开发和应用，llamafile 供给了一个有效的解决方案，以确保这些模型的有效和一致的使用。

据了解，在这里提到的权重是指在机器学习和人工智能领域中的一个术语。在大型语言模型（LLMs，如 GPT-4）中，权重是模型在训练过程中学习到的参数，用来铁定输入数据怎么转换为输出结果。这些权重决定了模型应该解释和处置输入的数据。

因此，当说到 LLMs 日常以多个 Gigabyte 的文件形式分发一组权重时，意味着这些文件包含了模型在训练过程中学到的所有必要参数。这些权重文件自己无从干脆使用，需要通过确定的软件框架或环境来加载和运行，这使得与其他类型的软件相比，它们的分发和运行更加复杂。

（举报）