关于modular |入门| API文档|贡献| ChangElog
modular平台
AI开发和部署的统一平台，包括Max ?和Mojo 。
modular平台是AI库和工具的开放式和完全集成的套件，可加速模型服务和缩放Genai部署。它抽象了硬件复杂性，因此您可以使用行业领先的GPU和CPU性能运行最受欢迎的开放模型，而无需更改代码。
开始
您无需克隆此仓库。
您可以将modular作为PIP或CONDA软件包安装，然后使用您选择的型号启动与OpenAI兼容的端点。
如果我们修剪仪式步骤，则可以使用两个命令启动本地LLM端点：
pip install modular
max serve --model-path= modular ai/Llama-3.1-8B-Instruct-GGUF
然后开始使用我们与OpenAI兼容的REST API发送Llama 3模型推理请求。
或尝试从我们的模型存储库中运行数百个模型。
有关完整的演练，请参阅《快速启动指南》。
部署我们的容器
最大容器是我们与Kubernetes兼容的Docker容器，以方便地部署，使用从上面显示的Max Serve命令中获得的相同的推理服务器。我们为NVIDIA和AMD GPU环境提供了单独的容器，以及与两者一起使用的统一容器。
例如，您可以使用此命令为NVIDIA GPU启动一个容器：
modular /max-nvidia-full:latest \\
–model-path modular ai/Llama-3.1-8B-Instruct-GGUF\”>
docker run --gpus=1 \\
-v ~ /.cache/huggingface:/root/.cache/huggingface \\
-p 8000:8000 \\
docker. modular .com/ modular /max-nvidia-full:latest \\
--model-path modular ai/Llama-3.1-8B-Instruct-GGUF
有关更多信息，请参阅我们的最大容器文档或modular码头集线器存储库。
关于存储库
我们会不断开放更多的modular平台，您可以在这里找到所有模块化平台。截至2025年5月，此存储库包括来自6000多名贡献者的450,000行代码，为开发人员提供了生产级参考实现和工具，以扩展modular平台，并使用新的算法，操作和硬件目标。它很可能是世界上最大的开源CPU和GPU内核存储库！
亮点包括：
- Mojo标准图书馆： /Mojo /stdlib
- Max GPU和CPU内核： /max /bernels（Mojo内核）
- 最大推理服务器： /max /serve（OpenAI兼容端点）
- Max Model Pipelines： /max /pipelines（基于Python的图）
- 代码示例： /示例
该存储库有两个主要分支：
-
主分支与夜间构建同步并受到新的错误。使用此分支进行贡献，或者如果您安装了夜间构建。
-
稳定的分支，与最后一个稳定版本的Mojo同步。如果安装了稳定的构建，请在此处使用示例。
贡献
感谢您对为此存储库做出贡献的兴趣！
我们接受对Mojo标准库，Max AI内核，代码示例和Mojo文档的贡献，但目前不对存储库的任何其他部分。
请参阅贡献指南以获取说明。
我们也欢迎您的错误报告。如果您有错误，请在此处提交问题。
联系我们
如果您想与团队和其他社区成员聊天，请向我们的Discord频道和我们的论坛董事会发送一条消息。
执照
该存储库及其贡献是根据Apache许可证v2.0许可的，具有LLVM例外（请参阅LLVM许可证）。 modular ，Max和Mojo的使用和分销均在modular社区许可下获得许可。
第三方许可证
您完全负责检查和验证第三方的许可（IE HuggingFace），以获取下载的相关软件和库。
