从安装到部署：Ornith-1.0-35B-6bit全流程教程，零基础也能轻松上手

【免费下载链接】Ornith-1.0-35B-6bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-6bit

Ornith-1.0-35B-6bit是一款基于MLX框架的6-bit量化多模态模型，专为Apple Silicon优化，能高效处理图像文本任务。本教程将带你从环境准备到实际应用，快速掌握这款强大模型的使用方法。

一、模型简介：什么是Ornith-1.0-35B-6bit？

Ornith-1.0-35B-6bit是deepreinforce-ai/Ornith-1.0-35B的量化版本，采用6-bit（组大小64，6.622 bits/weight）量化技术，在保持性能的同时大幅降低资源占用。它完整保留了视觉编码器和语言模型，支持图像-文本多模态交互，特别适合在Apple Silicon设备上运行。

二、准备工作：安装必要依赖

2.1 系统要求

• Apple Silicon设备（推荐M系列芯片）
• macOS系统
• 至少32GB内存（推荐128GB以获得最佳性能）

2.2 安装MLX框架

uvx --from mlx-vlm mlx_vlm.generate

三、获取模型：两种简单方法

3.1 通过Git克隆仓库

git clone https://gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-6bit

3.2 直接下载模型文件

模型包含多个安全张量文件：

• model-00001-of-00006.safetensors
• model-00002-of-00006.safetensors
• ...
• model-00006-of-00006.safetensors

四、快速上手：3步实现图像描述

4.1 命令行方式

在终端中运行以下命令，即可对指定图片进行描述：

uvx --from mlx-vlm mlx_vlm.generate \
  --model mlx-community/Ornith-1.0-35B-6bit --image image.png \
  --prompt "Describe this image." --max-tokens 512

4.2 Python代码方式

通过Python代码集成模型，实现更灵活的应用：

from mlx_vlm import load, generate
model, processor = load("mlx-community/Ornith-1.0-35B-6bit")

4.3 性能表现

在Macbook Pro M5 Max 128GB 40 GPU上测试，模型表现出色：

• 生成速度：102.4 tok/s
• 提示处理：964.8 tok/s
• 峰值内存占用：31.1 GB

五、常见问题解答

5.1 模型转换注意事项

Ornith模型包含256个MoE专家，在转换过程中需要进行专家融合。mlx-vlm的qwen3_5_moe加载器需要融合/批处理的专家，因此转换时需要使用sanitize补丁来堆叠专家，否则转换会失败。

5.2 哪里可以找到更多信息？

有关模型架构、基准测试、许可证和预期用途的详细信息，请参考原始模型卡片。

六、总结

Ornith-1.0-35B-6bit是一款功能强大的多模态模型，通过MLX框架的优化，在Apple Silicon设备上实现了高效运行。无论是通过命令行快速使用，还是集成到Python应用中，都能轻松实现图像文本交互功能。希望本教程能帮助你顺利上手这款模型，开启你的AI应用开发之旅！

【免费下载链接】Ornith-1.0-35B-6bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-6bit