ZML入门指南：5分钟快速部署你的第一个AI模型

【免费下载链接】zml Any model. Any hardware. Zero compromise. Built with @ziglang / @openxla / MLIR / @bazelbuild 项目地址: https://gitcode.com/gh_mirrors/zm/zml

ZML是一个基于Zig语言、MLIR和Bazel构建的高性能AI推理框架，能够让你在任何硬件上运行任何AI模型而无需妥协。这个强大的开源项目为开发者提供了简单高效的AI模型部署体验，让你在短短几分钟内就能启动并运行复杂的AI应用。

🚀 快速开始：环境准备

首先，你需要安装Bazel构建工具，这是ZML项目的唯一依赖。我们推荐使用bazelisk来管理Bazel版本：

Linux系统安装：

curl -L -o /usr/local/bin/bazel 'https://github.com/bazelbuild/bazelisk/releases/download/v1.25.0/bazelisk-linux-amd64'
chmod +x /usr/local/bin/bazel

macOS系统安装：

brew install bazelisk

📦 预装模型快速体验

ZML提供了多个开箱即用的模型示例，让你立即感受AI推理的强大能力。

经典MNIST手写数字识别

MNIST是最经典的手写数字识别任务，ZML已经为你准备好了完整的实现：

bazel run --config=release //examples/mnist

这个命令会自动下载预训练模型和测试数据集，加载模型并编译，然后对测试集中的随机样本进行分类。

Llama大语言模型

对于想要体验现代大语言模型的用户，ZML支持Meta的Llama系列模型：

# 下载Llama 3.1 8B模型
bazel run //tools/hf -- download meta-llama/Llama-3.1-8B-Instruct --local-dir $HOME/Llama-3.1-8B-Instruct --exclude='*.pth'

# 运行模型进行推理
bazel run --config=release //examples/llama -- --hf-model-path=$HOME/Llama-3.1-8B-Instruct --prompt="What is the capital of France?"

🔧 GPU/TPU加速支持

ZML支持多种硬件加速器，只需在编译时添加相应参数：

• NVIDIA CUDA：--@zml//runtimes:cuda=true
• AMD RoCM：--@zml//runtimes:rocm=true
• Google TPU：--@zml//runtimes:tpu=true
• AWS Trainium/Inferentia 2：--@zml//runtimes:neuron=true

例如，在NVIDIA GPU上运行Llama模型：

bazel run --config=release //examples/llama \
          --@zml//runtimes:cuda=true \
          -- --hf-model-path=$HOME/Llama-3.1-8B-Instruct \
          --prompt="What is the capital of France?"

🛠️ 创建你的第一个ZML模型

让我们通过一个简单的例子来了解如何在ZML中定义AI模型：

模型定义

在ZML中，AI模型就是一个带有forward函数的Zig结构体：

const Layer = struct {
    bias: ?zml.Tensor = null,
    weight: zml.Tensor,

    pub fn forward(self: Layer, x: zml.Tensor) zml.Tensor {
        var y = self.weight.mul(x);
        if (self.bias) |bias| {
            y = y.add(bias);
        }
        return y;
    }
};

完整的模型代码

将以下代码保存为main.zig：

const std = @import("std");
const zml = @import("zml");
const async = @import("async");

// 模型定义
const Layer = struct {
    bias: ?zml.Tensor = null,
    weight: zml.Tensor,

    pub fn forward(self: Layer, x: zml.Tensor) zml.Tensor {
        var y = self.weight.mul(x);
        if (self.bias) |bias| {
            y = y.add(bias);
        }
        return y;
    }
};

pub fn main() !void {
    var gpa = std.heap.GeneralPurposeAllocator(.{}){};
    defer _ = gpa.deinit();
    try async.AsyncThread.main(gpa.allocator(), asyncMain);
}

pub fn asyncMain() !void {
    // 初始化ZML上下文和平台
    var gpa = std.heap.GeneralPurposeAllocator(.{}){};
    defer _ = gpa.deinit();
    const allocator = gpa.allocator();
    
    var arena_state = std.heap.ArenaAllocator.init(allocator);
    defer arena_state.deinit();
    const arena = arena_state.allocator();
    
    var context = try zml.Context.init();
    defer context.deinit();
    
    const platform = context.autoPlatform(.{});
    // ... 更多实现代码
}

🎯 下一步学习路径

完成基础部署后，你可以进一步探索：

• 添加权重文件：学习如何为模型添加实际的权重数据
• 服务器部署：将模型部署到生产环境
• Docker化：将模型打包为Docker容器
• 高级概念：深入了解ZML的核心设计理念

💡 核心优势总结

ZML的独特优势在于：

• ✨ 零妥协：支持任何模型、任何硬件
• ⚡ 高性能：基于Zig和MLIR的优化架构
• 🔄 异步设计：编译和执行过程完全异步化
• 🎯 简单易用：AI模型就是普通的Zig结构体

通过这个简单的入门指南，你现在已经具备了在ZML框架中快速部署和运行AI模型的能力。无论是经典的手写数字识别，还是现代的大语言模型，ZML都能为你提供高效、灵活的解决方案。

开始你的AI之旅，用ZML构建下一个突破性的AI应用吧！

【免费下载链接】zml Any model. Any hardware. Zero compromise. Built with @ziglang / @openxla / MLIR / @bazelbuild 项目地址: https://gitcode.com/gh_mirrors/zm/zml