服务器环境:

显卡驱动:Driver Version: 530.30.02

CUDA版本:CUDA Version: 12.1

显卡:NVIDIA GeForce RTX 3090共4张

用CPU就挺快的,所以我没把显卡映射到docker容器中,但从容器的代码中能看到,只要把显卡映射到容器就能自动判断是否有显卡。

docker-compose.yml内容如下:

version: '3'
services:
  m3e_api:
    container_name: m3e_api

    environment:
      TZ: Asia/Shanghai

    image: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

    restart: always

    networks:
      - general

    ports:
      - "6200:6008"

networks:
  general:
    external: true

然后把m3e配置到one-api

注意:密钥一定要配置成“sk-aaabbbcccdddeeefffggghhhiiijjjkkk”

因为容器里的执行脚本中,判断了key是不是等于 “sk-aaabbbcccdddeeefffggghhhiiijjjkkk”,key不一致会出现401错误。

也可以在docker-compose.yml的environment中自定义key的值。

environment:

  sk-key:'sk-112233'

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐