Alibaba DASD-4B Thinking 对话工具开发:微信小程序前端接入全攻略

最近在做一个智能对话项目,需要把大模型的对话能力快速集成到微信小程序里。选来选去,发现阿里云的DASD-4B模型是个不错的选择,推理速度快,对话效果也够用。但真到动手的时候,发现小程序端接入还是有不少坑要踩,比如WebSocket连接怎么管理、语音输入怎么集成、还有最头疼的域名备案问题。

今天这篇文章,我就把自己从零开始,把DASD-4B对话能力接入微信小程序的完整过程分享出来。我会重点讲小程序前端怎么实现,包括界面设计、语音处理,还有怎么通过云函数巧妙绕过备案限制,让你能快速上线一个可用的对话小程序。

1. 为什么选择DASD-4B与小程序结合?

在做技术选型的时候,我对比了几个方案。直接用现成的对话API虽然省事,但定制化程度低,数据隐私也是个问题。自己从头训练一个大模型,成本和时间又太高。DASD-4B这个模型吸引我的地方在于,它在保持不错对话能力的同时,对计算资源的要求相对友好,适合我们这种中小型团队快速部署。

微信小程序就更不用说了,用户不用下载安装,打开就用,传播起来特别方便。想象一下,用户在你的小程序里,能像和朋友聊天一样和AI对话,还能直接语音输入,这个体验是很吸引人的。

但把这两者结合起来,挑战就来了。小程序的环境比较特殊,网络请求有限制,特别是WebSocket,对域名有严格要求。直接连接自己部署的模型服务,如果没有备案域名,根本行不通。这也是我后面要重点讲的,怎么用云函数来解决这个问题。

2. 小程序前端核心架构设计

开始写代码之前,得先把小程序的整体结构想清楚。我们的核心目标是:创建一个流畅、稳定的对话界面,能处理文本和语音两种输入方式,并且要处理好网络连接的各种异常情况。

2.1 对话界面UI与交互设计

小程序的界面设计,我追求的是简洁和实用。左边是对话历史列表,右边是主对话区域。主区域上面是聊天记录,下面是输入框和功能按钮。

// pages/chat/chat.wxml 部分结构示例
<view class="chat-container">
  <!-- 对话历史侧边栏 -->
  <scroll-view class="history-sidebar" scroll-y>
    <view wx:for="{{chatHistory}}" wx:key="id" class="history-item" bindtap="loadHistory" data-id="{{item.id}}">
      <text>{{item.title}}</text>
    </view>
  </scroll-view>

  <!-- 主对话区域 -->
  <view class="main-area">
    <!-- 消息列表 -->
    <scroll-view class="message-list" scroll-y scroll-into-view="{{scrollToViewId}}">
      <view wx:for="{{messages}}" wx:key="id" class="message-item {{item.role}}">
        <image wx:if="{{item.role === 'assistant'}}" class="avatar" src="/images/ai-avatar.png"></image>
        <view class="bubble">
          <text>{{item.content}}</text>
          <text wx:if="{{item.role === 'assistant' && item.isStreaming}}" class="typing-indicator">...</text>
        </view>
      </view>
    </scroll-view>

    <!-- 输入区域 -->
    <view class="input-area">
      <textarea 
        value="{{inputText}}" 
        placeholder="输入您的问题..." 
        bindinput="onInput" 
        bindconfirm="sendMessage"
        disabled="{{isLoading}}"
      ></textarea>
      <button class="voice-btn" bindtap="toggleVoiceInput">
        <image src="{{isRecording ? '/images/recording.png' : '/images/mic.png'}}"></image>
      </button>
      <button class="send-btn" bindtap="sendMessage" disabled="{{!inputText.trim() || isLoading}}">
        发送
      </button>
    </view>
  </view>
</view>

样式方面,我用了比较柔和的背景色,用户消息和AI消息用不同的气泡颜色区分。AI回复的时候,我还加了个打字机效果,让文字一个一个出来,这样体验更自然。语音输入按钮在录音状态会有视觉反馈,用户一眼就能知道现在是不是在录音。

2.2 WebSocket连接管理与状态维护

和小程序打交道,网络连接是最需要小心的地方。我设计了一个连接管理器,专门处理WebSocket的生命周期和重连逻辑。

// utils/websocketManager.js
class WebSocketManager {
  constructor(url, options = {}) {
    this.url = url;
    this.socket = null;
    this.isConnected = false;
    this.reconnectAttempts = 0;
    this.maxReconnectAttempts = options.maxReconnectAttempts || 5;
    this.reconnectDelay = options.reconnectDelay || 3000;
    this.messageQueue = [];
    this.listeners = {
      onMessage: [],
      onOpen: [],
      onClose: [],
      onError: []
    };
  }

  // 建立连接
  connect() {
    return new Promise((resolve, reject) => {
      if (this.socket && this.isConnected) {
        resolve();
        return;
      }

      this.socket = wx.connectSocket({
        url: this.url,
        header: {
          'content-type': 'application/json'
        },
        success: () => {
          console.log('WebSocket连接开始建立');
        },
        fail: (err) => {
          reject(err);
        }
      });

      // 监听WebSocket事件
      wx.onSocketOpen(() => {
        console.log('WebSocket连接已打开');
        this.isConnected = true;
        this.reconnectAttempts = 0;
        
        // 发送队列中积压的消息
        this.flushMessageQueue();
        
        this.listeners.onOpen.forEach(callback => callback());
        resolve();
      });

      wx.onSocketMessage((res) => {
        const data = JSON.parse(res.data);
        this.listeners.onMessage.forEach(callback => callback(data));
      });

      wx.onSocketError((err) => {
        console.error('WebSocket连接错误:', err);
        this.isConnected = false;
        this.listeners.onError.forEach(callback => callback(err));
        this.handleReconnect();
      });

      wx.onSocketClose(() => {
        console.log('WebSocket连接已关闭');
        this.isConnected = false;
        this.listeners.onClose.forEach(callback => callback());
        
        // 如果不是主动关闭,尝试重连
        if (this.reconnectAttempts < this.maxReconnectAttempts) {
          this.handleReconnect();
        }
      });
    });
  }

  // 发送消息
  sendMessage(message) {
    if (!this.isConnected) {
      console.warn('WebSocket未连接,消息加入队列');
      this.messageQueue.push(message);
      this.connect(); // 尝试重新连接
      return false;
    }

    try {
      wx.sendSocketMessage({
        data: JSON.stringify(message),
        success: () => {
          console.log('消息发送成功');
        },
        fail: (err) => {
          console.error('消息发送失败:', err);
          this.messageQueue.push(message); // 失败后加入队列
        }
      });
      return true;
    } catch (err) {
      console.error('发送消息异常:', err);
      return false;
    }
  }

  // 处理重连
  handleReconnect() {
    if (this.reconnectAttempts >= this.maxReconnectAttempts) {
      console.error('达到最大重连次数,停止重连');
      return;
    }

    this.reconnectAttempts++;
    const delay = this.reconnectDelay * Math.pow(1.5, this.reconnectAttempts - 1);
    
    console.log(`第${this.reconnectAttempts}次重连,${delay}ms后尝试`);
    
    setTimeout(() => {
      if (!this.isConnected) {
        this.connect().catch(err => {
          console.error('重连失败:', err);
        });
      }
    }, delay);
  }

  // 清空消息队列
  flushMessageQueue() {
    while (this.messageQueue.length > 0 && this.isConnected) {
      const message = this.messageQueue.shift();
      this.sendMessage(message);
    }
  }

  // 添加事件监听
  on(event, callback) {
    if (this.listeners[event]) {
      this.listeners[event].push(callback);
    }
  }

  // 关闭连接
  close() {
    if (this.socket) {
      wx.closeSocket();
      this.socket = null;
      this.isConnected = false;
      this.messageQueue = [];
    }
  }
}

module.exports = WebSocketManager;

这个管理器有几个关键点:一是自动重连机制,网络不稳定的时候能自己尝试恢复连接;二是消息队列,断网期间的消息不会丢失,等连接恢复后再发出去;三是事件监听,把连接状态的变化通知给各个业务模块。

3. 语音输入与处理全流程

语音功能是提升体验的关键。微信小程序提供了录音API,但怎么把录音文件转换成文字,再送给DASD-4B模型处理,这里面有不少步骤。

3.1 录音功能实现

我先在小程序里实现了基本的录音功能,包括开始、停止,还有实时的音量反馈。

// pages/chat/chat.js 部分代码
Page({
  data: {
    isRecording: false,
    recordTime: 0,
    voiceVolume: 0
  },

  // 开始录音
  startRecording() {
    const that = this;
    
    // 获取录音权限
    wx.authorize({
      scope: 'scope.record',
      success: () => {
        that.setData({ isRecording: true, recordTime: 0 });
        
        // 开始录音
        that.recorderManager = wx.getRecorderManager();
        that.recorderManager.start({
          duration: 60000, // 最长60秒
          sampleRate: 16000,
          numberOfChannels: 1,
          encodeBitRate: 48000,
          format: 'mp3'
        });

        // 录音计时器
        that.recordTimer = setInterval(() => {
          that.setData({
            recordTime: that.data.recordTime + 1
          });
        }, 1000);

        // 监听录音音量(用于UI反馈)
        that.recorderManager.onFrameRecorded((res) => {
          const { frameBuffer } = res;
          // 简单计算音量大小
          let sum = 0;
          for (let i = 0; i < frameBuffer.length; i++) {
            sum += Math.abs(frameBuffer[i]);
          }
          const volume = Math.min(100, Math.floor(sum / frameBuffer.length * 100));
          that.setData({ voiceVolume: volume });
        });

        // 录音结束回调
        that.recorderManager.onStop((res) => {
          clearInterval(that.recordTimer);
          that.setData({ isRecording: false, voiceVolume: 0 });
          
          if (res.tempFilePath) {
            that.processAudioFile(res.tempFilePath);
          }
        });
      },
      fail: (err) => {
        console.error('录音授权失败:', err);
        wx.showToast({
          title: '需要录音权限',
          icon: 'none'
        });
      }
    });
  },

  // 停止录音
  stopRecording() {
    if (this.recorderManager) {
      this.recorderManager.stop();
    }
  },

  // 切换语音输入模式
  toggleVoiceInput() {
    if (this.data.isRecording) {
      this.stopRecording();
    } else {
      this.startRecording();
    }
  }
});

录音的时候,我实时显示录音时长和音量波动,让用户有直观的反馈。录音格式选的是mp3,兼顾了音质和文件大小。

3.2 语音转文字与敏感词过滤

录音文件拿到后,需要先转成文字。这里我用了微信的语音识别API,识别准确度还不错。但识别出来的文字,不能直接发给AI,得先过滤一下敏感词。

// utils/voiceProcessor.js
class VoiceProcessor {
  constructor() {
    this.sensitiveWords = ['违规词1', '违规词2', '违规词3']; // 实际使用时应从服务器获取
  }

  // 语音文件转文字
  async speechToText(tempFilePath) {
    return new Promise((resolve, reject) => {
      wx.uploadFile({
        url: 'https://your-cloud-function-domain.com/speech-to-text',
        filePath: tempFilePath,
        name: 'audio',
        formData: {
          type: 'mp3'
        },
        success: (res) => {
          const result = JSON.parse(res.data);
          if (result.code === 0) {
            const text = this.filterSensitiveWords(result.text);
            resolve(text);
          } else {
            reject(new Error(result.message || '语音识别失败'));
          }
        },
        fail: (err) => {
          reject(err);
        }
      });
    });
  }

  // 敏感词过滤
  filterSensitiveWords(text) {
    if (!text || !this.sensitiveWords.length) return text;
    
    let filteredText = text;
    this.sensitiveWords.forEach(word => {
      const regex = new RegExp(word, 'gi');
      filteredText = filteredText.replace(regex, '***');
    });
    
    // 如果过滤后内容变化太大,直接返回空
    const originalLength = text.length;
    const filteredLength = filteredText.replace(/\*/g, '').length;
    if (filteredLength < originalLength * 0.5) {
      return '';
    }
    
    return filteredText;
  }

  // 文字转语音(AI回复的语音播放)
  async textToSpeech(text) {
    return new Promise((resolve, reject) => {
      wx.request({
        url: 'https://your-cloud-function-domain.com/text-to-speech',
        method: 'POST',
        data: {
          text: text,
          speed: 1.0,
          pitch: 1.0
        },
        success: (res) => {
          if (res.data.code === 0) {
            resolve(res.data.audioUrl);
          } else {
            reject(new Error(res.data.message));
          }
        },
        fail: reject
      });
    });
  }
}

module.exports = VoiceProcessor;

敏感词过滤我做了两层:一是直接替换,二是如果替换太多内容,说明可能有大段违规,就直接返回空,避免风险。文字转语音的功能我也集成了,用户可以选择听AI的语音回复,这对一些不方便看屏幕的场景很有用。

4. 通过云函数解决域名备案难题

这是整个项目里最棘手的问题。微信小程序要求所有网络请求,包括WebSocket,都必须使用备案过的域名。但很多团队,特别是开发初期,没有现成的备案域名。

我的解决方案是:用云函数做中转。小程序连接的是云函数,云函数再去连接我们部署的DASD-4B服务。云服务商提供的函数计算服务,本身就有备案域名,完美解决了这个问题。

4.1 云函数架构设计

我设计了一个简单的云函数,它主要做三件事:转发WebSocket连接、处理语音文件、管理对话上下文。

// cloud-functions/ai-proxy/index.js
const WebSocket = require('ws');

// 连接到DASD-4B服务的WebSocket
let aiSocket = null;
const aiServiceUrl = 'ws://your-dasd-4b-service:port/chat';

// 初始化WebSocket连接
function initAIConnection() {
  if (aiSocket && aiSocket.readyState === WebSocket.OPEN) {
    return aiSocket;
  }

  aiSocket = new WebSocket(aiServiceUrl);
  
  aiSocket.on('open', () => {
    console.log('已连接到AI服务');
  });
  
  aiSocket.on('error', (err) => {
    console.error('AI服务连接错误:', err);
    aiSocket = null;
  });
  
  aiSocket.on('close', () => {
    console.log('AI服务连接关闭');
    aiSocket = null;
  });
  
  return aiSocket;
}

// 主处理函数
exports.main = async (event, context) => {
  const { action, data, sessionId } = event;
  
  try {
    switch (action) {
      case 'chat':
        return await handleChat(data, sessionId);
      
      case 'speech-to-text':
        return await handleSpeechToText(data);
      
      case 'text-to-speech':
        return await handleTextToSpeech(data);
      
      default:
        return {
          code: 400,
          message: '不支持的请求类型'
        };
    }
  } catch (error) {
    console.error('云函数处理错误:', error);
    return {
      code: 500,
      message: '服务内部错误'
    };
  }
};

// 处理对话请求
async function handleChat(message, sessionId) {
  return new Promise((resolve, reject) => {
    const socket = initAIConnection();
    
    if (!socket || socket.readyState !== WebSocket.OPEN) {
      return resolve({
        code: 503,
        message: 'AI服务暂时不可用'
      });
    }
    
    // 设置超时
    const timeout = setTimeout(() => {
      resolve({
        code: 504,
        message: '请求超时'
      });
    }, 30000);
    
    // 发送消息到AI服务
    const requestData = {
      message: message,
      session_id: sessionId,
      stream: false // 小程序端建议用非流式,更稳定
    };
    
    socket.send(JSON.stringify(requestData));
    
    // 监听AI回复
    const onMessage = (data) => {
      try {
        const response = JSON.parse(data.toString());
        clearTimeout(timeout);
        
        // 这里可以添加回复内容的过滤检查
        const filteredResponse = checkResponseSafety(response);
        
        resolve({
          code: 0,
          data: filteredResponse
        });
      } catch (err) {
        reject(err);
      }
    };
    
    socket.once('message', onMessage);
  });
}

// 语音转文字处理
async function handleSpeechToText(audioData) {
  // 这里可以集成第三方语音识别服务
  // 例如百度语音、阿里云语音识别等
  // 示例使用简单的模拟返回
  return {
    code: 0,
    text: '这是识别出的文字内容'
  };
}

// 安全检查
function checkResponseSafety(response) {
  // 实现内容安全检查逻辑
  // 返回过滤后的安全内容
  return response;
}

这个云函数部署在腾讯云SCF或者阿里云FC上,它们会自动分配一个备案过的访问域名。小程序端就直接用这个域名,所有请求都通过云函数中转。

4.2 小程序端调用适配

小程序端需要稍微调整一下,不再直接连接AI服务,而是通过云函数中转。

// 修改后的连接管理器部分
class AdaptedWebSocketManager extends WebSocketManager {
  constructor(cloudFunctionUrl, sessionId) {
    // 云函数WebSocket端点
    const wsUrl = `wss://${cloudFunctionUrl}/websocket?sessionId=${sessionId}`;
    super(wsUrl);
    this.sessionId = sessionId;
  }

  // 发送消息时带上会话ID
  sendMessage(message) {
    const wrappedMessage = {
      action: 'chat',
      data: message,
      sessionId: this.sessionId
    };
    return super.sendMessage(wrappedMessage);
  }
}

// 在页面中使用
Page({
  onLoad() {
    // 生成或获取会话ID
    const sessionId = this.getOrCreateSessionId();
    
    // 初始化连接管理器
    this.wsManager = new AdaptedWebSocketManager(
      'your-cloud-function-domain.com',
      sessionId
    );
    
    // 连接云函数
    this.wsManager.connect().then(() => {
      console.log('已通过云函数连接到AI服务');
    }).catch(err => {
      console.error('连接失败:', err);
    });
  }
});

这样改造后,小程序端的代码改动很小,主要是换了个连接地址。所有的复杂逻辑都在云函数里处理,小程序端保持简洁。

5. 实际应用效果与优化建议

这套方案在实际项目中跑了一段时间,整体效果还不错。用户反馈对话流畅,语音输入识别准确率也能满足日常使用。通过云函数中转,不仅解决了备案问题,还额外获得了几个好处:一是可以做统一的安全检查和过滤,二是能缓存一些数据,减少对AI服务的直接压力,三是方便做访问统计和监控。

不过在实际使用中,我也发现了一些可以优化的地方:

网络稳定性方面,虽然有了重连机制,但在弱网环境下,体验还是会有影响。后来我加了个本地消息队列,用户发送的消息先存到本地,等发送成功后再从队列移除。这样即使网络暂时中断,用户也不会感知到发送失败。

性能方面,语音转文字如果完全依赖云端服务,响应时间有时会比较长。对于简单的指令性语音,我后来在客户端用了一个轻量级的本地识别库先处理,识别不了的再走云端,这样大部分简单指令都能快速响应。

用户体验方面,我增加了一些细节:比如AI思考时的加载动画、网络中断的友好提示、长按语音按钮的取消发送功能。这些小细节对提升整体体验很有帮助。

还有一点很重要,就是内容安全。除了前面说的敏感词过滤,对于AI的回复内容,我也加了一层检查。特别是当用户问一些边界问题时,AI的回复需要格外注意。我在云函数里实现了一个简单的安全检查逻辑,对某些类型的回复进行二次过滤。


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐