Docker安装深度学习,即anacond3环境,以及faiss和bert的安装
为了实现一个智能问答系统,这里主要是在docker中安装了深度学习的环境,在里面并对python应用系统进行部署启动:在conda虚拟环境中安装了faiss、bert 、tensorflow以及python相关等环境,并将docker容器中的conda虚拟环境数据挂载到服务中。
安装环境背景
由于公司需要一个智能检索的问答系统,需要安装一个简单的python环境,因此将anacond3环境安装在Docker容器中,并安装需要的环境,智能问答的python应用系统放在里面进行启动使用。
1.拉取anaconda3镜像
docker pull continuumio/anaconda3
2.启动容器
注:这里先暂时启动,先安装好conda的虚拟环境,后面将容器的环境挂载的服务器上
docker run -i -t continuumio/anaconda3 /bin/bash
检测conda是否安装成功,以及其版本号
conda --version
先升级一下conda,防止后面安装失败
conda update conda
conda install mkl
3.安装conda虚拟环境
添加conda镜像(看个人需要)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes
创建虚拟环境(tf 为虚拟环境名称)
conda create -n tf python=3.7
激活虚拟环境
source activate
切换到虚拟环境下面
conda activate tf
注: conda env list //查看所有的 conda 虚拟环境
4.在虚拟环境中安装faiss的cpu版本
conda install faiss-cpu -c pytorch
检测faiss是否安装成功,以及其版本号
python
import faiss
faiss.__version__
5.在虚拟环境中安装tensorflow
conda install --channel https://conda.anaconda.org/anaconda tensorflow=1.14.0
6.在虚拟环境中安装 bert
注:如果pip安装时出现了Read timed out,可以使用临时的镜像去安装
例如: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple install bert-serving-server
pip install bert-serving-server
pip install bert-serving-client
7.复制conda的虚拟环境的数据出来(用于挂载)
**注:这里先不退出容器另开一个窗口,容器的 /opt/conda目录下面放了conda环境数据 **
docker cp 容器ID:/opt/conda 本地文件路径
8.后台启动容器,并进行挂载,映射端口
docker run -it -d --privileged=true -v /home/conda:/opt/conda -p 6666:8888 --shm-size 3G continuumio/anaconda3 /bin/bash
注:
- /home/conda 为服务器中的路径
- 6666 为服务器端口,8888为容器内部的端口(这里看个人需求是否需要映射端口号,因为我是在容器里面启动python应用,需要将应用的端口号映射出去让外面访问)
- –shm-size 是设置共享内存大小
更多推荐
所有评论(0)