脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → 云和虚拟化 → docker → docker配置pytorch

docker配置pytorch环境来进行训练的方法步骤

 更新时间：2024年03月12日 11:30:41   作者：GY—Monkey  
本文主要介绍了docker配置pytorch环境来进行训练的方法步骤,从零开始配置,包括换源,安装下载,具有一定的参考价值,感兴趣的可以了解一下

一、虚拟环境anaconda的下载与安装（换源）

进入到虚拟环境

docker exec -it ID

新建一个文件夹保存下载的文件

mkdir download

通过使用wget来下载anacodna安装包，建议使用清华镜像下载
官网下载：

wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh

镜像下载：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.07-1-Linux-x86_64.sh

本地宿主机复制到容器中（修改路径即可）

docker cp /path/to/local/file container_id:/path/in/container/

安装应用

bash Anaconda3-2023.07-1-Linux-x86_64.sh

按照流程进行安装
确认协议和默认安装路径即可

在这里插入图片描述

二、给系统的pip和conda换源

安装新系统的第一件事情就是换源，加快下载速度

1.pip换源

docker中安装pip

apt-get update
apt-get install -y python3-pip

验证安装的结果

pip3 --version

/root/目录下创建 .pip 文件夹与 pip.conf 文件

mkdir .pip
vim .pip/pip.conf

## 添加如下内容，设置pip源为阿里云源
 
[global] 
index-url = https://mirrors.aliyun.com/pypi/simple/ 
[install] 
trusted-host=mirrors.aliyun.com
 
## :wq!保存退出即可

2.conda换源（不建议阿里源）
命令行换源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
conda config --set show_channel_urls yes

修改文件方式： .condarc

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
auto_activate_base: false

三、安装pytorch

进入pytorch的官方网站

找到对应的版本进行安装

https://pytorch.org/get-started/previous-versions/

训练过程中遇到的问题

1、虚拟共享内存不够
报错：ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memor

通过df -h查看shm的大小
可见容器默认的shared memory只有64MB。但训练程序中，data_loader设置的workers数目比较多，该程序中为8，这些workers通过共享内存进行协作，导致默认的共享内存不够用。

解决方法：
基于以上原因，解决方法可从两个方面入手：

  • 将workers数量降低，例如设置num_workers=0；

  • 将容器的共享内存加大，由上面英文提示，可通过–ipc=host或–shm-size进行设置。

这里，我选择的是第二种方式，加大容器的共享内存：

docker run ... --shm-size 8G ...

2、数据集的加载路径
建议使用绝对的路径，相对路径在容器中可能会报错

3、报错内容：ImportError: libGL.so.1: cannot open shared object file: No such file or directory。
这通常是因为你的系统缺少该库，它是 OpenGL 的一部分，许多图形相关的应用程序和库都需要它。

解决方法，安装相应的库文件

apt-get update && apt-get install libgl1

4、报错内容：ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解决方法：

sudo apt-get install libglib2.0-0

到此这篇关于docker配置pytorch环境来进行训练的方法步骤的文章就介绍到这了,更多相关docker配置pytorch内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！ 

您可能感兴趣的文章:

相关文章

  • 详解Docker镜像提交命令commit的工作原理和使用方法

    详解Docker镜像提交命令commit的工作原理和使用方法

    这篇文章主要介绍了详解Docker镜像提交命令commit的工作原理和使用方法，可以依据这个容器创建本地镜像，并可把这个镜像推送到Docker hub中，以便在网络上下载使用，感兴趣的可以了解一下
    2018-11-11
  • docker常用命令整理汇总(新手必备!)

    docker常用命令整理汇总(新手必备!)

    这篇文章主要给大家介绍了关于docker常用命令的相关资料,包括docker的启动、停止、重启、创建、查看等等,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-05-05
  • Rancher+Docker+SpringBoot实现微服务部署、扩容、环境监控

    Rancher+Docker+SpringBoot实现微服务部署、扩容、环境监控

    Rancher 是一套容器管理平台，可以在生产环境中快捷的部署和管理容器，方便的对容器进行cpu内存环境监控、日志监控、扩容缩容，自动重启，这篇文章主要介绍了Rancher+Docker+SpringBoot实现微服务部署、扩容、环境监控,需要的朋友可以参考下
    2022-04-04
  • docker mysql容器如何开启慢查询日志

    docker mysql容器如何开启慢查询日志

    本文主要介绍了docker mysql容器如何开启慢查询日志，文中根据实例编码详细介绍的十分详尽，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-03-03
  • Docker系列之使用Docker Compose编排容器

    Docker系列之使用Docker Compose编排容器

    Docker Compose 是 Docker 容器进行编排的工具，定义和运行多容器的应用，可以一条命令启动多个容器,这篇文章主要介绍了Docker系列之使用Docker Compose编排容器,感兴趣的小伙伴们可以参考一下
    2018-06-06
  • Docker安装Kong API Gateway并使用的详细教程

    Docker安装Kong API Gateway并使用的详细教程

    这篇文章主要介绍了Docker安装Kong API Gateway并使用，本文通过图文实例相结合给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-08-08
  • 浅析docker-compose部署mysql无法访问的问题

    浅析docker-compose部署mysql无法访问的问题

    Compose 是 Docker 容器进行编排的工具，定义和运行多容器的应用，可以一条命令启动多个容器，使用Docker Compose不再需要使用shell脚本来启动容器。接下来通过本文给大家分享docker-compose部署mysql无法访问的问题，需要的朋友参考下吧
    2018-10-10
  • Docker 网络模式（四种）详细介绍

    Docker 网络模式（四种）详细介绍

    这篇文章主要介绍了Docker 网络模式详细介绍的相关资料,这里提供了四种网络模式的介绍，Docker 作为轻量级容器技术，很多比较不错的功能，网络不是多好，这里就整理下，需要的朋友可以参考下
    2016-11-11
  • 使用docker-tc对host容器进行限流的操作方法

    使用docker-tc对host容器进行限流的操作方法

    docker-tc是一个github开源项目,这篇文章主要介绍了使用docker-tc对host容器进行限流,需要的朋友可以参考下
    2024-04-04
  • 详解docker国内镜像拉取和镜像加速registry-mirrors配置修改

    详解docker国内镜像拉取和镜像加速registry-mirrors配置修改

    由于国内访问直接访问Docker hub网速比较慢，拉取镜像的时间就会比较长。一般我们会使用镜像加速或者直接从国内的一些平台镜像仓库上拉取
    2017-05-05

最新评论