社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  docker

PyCharm+Docker:打造最舒适的深度学习炼丹炉

小白学视觉 • 4 月前 • 139 次点击  

点击上方小白学视觉”,选择加"星标"或“置顶

重磅干货,第一时间送达


来自|知乎  作者|刘震
链接|https://zhuanlan.zhihu.com/p/52827335
编辑|人工智能前沿讲习
一般炼丹都在服务器上,很少有人在本机跑代码的。之前自己捣鼓怎么用本地的编辑器配上远程服务器的环境来营造一个最舒乎的姿势。最开始用VS Code的SFTP插件,但是用着还是不顺手,因为不能用远程的环境,最后还是选择了强大的PyCharm。下面的这个教程最开始只是自己用,后来写了一篇博客分享给实验室的人,没想到大家都开始用上了。这次专门写一篇更详细的放到知乎供有缘人使用。
开始之前你可以对比以下条件来确定自己是否真的需要这样做:
  • 使用PyCharm作为主力IDE写Python而不是其他(我非常推荐大家用)
  • 深度学习炼丹师(当然你可以不是,但如果是,你会更舒服)
  • 服务器在远程或者局域网(局域网的体验最佳)
  • 使用Docker(能够熟练使用最佳)
当你配置完成之后,你将能在本地PyCharm IDE上使用远程服务器的Python解释器和环境进行调试和运行,同时能够很方便的将代码在本地和服务器上进行同步。
OK,废话不多说,正式开始我们的PyCharm+Docker的远程环境配置之旅。
首先你需要满足以下两个必备条件:
  • 使用PyCharm专业版,记住一定是专业版(社区版不提供远程服务)
  • 在服务器上安装docker和nvidia-docker

01

新建docker container
首先按照如下命令新建一个docker容器(关于docker的使用这里不废话,建议不熟悉的童鞋先去学一下如何使用docker,教程很多):
sudo nvidia-docker run -it -p [host_port]:[container_port](do not use 8888) --name:[container_name] [image_name] -v [container_path]:[host_path] /bin/bash
举个栗子:
sudo nvidia-docker run -p 5592:5592 -p 5593:5593 -p 8022:22 --name="liuzhen_tf" -v ~/workspace/liuzhen/remote_workspace:/workspace/liuzhen/remote_workspace -it tensorflow/tensorflow:latest-gpu /bin/bash
正确执行完之后,现在我们就处在新建的docker容器里了(端口映射,容器名,镜像和路径映射这些换成你自己的就行,但是一定要留一个端口映射到容器22端口,因为SFTP默认使用22端口)。


02

配置SSH服务
接着我们在刚刚新建的容器里配置SSH服务,首先安装openssh-server:
$ apt update$ apt install -y openssh-server
然后建立一个配置文件夹并进行必要的配置:
$ mkdir /var/run/sshd$ echo 'root:passwd' | chpasswd# 这里使用你自己想设置的用户名和密码,但是一定要记住!$ sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config$ sed 's@session\s*required\s*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd$ echo "export VISIBLE=now" >> /etc/profile
如果连不上SSH服务,可能是某些版本的PermitRootLogin yes默认被注释了,可以使用如下(感谢 @Chenjie Xing 的反馈):
sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
重启SSH激活配置:
$ service ssh restart
在服务器(宿主机)上(不是服务器的docker里)测试刚刚新建docker容器中哪个端口转发到了服务器的22端口:
$ sudo docker port [your_container_name] 22# 如果前面的配置生效了,你会看到如下输出# 0.0.0.0:8022
最后测试能否用SSH连接到远程docker:
$ ssh root@[your_host_ip] -p 8022# 密码是你前面自己设置的
到这里说明服务器的docker端已经完成配置。


03

在PyCharm里配置部署环境
打开PyCharmTools > Deployment > Configuration, 新建一个SFTP服务器,名字自己取:
输入如下图配置,注意这里的端口是你刚刚设置的映射到容器22端口的宿主机中的端口,我这里使用的是8022,账号密码是你刚刚自己设置的,这里的Root Path设置一个远程docker容器里的路径:
配置完点击Test SFTP connection,如果成功就恭喜你,可以进行下一步了。
最后在Mappings中配置路径,这里的路径是你本地存放代码的路径,与刚刚配置的Root Path相互映射(意思是Mapping里本机的路径映射到远程的Root Path),方便以后在本地和远程docker中进行代码和其他文件同步。


04

在PyCharm里配置远程解释器
点击PyCharm的File > Setting > Project > Project Interpreter右边的设置按钮新建一个项目的远程解释器:
配置完成以后在项目解释器界面就会出现如下图所示,可以看到此时已经完成远程解释器的本地化:
配置完成以后需要等本地和远程的环境同步一下,到这里,恭喜你,可以用最舒服的姿势。。。写代码了。
配置完成以后的日常是这样的:
左边是本地的文件,修改之后可以随时右键deployment->upload到远程主机,或者直接在本地调试运行;最右边是远程主机的文件,假如直接在远程修改了文件刷新一下同样可以右键下载到本地,但是我不建议这样做,因为这样很容易带来冲突(毕竟没有很好的版本控制)。目前最好的实践是在局域网的服务器上,时延低,同步速度快。

05

常见问题
1. 最常见的问题就是docker容器停了以后里面的SSH服务也会相应停止,因此当你发现自己某一天连不上的时候,记得去docker里重启一下ssh服务:
$ service ssh restart
感谢 @丁果 对这个问题提出的解决方案:
“可以在run的时候加上--restart=always,同时ssh启动的写到dockerfile里去。”
2. 在容器中执行apt update的时候可能会出现0% working 的问题
感谢 @奥古斯都 提出该问题以及解决方案:
”这里不是源的问题,因为容器环境太过纯净,这里需要安装apt-transport-https这个deb文件,下载的时候也要注意不要下载最新的版本,否则也会出现依赖问题,要下载和当前docker容器内的apt相匹配的版本。“
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2:Python视觉实战项目52讲
小白学视觉 公众号后台回复:Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

下载3:OpenCV实战项目20讲
小白学视觉公众号后台回复:OpenCV实战项目20讲即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

交流群


欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/174714
 
139 次点击