环境配置
深度学习实践环境准备
由于深度学习模型的训练对计算资源的要求较高,笔者选择租用云服务器并基于此搭建环境。如果选择使用本地主机,请直接跳到环境搭建一节。
云服务器租用与连接
租用云服务器
首先选择一家云服务供应商,例如:
这里需要综合考量预算、平台提供的配置及其价格进行选择。由于对配置的要求和预算都不高,笔者选择了价格相对便宜的AutoDL。
接下来需要在平台上选择机器的软硬件配置,比如CPU、内存、显卡、镜像等,同样根据实际需要选取。确认机器后点击租用,即可在控制台看到已租用的机器。
点击开机选项,等待云服务器开机后,我们会获得它的IP地址或者域名、SSH服务在其上运行的端口以及SSH登录所需的用户名和密码。
连接云服务器
我们可以基于不同的应用通过SSH登录到云服务器上,最简单的是使用本地命令行工具输入如下命令:
|
|
然后输入密码即可操纵云服务器。我们可以在本地生成SSH密钥对并将公钥置于云服务器的相应文件夹下实现免密登录。
笔者选择了VSCode作为远程开发的本地平台,因为VSCode相比纯命令行程序,提供了语法高亮等诸多便捷特性。
我们可以在互联网上搜索到许多使用VSCode进行远程开发的环境搭建教程,因为过程非常简易,这里不再赘述。
环境搭建
经过上述过程,我们已经可以通过命令行操纵云服务器了。一台刚初始化的云服务器可能没有安装深度学习模型开发与运行所必须的工具链,我们首先要将这些工具补全。
首先通过sudo apt-get install build-essential
安装通用基础工具,然后还需要补充以下工具
上述工具都可以在官网上找到命令行下载安装命令,按原样执行即可。安装好后,我们通过conda create --name <环境名>
创建虚拟环境,使用conda activate <环境名>
激活虚拟环境,使用conda install <包名>
或者pip install <包名>
安装特定环境所需的包。如果选择使用PyTorch框架进行模型开发,同我们样可以前往PyTorch官网获取所需的安装命令,在特定的虚拟环境中按原样执行即可。
至此,在云服务器上进行深度学习模型开发与运行的环境搭建完成。
补充内容
科学上网
笔者通过AutoDL租用的云服务器在中国大陆境内,从GitHub、HuggingFace等网站拉取仓库时会因为防火墙过滤数据包而失败,所以还需要在云服务器上实现科学上网。
为了在只有纯命令行界面的主机上实现科学上网,笔者进行了如下两步。
选择代理转发工具
笔者选择ProxyChains命令行工具实现流量代理转发。首先执行sudo apt-get install proxychains-ng
安装最新版本的ProxyChains工具,然后在/etc/.proxychains4.conf
配置文件中按规定格式添加代理服务器。最后,在需要通过代理服务器转发流量的命令前添加proxychains
前缀,即执行proxychains <命令>
,即可实现流量代理转发。
我们可以在互联网上搜索到许多使用ProxyChains的简易教程,这里不再赘述。
租用代理服务器
笔者在这一步花费了较长时间,寻找并尝试了若干网站,在此进行总结。
笔者踩过的坑如下:
- 某些小网站没人维护,付钱后没反应。
- 代理服务器在海外,境内无法访问。
- 代理服务器在境内,无法访问海外网站。
所以,在购买代理服务器前,务必进行如下检查工作:
- 仔细查看网站相关方案的服务说明,避免买错方案。
- 在购买前联系网站客服,请求一段免费的测试时间,在测试时间内确认是否可用、是否贴合需求,然后再决定是否付款。
笔者最后在is*hosting租到了国内可访问的,可实现科学上网的VPN Server。