云海麒麟
高性能计算领域专家
云海麒麟GPU工作站使用手册
陕西师范大学-化学化工学院
作者 杜勇
最后修改时间 2017-6-18
文档内容目录 安装环境说明
如何通过网络使用GPU工作站
软件安装目录
环境变量的设定
作业脚本编写和提交
软件的运行
法律通告
深圳市云海麒麟计算机系统有限公司在此郑重声明，在未经深圳市云海麒麟计算机
系统有限公司事先书面许可的情况下，严禁以任何形式复制，传递，分发和引用文
档中的任何内容。
深圳市云海麒麟计算机系统有限公司遵循可持续发展的原则，因此，深圳市云海麒
麟计算机系统有限公司保留在未预先通知的情况下，对本文档中模式的任何内容进
行修改和改进的权利。
使用环境说明
外形：塔式GPU计算工作站
CPU：2颗E5-2650v4\/12核24线程\/主频2.2GHz\/L3 cache 30MB\/QPI
9.6GT\/DTP 105W
GPU工作站配置 内存：64GB，4*16GB DDR4 2133MHz ECC Reg
硬盘：1*企业级SSD 960GB（6Gb\/s SATA 2.5'' MLC）；
GPU计算卡：2 X GTX 1080ti 11GB
网络：双千兆网卡
操作系统 Kirin HPC 2017量子化学计算系统
安装软件清单 GCC、Gfortran
特别说明 intel parallel studio xe 2015
Openmpi-1.8.4
Torque\\Maui
Ganglia
CUDA-8.0
Gaussian09
VASP-5.4.4
Lammps-31Mar17
Gromacs-5.1.4
1、cuda采用.run文件方式安装
2、Kirin HPC 2017基于Centos 6.8开发，因此本文的cuda安装只适
用 于Centos6系列的系 统，Centos7的cuda安 装与centos6有明显 不
同，请参考centos7 的软件安装手册。
3、在未做特别说明时，所进行的操作均为root用户
4、本文均以\/export\/apps\/目录存放软件安装包
5、软件安装除cuda外，其它软件都安装在\/opt目录下
计算环境列表
访问IP Eth1网口为访问网口，IP地址默认为：192.168.1.200
软件安装路 默认编译器、计算软件安装路径为\/opt
径 CUDA-8.0安装在\/usr\/local下
软件存放路 默认用户文件夹绝对路径\/export\/home\/，并链接到系统\/
home目录
径 默认软件安装包上传路径\/export\/apps\/
创建的用户 用户名：root 密码：zxcvbnm
用户名：gaussian 用于高斯计算
vasp-gpu 用于vaspGPU计算
vasp-cpu 用于vaspCPU计算
gromacs 用于gromacsCPU计算
gromacs-gpu 用于gromacsGPU计算
lammps 用于lammps计算
以上用户密码均为：zxcvbnm
重要提醒：建议用户一个用户名只使用一个软件，因此创
建如此多用户。例如用户要进行vasp的GPU计算，使用vasp
-gpu用户。并且，因计算资源较少，本机不要多个用户同
时计算多个软件，特别是GPU计算，建议用户一次只用一
个用户名登陆，使用一个计算软件，当然这个软件可以用
作业调度的方式完成多个作业。
主机运行状 浏览器输入192.168.1.210\/ganglia，可以查看主机运行状况
况查看
使用环境及网络接入说明
网络登陆GPU工作站
GPU工作站软件安装路径
编译器，计算环境 计算软件安装路径
Vasp.5.4.4 \/opt\/vasp.5.4.4
intel par- \/opt\/intel
allel stu-
dio xe
2015
Openmpi \/opt\/openmpi-1.8.4 lammps- \/opt\/lammps-
-1.8.4 \/opt\/openmpi-1.8(gcc编 31Mar17 31Mar17
译版本)
Cuda-8.0 \/usr\/local\/cuda-8.0 gaussi- \/opt\/g09
an09D01
cmake \/opt\/cmake-3.9.0-rc2- Gromacs- \/opt\/gromacs
fftw Linux-x86_64 5.1.4 \/opt\/gromacs_gpu
\/opt\/vmd
\/opt\/fftw-3.3.3 VMD \/usr\/bin\/VESTA
VESTA
使用基础
创建用户
普通用户只能由root用户来创建
在root用户下执行
adduser duyong（创建duyong用户）
passwd duyong （修改用户密码）
adduser创建完用户名后，请马上执行passwd修改用户密码
使用基础
vi编辑器的基本使用
linux下脚本文件大多用vi来编辑修改
vi xxx（打开文件名为xxx的文件，如果当前目录下没有这个文
件，则为创建文件名为xxx的文件）
打开文件后，按a键或insert键，屏幕左下角为INSERT状态，此时
可以输入文字
输入完成后，按esc键，屏幕左下角状态为空，按shift+；在屏幕
左下角显示：然后按wq回车为保存退出；按q!为不保存退出
用户软件变量-计算环境（此环境为大多数软件所需）
source \/opt\/intel\/bin\/compilervars.sh intel64
export OMPI_F77=ifort
export OMPI_FC=ifort
OPENMPI=\/opt\/openmpi-1.8.4
export PATH=$OPENMPI\/bin:$PATH
export LD_LIBRARY_PATH=$OPENMPI\/lib:$LD_LIBRARY_PATH
export MANPATH=$OPENMPI\/share\/man:$MANPATH
export PATH=\/usr\/local\/cuda-8.0\/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\/usr\/local\/cuda-8.0\/lib64
export CUDA_VISIBLE_DEVICES=\"0,1\"
计算软件的使用-gaussian
用户环境设置
source \/opt\/intel\/bin\/compilervars.sh intel64
export OMPI_F77=ifort
export OMPI_FC=ifort
OPENMPI=\/opt\/openmpi-1.8.4
export PATH=$OPENMPI\/bin:$PATH
export LD_LIBRARY_PATH=$OPENMPI\/lib:$LD_LIBRARY_PATH
export MANPATH=$OPENMPI\/share\/man:$MANPATH
g09root=\/opt
export g09root
source $g09root\/g09\/bsd\/g09.profile
GAUSS_SCRDIR=\/tmp
export GAUSS_SCRDIR
软件的运行
用户在使用高斯之前，必须确认用户环境设置是正确的，否则
高斯无法运行
用户环境设置：
在用户主目录下
vi .bashrc
输入左侧用户环境设置内容后保存退出
执行source .bashrc使得用户环境立刻生效
在输入文件目录下执行并行运行
mpirun -np 12 g09 XXX.gif
计算软件的使用-VASP
用户环境设置
source \/opt\/intel\/bin\/compilervars.sh intel64
export OMPI_F77=ifort
export OMPI_FC=ifort
OPENMPI=\/opt\/openmpi-1.8.4
export PATH=$OPENMPI\/bin:$PATH
export LD_LIBRARY_PATH=$OPENMPI\/lib:$LD_LIBRARY_PATH
export MANPATH=$OPENMPI\/share\/man:$MANPATH
export PATH=\/usr\/local\/cuda-8.0\/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\/usr\/local\/cuda-8.0\/
lib64
export CUDA_VISIBLE_DEVICES=\"0,1\"
软件的运行
用户在使用vasp之前，必须确认用户环境设置是正确的，否则
vasp无法运行
用户环境设置：
在用户主目录下
vi .bashrc
输入左侧用户环境设置内容后保存退出
执行source .bashrc使得用户环境立刻生效
在输入文件目录下执行
mpirun -np 12 vasp_std &> vasp.out (此命令为vasp的CPU并行命
令)
mpirun –n 4 vasp_gpu &> vasp.out (此命令为vasp的GPU并行命令)
计算软件的使用-LAMMPS
用户环境设置
source \/opt\/intel\/bin\/compilervars.sh intel64
export OMPI_F77=ifort
export OMPI_FC=ifort
OPENMPI=\/opt\/openmpi-1.8.4
export PATH=$OPENMPI\/bin:$PATH
export LD_LIBRARY_PATH=$OPENMPI\/lib:$LD_LIBRARY_PATH
export MANPATH=$OPENMPI\/share\/man:$MANPATH
export PATH=\/usr\/local\/cuda-8.0\/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\/usr\/local\/cuda-8.0\/
lib64
export CUDA_VISIBLE_DEVICES=\"0,1\"
软件的运行
用户在使用lammps之前，必须确认用户环境设置是正确的，否
则lammps无法运行
用户环境设置：
在用户主目录下
vi .bashrc
输入左侧用户环境设置内容后保存退出
执行source .bashrc使得用户环境立刻生效
在输入文件目录下执行
mpirun -np 4 lmp_mpi -in in.script (此命令为lammps的CPU并行命
令)
mpirun -np 4 lmp_mpi -sf gpu -pk gpu 2 -in in.script (此命令为
lammps的GPU并行命令)
计算软件的使用-Gromacs之CPU
用户环境设置
OPENMPI=\/opt\/openmpi-1.8
export PATH=$OPENMPI\/bin:$PATH
export LD_LIBRARY_PATH=$OPENMPI\/
lib:$LD_LIBRARY_PATH
export MANPATH=$OPENMPI\/share\/man:$MANPATH
export PATH=\/usr\/local\/cuda-8.0\/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\/usr\/local\/
cuda-8.0\/lib64
export CUDA_VISIBLE_DEVICES=\"0,1“
export PATH=\/opt\/cmake-3.9.0-rc2-Linux-x86_64\/bin:$PATH
export PATH=\/opt\/gromacs\/bin:$PATH
export LD_LIBRARY_PATH=\/opt\/gromacs\/
lib64:$LD_LIBRARY_PATH
软件的运行
用户在使用gromacs之前，必须确认用户环境设置是正确的，否
则gromacs无法运行
用户环境设置：
在用户主目录下
vi .bashrc
输入左侧用户环境设置内容后保存退出
执行source .bashrc使得用户环境立刻生效
gromacs的并行运行，请参考gromacs官方文档
计算软件的使用-Gromacs之GPU
用户环境设置
OPENMPI=\/opt\/openmpi-1.8
export PATH=$OPENMPI\/bin:$PATH
export LD_LIBRARY_PATH=$OPENMPI\/lib:$LD_LIBRARY_PATH
export MANPATH=$OPENMPI\/share\/man:$MANPATH
export PATH=\/usr\/local\/cuda-8.0\/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\/usr\/local\/cuda-8.0\/
lib64
export CUDA_VISIBLE_DEVICES=\"0,1“
export PATH=\/opt\/cmake-3.9.0-rc2-Linux-x86_64\/bin:$PATH
export PATH=\/opt\/gromacs_gpu\/bin:$PATH
export LD_LIBRARY_PATH=\/opt\/gromacs_gpu\/
lib64:$LD_LIBRARY_PATH
软件的运行
用户在使用gromacs之前，必须确认用户环境设置是正确的，否
则gromacs无法运行
用户环境设置：
在用户主目录下
vi .bashrc
输入左侧用户环境设置内容后保存退出
执行source .bashrc使得用户环境立刻生效
gromacs的并行运行，请参考gromacs官方文档
作业调度的使用
为什么使用 使用作业调度系统，主要是方便作业管理和计算
作业调度？ 资源的有效使用。当用户有多个作业需要计算
时，用作业脚本提交后，作业调度系统会对作业
作业调度命 进行排队，作业会根据作业脚本指令，按顺序进
令 行计算，这样最大化的保证了整个计算资源的有
效使用。
作业调度用
户设置 qsub xxx.pbs 提交作业
qstat 查询作业状态，状态信息R表示在运行，C
表示作业已经完成或退出，Q表示作业在排队
qdel aaa 删除作业，aaa代表作业号，用qstat查
询作业号
root用户可修改作业调度用户权限
vi \/opt\/maui\/maui.cfg
在文件的最后部分是用户权限设置，可添加或修
改，例如：
USERCFG[username] MAXJOB=2 MAXPROC=10
其中username修改为你要设置的用户名，例如
duyong
MAXJOB=2代表这个用户最大可同时计算2个作
业；MAXPROC=10表示用户最大可同时使用10个
线程。
重要提醒：单机进行计算，如是CPU计算，用户
最大不超过2个作业同时进行计算；如是GPU计
算，用户最好设置为只能1个作业进行计算。
单机作业脚本范本
#!\/bin\/bash
#PBS -N vaspjob
#PBS -j oe
#PBS -l ncpus=4
#PBS -V
cd $PBS_O_WORKDIR
echo -n \"start time \" > time
date >> time
mpirun -n 4 vasp_gpu &> vasp1.out
echo -n \"end time \" >> time ; date >> time
cat time >> vasp1.out
