12月 17

[搬]使用 screen 管理你的远程会话

你是不是经常需要 SSH 或者 telent 远程登录到 Linux 服务器?你是不是经常为一些长时间运行的任务而头疼,比如系统备份、ftp 传输等等。通常情况下我们都是为每一个这样的任务开一个远程终端窗口,因为他们执行的时间太长了。必须等待它执行完毕,在此期间可不能关掉窗口或者断开连接,否则这个任务就会被杀掉,一切半途而废了。

元凶:SIGHUP 信号

让我们来看看为什么关掉窗口/断开连接会使得正在运行的程序死掉。

在Linux/Unix中,有这样几个概念:

  • 进程组(process group):一个或多个进程的集合,每一个进程组有唯一一个进程组ID,即进程组长进程的ID。
  • 会话期(session):一个或多个进程组的集合,有唯一一个会话期首进程(session leader)。会话期ID为首进程的ID。
  • 会话期可以有一个单独的控制终端(controlling terminal)。与控制终端连接的会话期首进程叫做控制进程(controlling process)。当前与终端交互的进程称为前台进程组。其余进程组称为后台进程组。

根据POSIX.1定义:

  • 挂断信号(SIGHUP)默认的动作是终止程序。
  • 当终端接口检测到网络连接断开,将挂断信号发送给控制进程(会话期首进程)。
  • 如果会话期首进程终止,则该信号发送到该会话期前台进程组。
  • 一个进程退出导致一个孤儿进程组中产生时,如果任意一个孤儿进程组进程处于STOP状态,发送SIGHUP和SIGCONT信号到该进程组中所有进程。

因此当网络断开或终端窗口关闭后,控制进程收到SIGHUP信号退出,会导致该会话期内其他进程退出。

我们来看一个例子。打开两个SSH终端窗口,在其中一个运行top命令。

[root@tivf09 root]# top

在另一个终端窗口,找到top的进程ID为5180,其父进程ID为5128,即登录shell。

[root@tivf09 root]# ps -ef|grep top
root      5180  5128  0 01:03 pts/0    00:00:02 top
root      5857  3672  0 01:12 pts/2    00:00:00 grep top

使用pstree命令可以更清楚地看到这个关系:

[root@tivf09 root]# pstree -H 5180|grep top
|-sshd-+-sshd---bash---top

使用ps-xj命令可以看到,登录shell(PID 5128)和top在同一个会话期,shell为会话期首进程,所在进程组PGID为5128,top所在进程组PGID为5180,为前台进程组。

[root@tivf09 root]# ps -xj|grep 5128
 5126  5128  5128  5128 pts/0     5180 S        0   0:00 -bash
 5128  5180  5180  5128 pts/0     5180 S        0   0:50 top
 3672 18095 18094  3672 pts/2    18094 S        0   0:00 grep 5128

关闭第一个SSH窗口,在另一个窗口中可以看到top也被杀掉了。

[root@tivf09 root]# ps -ef|grep 5128
root     18699  3672  0 04:35 pts/2    00:00:00 grep 5128

如果我们可以忽略SIGHUP信号,关掉窗口应该就不会影响程序的运行了。nohup命令可以达到这个目的,如果程序的标准输出/标准错误是终端,nohup默认将其重定向到nohup.out文件。值得注意的是nohup命令只是使得程序忽略SIGHUP信号,还需要使用标记&把它放在后台运行。

nohup <command> [argument…] &

虽然nohup很容易使用,但还是比较“简陋”的,对于简单的命令能够应付过来,对于复杂的需要人机交互的任务就麻烦了。

其实我们可以使用一个更为强大的实用程序screen。流行的Linux发行版(例如Red Hat Enterprise Linux 4)通常会自带screen实用程序,如果没有的话,可以从GNU screen的官方网站下载。

[root@tivf06 ~]# rpm -qa|grep screen
xscreensaver-4.18-5.rhel4.11
screen-4.0.2-5

开始使用Screen

简单来说,Screen是一个可以在多个进程之间多路复用一个物理终端的窗口管理器。Screen中有会话的概念,用户可以在一个screen会话中创建多个screen窗口,在每一个screen窗口中就像操作一个真实的telnet/SSH连接窗口那样。在screen中创建一个新的窗口有这样几种方式:

1.直接在命令行键入screen命令

[root@tivf06 ~]# screen

Screen将创建一个执行shell的全屏窗口。你可以执行任意shell程序,就像在ssh窗口中那样。在该窗口中键入exit退出该窗口,如果这是该screen会话的唯一窗口,该screen会话退出,否则screen自动切换到前一个窗口。

2.Screen命令后跟你要执行的程序。

[root@tivf06 ~]# screen vi test.c

Screen创建一个执行vi test.c的单窗口会话,退出vi将退出该窗口/会话。

3.以上两种方式都创建新的screen会话。我们还可以在一个已有screen会话中创建新的窗口。在当前screen窗口中键入C-a c,即Ctrl键+a键,之后再按下c键,screen 在该会话内生成一个新的窗口并切换到该窗口。

screen还有更高级的功能。你可以不中断screen窗口中程序的运行而暂时断开(detach)screen会话,并在随后时间重新连接(attach)该会话,重新控制各窗口中运行的程序。例如,我们打开一个screen窗口编辑/tmp/abc文件:

[root@tivf06 ~]# screen vi /tmp/abc

之后我们想暂时退出做点别的事情,比如出去散散步,那么在screen窗口键入C-a d,Screen会给出detached提示:

暂时中断会话

暂时中断会话

半个小时之后回来了,找到该screen会话:

[root@tivf06 ~]# screen -ls
There is a screen on:
        16582.pts-1.tivf06      (Detached)
1 Socket in /tmp/screens/S-root.

重新连接会话:

[root@tivf06 ~]# screen -r 16582

看看出现什么了,太棒了,一切都在。继续干吧。

你可能注意到给screen发送命令使用了特殊的键组合C-a。这是因为我们在键盘上键入的信息是直接发送给当前screen窗口,必须用其他方式向screen窗口管理器发出命令,默认情况下,screen接收以C-a开始的命令。这种命令形式在screen中叫做键绑定(key binding),C-a叫做命令字符(command character)。

可以通过C-a ?来查看所有的键绑定,常用的键绑定有:

C-a ? 显示所有键绑定信息
C-a w 显示所有窗口列表
C-a C-a 切换到之前显示的窗口
C-a c 创建一个新的运行shell的窗口并切换到该窗口
C-a n 切换到下一个窗口
C-a p 切换到前一个窗口(与C-a n相对)
C-a 0..9 切换到窗口0..9
C-a a 发送 C-a到当前窗口
C-a d 暂时断开screen会话
C-a k 杀掉当前窗口
C-a [ 进入拷贝/回滚模式

Screen常用选项

使用键绑定C-a ?命令可以看到, 默认的命令字符(Command key)为C-a,转义C-a(literal ^a)的字符为a:

Screen 常用选项

Screen 常用选项

因为screen把C-a看作是screen命令的开始,所以如果你想要screen窗口接收到C-a字符,就要输入C-a a。Screen也允许你使用-e选项设置自己的命令字符和转义字符,其格式为:

-exy x为命令字符,y为转义命令字符的字符

下面命令启动的screen会话指定了命令字符为C-t,转义C-t的字符为t,通过C-t ?命令可以看到该变化。

[root@tivf18 root]# screen -e^tt
自定义命令字符和转义字符

自定义命令字符和转义字符

其他常用的命令选项有:

-c file 使用配置文件file,而不使用默认的$HOME/.screenrc
-d|-D [pid.tty.host] 不开启新的screen会话,而是断开其他正在运行的screen会话
-h num 指定历史回滚缓冲区大小为num行
-list|-ls 列出现有screen会话,格式为pid.tty.host
-d -m 启动一个开始就处于断开模式的会话
-r sessionowner/ [pid.tty.host] 重新连接一个断开的会话。多用户模式下连接到其他用户screen会话需要指定sessionowner,需要setuid-root权限
-S sessionname 创建screen会话时为会话指定一个名字
-v 显示screen版本信息
-wipe [match] 同-list,但删掉那些无法连接的会话

下例显示当前有两个处于detached状态的screen会话,你可以使用screen -r <screen_pid>重新连接上:

[root@tivf18 root]# screen –ls
There are screens on:
        8736.pts-1.tivf18       (Detached)
        8462.pts-0.tivf18       (Detached)
2 Sockets in /root/.screen.

[root@tivf18 root]# screen –r 8736

如果由于某种原因其中一个会话死掉了(例如人为杀掉该会话),这时screen -list会显示该会话为dead状态。使用screen -wipe命令清除该会话:

[root@tivf18 root]# kill -9 8462
[root@tivf18 root]# screen -ls  
There are screens on:
        8736.pts-1.tivf18       (Detached)
        8462.pts-0.tivf18       (Dead ???)
Remove dead screens with 'screen -wipe'.
2 Sockets in /root/.screen.

[root@tivf18 root]# screen -wipe
There are screens on:
        8736.pts-1.tivf18       (Detached)
        8462.pts-0.tivf18       (Removed)
1 socket wiped out.
1 Socket in /root/.screen.

[root@tivf18 root]# screen -ls  
There is a screen on:
        8736.pts-1.tivf18       (Detached)
1 Socket in /root/.screen.

[root@tivf18 root]#

-d –m 选项是一对很有意思的搭档。他们启动一个开始就处于断开模式的会话。你可以在随后需要的时候连接上该会话。有时候这是一个很有用的功能,比如我们可以使用它调试后台程序。该选项一个更常用的搭配是:-dmS sessionname

启动一个初始状态断开的screen会话:

[root@tivf06 tianq]# screen -dmS mygdb gdb execlp_test

连接该会话:

[root@tivf06 tianq]# screen -r mygdb

管理你的远程会话

先来看看如何使用screen解决SIGHUP问题,比如现在我们要ftp传输一个大文件。如果按老的办法,SSH登录到系统,直接ftp命令开始传输,之后。。如果网络速度还可以,恭喜你,不用等太长时间了;如果网络不好,老老实实等着吧,只能传输完毕再断开SSH连接了。让我们使用screen来试试。

SSH登录到系统,在命令行键入screen。

[root@tivf18 root]# screen

在screen shell窗口中输入ftp命令,登录,开始传输。不愿意等了?OK,在窗口中键入C-a d:

管理你的远程会话

管理你的远程会话

然后。。退出SSH登录?随你怎样,只要别杀掉screen会话。

是不是很方便?更进一步,其实我们可以利用screen这种功能来管理你的远程会话,保存你所有的工作内容。你是不是每次登录到系统都要开很多窗口,然后每天都要重复打开关闭这些窗口?让screen来帮你“保存”吧,你只需要打开一个ssh窗口,创建需要的screen窗口,退出的时候C-a d“保存”你的工作,下次登录后直接screen -r <screen_pid>就可以了。

最好能给每个窗口起一个名字,这样好记些。使用C-a A给窗口起名字。使用C-a w可以看到这些窗口名字,可能名字出现的位置不同。使用putty:

putty

putty

使用telnet:

telnet

telnet

更多Screen功能

Screen提供了丰富强大的定制功能。你可以在Screen的默认两级配置文件/etc/screenrc和$HOME/.screenrc中指定更多,例如设定screen选项,定制绑定键,设定screen会话自启动窗口,启用多用户模式,定制用户访问权限控制等等。如果你愿意的话,也可以自己指定screen配置文件。

以多用户功能为例,screen默认是以单用户模式运行的,你需要在配置文件中指定multiuser on 来打开多用户模式,通过acl*(acladd,acldel,aclchg…)命令,你可以灵活配置其他用户访问你的screen会话。更多配置文件内容请参考screen的man页。

参考资料

12月 17

[搬]Ubuntu远程服务器添加SSH密钥登录

来自Bistu刘照阁
SSH密钥登录原理:

密匙认证需要依靠密匙,首先创建一对密匙(包括公匙和密匙,并且用公匙加密的数据只能用密匙解密),并把公匙放到需要远程服务器上。这样当登录远程 服务器时,客户端软件就会向服务器发出请求,请求用你的密匙进行认证。服务器收到请求之后,先在你在该服务器的宿主目录下寻找你的公匙,然后检查该公匙是 否是合法,如果合法就用公匙加密一随机数(即所谓的challenge)并发送给客户端软件。客户端软件收到 “challenge”之后就用私匙解密再把它发送给服务器。因为用公匙加密的数据只能用密匙解密,服务器经过比较就可以知道该客户连接的合法性。

注:在Xshell里“公钥”又称为“主机密钥”,“私钥”又称为“客户端密钥”

1. 登录远程主机,修改/etc/ssh/sshd_config文件,确保以下配置:
RSAAuthentication yes
PubkeyAuthentication yes

2. 回到客户端,创建RSA密钥对

ssh-keygen -t rsa
密钥名默认为id_rsa
密钥密语:如果想在使用密钥登录的时候要求客户端输入密语(注意密语与SSH密码不同),则设置密钥密语,一般默认为空

3. 默认情况下创建的RSA密钥对保存在~/.ssh文件夹里,分别为
id_rsa  ——>私钥,保存在客户端里
id_rsa.pub  ——>公钥,保存在服务器里

4. 将公钥文件上传至服务器的~/.ssh文件夹中,若没有.ssh文件夹,先新建一个再拷贝。

5. 将服务器端的~/.ssh/id_rsa.pub重命名为authorized_keys

6. 重启sshd服务

对于Xshell用户,可以通过Xshell创建RSA密钥对,然后同理从第三步开始操作。

12月 17

Colorcode:让性感的Sublime变得更性感

 

 

 

 

 

 

 

 

 

edX安装过程中比较闲,于是在Sublime的Package中做了简单的探索。由于我这个人是比较在意视觉享受的,于是找了些代码高亮有关的内容,结果发现了下面这个奇葩……

怎么说呢,写纯代码的话用这种高亮是极其容易视觉疲劳的,不过拿来看含有大量路径内容的文档或者说log还是有奇效的。下面是效果图。

1 2

 

安装方法:ctrl+shift+P,调出Install Package,键入Colorcode,回车。

然后就可以在高亮选项中选择了。Enjoy it.

12月 16

2014/12/16 edX Install Script

#!/bin/sh
##https://github.com/eduStack/edx-manual/edit/master/NormalINATSLL
## Installs the pre-requisites for running edX on a single Ubuntu 12.04
## instance. This script is provided as a convenience and any of these
## steps could be executed manually.
##
## Note that this script requires that you have the ability to run
## commands as root via sudo. Caveat Emptor!
##

##
## Sanity check
##
if [[ ! “$(lsb_release -d | cut -f2)” =~ $’Ubuntu 12.04′ ]]; then
echo “This script is only known to work on Ubuntu 12.04, exiting…”;
exit;
fi

##
## Change ubuntu repo
##
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo sed -i ‘s/security.ubuntu.com/mirrors.ustc.edu.cn/g’ /etc/apt/sources.list
sudo sed -i ‘s/cn.archive.ubuntu.com/mirrors.ustc.edu.cn/g’ /etc/apt/sources.list
sudo sed -i ‘s/us.archive.ubuntu.com/mirrors.ustc.edu.cn/g’ /etc/apt/sources.list

##
## Set pypi index-url
##

sudo mkdir /root/.pip
mkdir ~/.pip

cat << EOF > ~/.pip/pip.conf
[global]
index-url = http://pypi.mirrors.ustc.edu.cn/simple
timeout = 60
EOF

sudo cp ~/.pip/pip.conf /root/.pip/

##
## Install system pre-requisites
##
sudo apt-get update
sudo apt-get install -y build-essential software-properties-common python-software-properties curl git-core libxml2-dev libxslt1-dev libfreetype6-dev python-pip python-apt python-dev
sudo pip install –upgrade pip
sudo pip install –upgrade virtualenv

##
## Clone the configuration repository and run Ansible
##
cd /var/tmp
git clone -b master https://github.com/edx/configuration
#git clone -b eduStack https://github.com/eduStack/configuration ERROR!
## rm -rf cd /var/tmp configuration
## Install the ansible requirements
##
cd /var/tmp/configuration
sudo pip install -r requirements.txt

##
## Run the eduStack.yml playbook in the configuration/playbooks directory
##
cd /var/tmp/configuration/playbooks/edx-east
sudo ansible-playbook -c local –limit “localhost:127.0.0.1” ../eduStack.yml -i “localhost,” -e ‘EDXAPP_PREVIEW_LMS_BASE=preview.edustack.net EDXAPP_LMS_BASE=www.edustack.net EDXAPP_CMS_BASE=studio.edustack.net EDXAPP_LMS_PREVIEW_NGINX_PORT=80 EDXAPP_CMS_NGINX_PORT=80 EDXAPP_LMS_NGINX_PORT=80 edx_platform_version=eduStack ‘

12月 16

Sublime中GBK转UTF-8的方法

拿到一份代码,如果有国人用汉字注释,那么这个人很有可能用的是GBK的汉字编码标准。

你就会看到如下情形:

QQ截图20141216183826

 

 

我们来解决这个问题。

首先要确定你已经配置了Package Control,如果没有,请翻博客。

ctrl+shift+P,输入install调出Install Package

接下来输入 ConvertToUTF8

然后,用Ctrl+shift+P再调出Command Palette,输入ConvertToUTF8调用它。选择对应的译码方式。
QQ截图20141216185033
问题就解决了。

 

12月 16

Sublime安装Package Control

对于刚安装Sublime的用户,想要使用强大的Package,还需要一个前提步骤。那就是安装Package Control。利用搜索引擎搜索到了两个版本的安装脚本,分享给大家。

 

如果你是Sublime Text3用户,按下Ctrl+~呼出控制台,输入以下代码

import urllib.request,os,hashlib; h = '7183a2d3e96f11eeadd761d777e62404' + 'e330c659d4bb41d3bdf022e94cab3cd0'; pf = 'Package Control.sublime-package'; ipp = sublime.installed_packages_path(); urllib.request.install_opener( urllib.request.build_opener( urllib.request.ProxyHandler()) ); by = urllib.request.urlopen( 'http://sublime.wbond.net/' + pf.replace(' ', '%20')).read(); dh = hashlib.sha256(by).hexdigest(); print('Error validating download (got %s instead of %s), please try manual install' % (dh, h)) if dh != h else open(os.path.join( ipp, pf), 'wb' ).write(by)

如果你是Sublime Text2用户,按下Ctrl+~呼出控制台,输入以下代码

import urllib2,os,hashlib; h = '7183a2d3e96f11eeadd761d777e62404' + 'e330c659d4bb41d3bdf022e94cab3cd0'; pf = 'Package Control.sublime-package'; ipp = sublime.installed_packages_path(); os.makedirs( ipp ) if not os.path.exists(ipp) else None; urllib2.install_opener( urllib2.build_opener( urllib2.ProxyHandler()) ); by = urllib2.urlopen( 'http://sublime.wbond.net/' + pf.replace(' ', '%20')).read(); dh = hashlib.sha256(by).hexdigest(); open( os.path.join( ipp, pf), 'wb' ).write(by) if dh == h else None; print('Error validating download (got %s instead of %s), please try manual install' % (dh, h) if dh != h else 'Please restart Sublime Text to finish installation')
12月 16

配置Sublime编译环境(C/C++为例)

请到官网下载MinGW或者GCC。
打开Sublime,找到Tools–Build System–New Build System
输入以下内容:注意:请自行将路径里的\改成//(这里是windows版本)
{
“path”: “这里是你的MinGW的bin的目录路径,例如D:Program Files (x86)//MinGW//bin”,
“cmd”: [“g++.exe”, “${file}”, “-o”, “${file_path}/${file_base_name}”],
“file_regex”: “^(..[^:]*):([0-9]+):?([0-9]+)?:? (.*)$”,
“working_dir”: “${file_path}”,
“selector”: “source.c, source.c++”,
“encoding”:”UTF-8″,
“encoding”: “cp936”,
“variants”:
[
{
“name”: “Run”,

“cmd”: [ “${file_path}/${file_base_name}.exe”],
“shell”: true,
“cmd” : [“start”, “cmd”, “/k”, “${file_path}/${file_base_name} &&echo. & pause && exit”]
}
]
}

命名,保存

Ubuntu 12.04 64Bit Installation(Script)

Aside

#Update your Ubuntu package sources
sudo apt-get update -y
sudo apt-get upgrade -y
reboot

#Change hosts and hostname
sudo vi /etc/hosts
sudo vi /etc/hostname

#Manual installation (without vagrant)
sudo apt-get install -y build-essential software-properties-common python-software-properties curl git-core libxml2-dev libxslt1-dev python-pip python-apt python-dev
wget https://bitbucket.org/pypa/setuptools/raw/0.8/ez_setup.py -O – | sudo python
sudo pip install –upgrade pip
sudo pip install –upgrade virtualenv

#On the new server, clone the configuration repo
cd /var/tmp
git clone https://github.com/edx/configuration

#Insatall the ansible requirements
cd /var/tmp/configuration
sudo pip install -r requirements.txt

#Change documents
cd /var/tmp/configuration/playbooks/roles/common/defaults
sudo vi main.yml
#————————————————————–#
COMMON_PYPI_MIRROR_URL: ‘http://pypi.douban.com/simple’
COMMON_SSH_PASSWORD_AUTH: “yes”
#————————————————————–#
cd /var/tmp/configuration/playbooks/roles/edxapp/defaults
sudo vi main.yml
#————————————————————–#
EDXAPP_LMS_BASE: ‘x.momomin.org’
EDXAPP_PREVIEW_LMS_BASE: ‘xpreview.momomin.org’
EDXAPP_CMS_BASE: ‘xstudio.momomin.org’

EDXAPP_SITE_NAME: ‘x.momomin.org’

EDXAPP_LANG: ‘en_US.UTF-8’
EDXAPP_LANGUAGE_CODE : ‘zh-cn’
EDXAPP_TIME_ZONE: ‘Asia/Shanghai’

EDXAPP_TECH_SUPPORT_EMAIL: ‘technical@momomin.org’
EDXAPP_CONTACT_EMAIL: ‘info@momomin.org’
EDXAPP_BUGS_EMAIL: ‘bugs@momomin.org’
EDXAPP_DEFAULT_FROM_EMAIL: ‘registration@momomin.org’
EDXAPP_DEFAULT_FEEDBACK_EMAIL: ‘feedback@momomin.org’
EDXAPP_DEFAULT_SERVER_EMAIL: ‘devops@momomin.org’
EDXAPP_BULK_EMAIL_DEFAULT_FROM_EMAIL: ‘no-reply@momomin.org’
#————————————————————–#
cd /var/tmp/configuration/playbooks/roles/mongo/tasks
sudo vi main.yml
#————————————————————–#
– name: add the mongodb repo to the sources list
apt_repository: > repo=’deb http://mirrors.bistu.edu.cn/mongodb/repo/ubuntu-upstart dist 10gen’
#————————————————————–#
cd /var/tmp/configuration/playbooks/roles/discern/defaults
sudo vi main.yml
#————————————————————–#
discern_nltk_download_url: http://idefs.com/nltk-data-20131113.tar.gz
#————————————————————–#
#Install jdk-7u51-linux-x64.gz and change the name into jdk-7u51-linux-x64.tar.gz
#Upload to /var/tmp
#Install
cd /var/tmp/configuration/playbooks/edx-east
sudo ansible-playbook -c local –limit “localhost:127.0.0.1” ../edx_sandbox.yml
-i “localhost,” -e ‘EDXAPP_PREVIEW_LMS_BASE=xpreview.momomin.org EDXAPP_LMS_BASE=xstudio.momomin.org EDXAPP_LMS_PREVIEW_NGINX_PORT=80 EDXAPP_CMS_NGINX_PORT=80 EDXAPP_LMS_NGINX_PORT=80 edx_platform_version=master ‘

配置IP和SMTP的路径以及文件名

Aside

IP Address:
/edx/etc/playbooks/edx-east/group_vars/eduStack
/edx/etc/playbooks/edx-east/group_vars/eduStack
/edx/etc/playbooks/group_vars/eduStack

/edx/etc/playbooks/edx-west/group_vars/eduStack
/edx/etc/playbooks/edx-west/group_vars/eduStack

/edx/app/edxapp/cms.env.json
/edx/app/edxapp/lms.env.json

/edx/etc/server-vars.yml:25:EDXAPP_CMS_BASE: studio.edustack.net
/edx/etc/server-vars.yml:27:EDXAPP_CMS_SITE_NAME: studio.edustack.net

/edx/app/certs/env.json
SMTP:
/edx/app/edxapp/cms.env.json
/edx/app/edxapp/lms.env.json