Linux常用命令--awk

发表于 更新于 分类于 ， ， 置顶 精品
阅读次数： 本文字数： 2.6k 阅读时长 ≈ 9 分钟

摘要

  • awk命令使用说明

  • 本文基于CentOS8(x86_64)

awk

  • awk是一个强大的文本分析工具，在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

  • 语法

1
2
3
4
格式：awk [-F  field-separator]  'commands'  input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。
如果希望指定两个或两个以上字符为分隔符时，则需要使用[ ]将分隔符括起来，如 -F [::]

  • commands的格式: 匹配规则{执行命令}

  • 默认情况下，awk 会将如下变量分配给它在文本行中发现的数据字段：

    $0 代表整个文本行；
    $1 代表文本行中的第 1 个数据字段；
    $2 代表文本行中的第 2 个数据字段；
    $n 代表文本行中的第 n 个数据字段。

小贴士
awk是一种编程语言，它有好几种实现(解释器)，常见的如awk、nawk、mawk、gawk，
CentOS、Ubuntu等常用的Linux系统下awk的默认实现就是gawk。

功能参数

1
2
3
4
5
6
7
8
9
10
11
功能参数	解释
-F	    指定分隔符，默认空格，指定两个或两个以上字符为分隔符时，则需要使用[ ]将分隔符括起来，如 -F [::]
-v	    变量赋值

模式	                    解释
/regexp/	            匹配满足正则表达式的行
+、-、*、/、%、^	      加、减、乘、除、取余、指数
=	                    变量赋值
||、&&	                或者、并且
~、!~	                满足某个正则、不满足某个正则
==、>=、<=、!=、>、<	 等于、大于等于、小于等于、不等于、大于、小于

  • 示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
# 只是显示/etc/passwd的账户
awk -F ':' '{print $1}' /etc/passwd

# 定义一个变量num=3,并参与计算并打印，num也可以设置为一个外部变量，如 num=$a，注意 {}里不能使用外部变量
awk -F ':' -v num=3 '{print num*$3}' /etc/passwd

# 只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以空格分割
awk -F ':' '{print $1,$7}' /etc/passwd
# 只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab分割
awk -F ':' '{print $1"\t"$7}' /etc/passwd

# 只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割
# a.而且在所有行添加列名name,shell
awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7}' /etc/passwd

# b.在最后一行添加"blue,/bin/nosh"。
awk -F ':' '{print $1","$7} END {print "blue,/bin/nosh"}' /etc/passwd

# c.ab前后都加
awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}' /etc/passwd

# 搜索/etc/passwd有root关键字的所有行
awk -F ':' '/root/' /etc/passwd

# 搜索/etc/passwd有root关键字的所有行，并显示对应的shell
awk -F ':' '/root/{print $1,$7}' /etc/passwd 
# 多个命令之间加上分号
awk -F ':' '/root/{print $7;print $1}' /etc/passwd

# 匹配空白行，如果 test.txt 有 N 个空白行，那么执行此命令会输出 N 个 Blank line
awk '/^$/{print "Blank line"}' test.txt

# 匹配正则的行
awk -F ":" '$1~/root/{print $1,$3,$7}' /etc/passwd
# 不匹配正则的行
awk -F ":" '$1!~/root/{print $1,$3,$7}' /etc/passwd

# 也可以把命令写在文件中，通过 -f 指定
awk -F ':' -f awk.sh /etc/passwd
cat awk.sh
/root/{print $7;print $1}

# 并且，第一列字段包含rp并且行数大于10，打印行号和第1、3、7列，NR是内置变量，下面会说明
awk -F ":" '$1~/rp/ && NR>10 {print NR,$1,$3,$7}' /etc/passwd
# 或者
awk -F ":" '$1~/rp/ || $1~/my/ {print NR,$1,$3,$7}' /etc/passwd

awk内置变量

  • 内置变量使用时不需要$前缀

1
2
3
4
5
6
7
8
9
10
11
ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，默认空格，等价于 -F选项
NF                 浏览记录的域的个数，分隔后的列数，$NF表示打印最后一个字段
NR                 已读的记录数,记录所在的行号
OFS                输出域分隔符，默认空格
ORS                输出记录分隔符,默认\n
RS                 控制记录分隔符,默认\n
1
2
3
4
5
6
7
8
9
10
11
12
# 匹配包含root的行，并且打印行号，这里$NF 含以为：因为分隔后有7个字段，所有NF为7，$NF表示 $7 ,也就是打印第7个字段，即$NF表示打印最后一个字段
awk -F ':' '/root/{print NR,$1,$3,$NF}' /etc/passwd
# 设置输出分隔符为逗号
awk -F ':' 'BEGIN{OFS=","}/root/{print NR,$1,$3,$NF}' /etc/passwd
# 或者
awk -F ':' '/root/{OFS=",";print NR,$1,$3,$NF}' /etc/passwd

# 统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容
awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

# 使用printf替代print,可以让代码更加简洁，易读
awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

print和printf

  • awk中同时提供了print和printf两种打印输出的函数。
  • 其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。
  • printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
%s : 字符串
%ms : 占位m个字节，默认右对齐，比如: %10s
%-ms : 占位m个字节，负号表示左对齐，正号表示右对齐，比如: %-10s
%d : 按十进制整型数据的实际长度输出。
%ld : 长整型
%md : m 为指定的输出字段的宽度。如果数据的位数小于 m，则左端补以空格，若大于 m，则按实际位数输出，默认友对齐。比如: %10d
%-md : 负号表示左对齐。比如: %-10d
%u : 无符号整型
%mu : 无符号整型，默认友对齐。比如: %10u
%-mu : 无符号整型，负号表示左对齐。比如: %-10u
%c : 字符
%f : 用来输出实数，包括单精度和双精度，以小数形式输出。整数部分全部输出，小数部分输出 6 位，超过 6 位的四舍五入。
%mf : m 为指定的输出字段的宽度，默认右对齐，比如: %20f
%-mf : m 为指定的输出字段的宽度，负号表示左对齐，比如: %-20f
%.mf : 输出实数时小数点后保留 m 位，注意 m 前面有个点，比如: %.2f
%m.mf : 负号表示左对齐，比如: %-20.2f
%o : 以八进制整数形式输出，输出格式为：24
%#o : 以八进制整数形式输出，输出格式为：024
%x : 以十六进制形式输出，输出格式为：2f
%X : 以十六进制形式输出，输出格式为：2F
%#x : 以十六进制形式输出，输出格式为：0x2f
%#X : 以十六进制形式输出，输出格式为：0x2F
\n : 换行符，支持转义字符，如 \t 等等
\% : %
\" : "
\\ : \

awk编程

基础语句

  • BEGIN {} {} END{}

1
2
3
4
5
6
7
8
# count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。
awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd

# 上面没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:
awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd

# 统计某个文件夹下的文件占用的字节数，单位M
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' 

条件语句

  • awk中的条件语句是从C语言中借鉴来的，见如下声明方式：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# a
if (expression) {
    statement;
}


# b
if (expression) {
    statement;
} else {
    statement2;
}


# c
if (expression) {
    statement1;
} else if (expression1) {
    statement2;
} else {
    statement3;
}

  • 示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# 1.检测系统中UID为0的用户
awk -F : '{if($3==0) {print $1}}' /etc/passwd
简写：
awk -F : '$3==0 {print $1}' /etc/passwd

-F表示使用什么做为分隔符，这里使用冒号，默认是空格
$num表示文件的第几列，这里$1表示第一列
'':固定格式，执行命令，这里表示，如果第三列是0,则打印第一列的内容


# 2.检测系统中密码为空的用户

awk -F : '{if(length($2)==0) {print $1}}' /etc/passwd
简写：
awk -F : 'length($2)==0 {print $1}' /etc/passwd


# 3.取出第三行，第一列的值

awk '{if(NR==3) {print $1}}' file
简写：
awk 'NR==3 {print $1}' file

# 4.跳过第一行
awk '{if(NR>1) {print $0}}' file
简写：
awk 'NR>1 {print $0}' file

# 5.求和
awk -F ';' '{if($3>0) {s+=$3}} END {print s}' file
简写：
awk -F ';' '$3>0 {s+=$3} END {print s}' file

# 6.if else，~ ，!~	某个字段满足某个正则或者不满足某个正则
awk '{if ($1 == "foo") print "Exact match foo"; else if ($1 ~ "bar") print "Partial match bar"; else print "Baz"}' path/to/file

aws数组

  • awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等

1
2
3
awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++){print i, name[i]}}' /etc/passwd
简写：
awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd

aws循环语句

  • awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同，感兴趣的自行查阅，这里不再赘述。