awk
简介
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk有3个不同版本: awk, nawk 和 gawk，未作特别的说明，一般指gawk，gawk是AWK的GNU版本。
awk其名称得自于它的创建人 Alfred Aho, Peter Weinberger 和 Brina Kernighan姓氏的首个字母。实际上AWK的确拥有自己的语言: AWK程序设计语言，三位创建者已将它正式定义为"模式扫描和处理语言"。这些程序读取输入文件，为数据排序，处理数据，对输入执行计算以及生成报表，还有无数其他的功能。
使用方法
awk '{pattern + action}' {filenames}
尽管操作可能会很复杂，但语法总是这样，其中pattern表示AWK在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号({})不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。pattern就是要表示的正则表达式，用斜杠括起来。
awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。
通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。
入门实例
假设last -n 5的输出如下
[jianglei@localhost docker_test]$ last -n 5
jianglei pts/2 192.168.119.1 Sun Sep 17 07:10 still logged in
jianglei pts/1 192.168.119.1 Sun Sep 17 04:05 still logged in
jianglei pts/0 192.168.119.1 Sun Sep 17 00:33 - 04:42 (04:09)
jianglei pts/0 192.168.119.1 Sat Sep 16 05:04 - 22:00 (16:56)
jianglei pts/0 192.168.119.1 Fri Sep 15 21:13 - 00:36 (03:23)
wtmp begins Sat Sep 16 04:18:03 2017
如果只是显示最近登录的5个账号
[jianglei@localhost docker_test]$ last -n 5 | awk '{print $1}'
jianglei
jianglei
jianglei
jianglei
jianglei
wtmp
awk工作流程是这样的:读入有"\n"换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域，$1表示第一个域，$n表示第n个域。默认域分隔符是"空白键"或"[tab]键"， 所以$1表示登陆用户，$3表示登录用户ip，以此类推。
如果只是显示/etc/passwd的账户
$ cat /etc/passwd | awk -F ":" '{print $1}'
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
如果只显示/etc/passwd的帐户和账户对应的shell，而账户与shell这间以tab键分割
$ cat /etc/passwd | awk -F ":" '{print $1"\t"$7}'
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
mail /sbin/nologin
如果只是显示/etc/passwd的账户和账户对应的shell，而账户与shell这间以逗号分割，而且在所有行添加列名name, shell, 在最后一行添加"blue, /bin/nosh".
$ cat /etc/passwd | awk -F ":" 'BEGIN {print "name, shell"} {print $1"\t"$7} END{print "bule, /bin/nosh"} '
name, shell
root /bin/bash
bin /sbin/nologin
bule, /bin/nosh
搜索/etc/passwd有root关键字的所有行
$ awk -F ':' '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
dockerroot:x:997:994:Docker User:/var/lib/docker:/sbin/nologin
这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action, 默认输出每行的内容)
搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd
搜索/etc/passwd有root关键字的所有行，并显示对应的shell
$ awk -F ':' '/root/ {print $7}' /etc/passwd
/bin/bash
/sbin/nologin
/sbin/nologin
这里指定了action{print $7}
awk内置变量
awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 游览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
此外，$0变量是指整条记录。$1表示当前行的每一个域，$2表示当前行的第二个域， .....以此类推
$ awk -F ":" '{print "filename:" FILENAME", linenumber:" NR", columns: " NF ", linecontent:"$0}' /etc/passwd
filename:/etc/passwd, linenumber:1, columns: 7, linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd, linenumber:2, columns: 7, linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:/etc/passwd, linenumber:3, columns: 7, linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin
filename:/etc/passwd, linenumber:4, columns: 7, linecontent:adm:x:3:4:adm:/var/adm:/sbin/nologin
filename:/etc/passwd, linenumber:5, columns: 7, linecontent:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin