运维博客 » Shell

grep、sed、awk正则表达式支持情况对比

sxdgy — Sat, 16 Jun 2018 05:58:55 +0000

grep、sed、awk概述

grep 更适合单纯的查找或匹配文本。grep基本是以行为单位处理文本的； grep功能简单，就是一个简单的正则表达式的匹配。 grep可以理解为主要作用是在一个文件中查找过滤需要的内容。

sed 更适合编辑匹配到的文本。Sed是一个非交互性文本流编辑器。它编辑文件或标准输入导出的文本拷贝。sed编辑器按照一次处理一行的方式来处理文件（或者输入）并把输出送到屏幕上。sed把当前正在处理的行保存在一个临时缓存里，这个缓存叫做模式空间。一但sed完成了对模式空间里的行的处理（即对该行执行sed命令），就把模式空间的行送到屏幕上（除非该命令要删除该行活禁止打印）。处理完该行之后，从模式空间里删除它，然后把下一行读入模式空间，进行处理，并显示。当输入文件的最后一行处理完后，sed终止。通过把每一行存在一个临时缓存里并编辑该行，初始文件不会被修改或被破坏。

awk 更适合格式化文本，对文本进行较复杂格式处理。awk可以通过指定分隔符将一行（一条记录）划分为多个字段，以字段为单位处理文本。awk中支持C语法，可以有分支条件判断、循环语句等，相当于一个小型编程语言。awk不是过滤查找，而是文本处理工具，是把一个文件处理成你想要的格式。awk是一种样式扫描与处理工具。它几乎可以完成grep和sed所能完成的全部工作，同时，它还可以可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。如果你要处理与文本样式扫描相关的工作，awk应该是你的第一选择。

正则表达式基础

元字符	含义	举例
.	匹配任何单个字符	r.t可匹配：rat、rut、r t，但不匹配root
*	匹配0或多个在它前面的一个字符	.*能够匹配任意数量的任何字符
^	匹配一行的开始	^When能够匹配”When in the course”的开始，但是不能匹配”What and When in the”
$	匹配行结束符	weasel$ 能够匹配”He’s a weasel”的末尾，但不能匹配”They are a bunch of weasels.”
\	转义符，用来将元字符当作普通的字符来进行匹配	\$被用来匹配美元符号，而不是行尾，\.用来匹配点字符，而不是任何字符的通配符
[ ] [n-m] [^n-m]	匹配括号中的任何一个字符，可使用-来指定区间，在左括号和第一个字符之间使用^字符表示排除	r[aou]t匹配rat、rot、rut，但不匹配ret。[0-9]可以匹配任何数字字符，还可以指定定多个区间，如[A-Za-z]可以匹配任何大小写字母。[^269A-Z]匹配除了2、6、9和所有大写字母之外的任何字符
\< \>	匹配单词（word）的开始（\<）和结束（\>）	\
	将$和$之间的表达式定义为“组”，并将匹配结果保存到一个临时区域（最多9个），可以用\1到\9来引用	暂无
\|	将两个匹配条件进行逻辑“或”运算	(him\|her) 匹配”him and i”和”her and i”，但不能匹配”them.”
+	匹配1或多个在它前面的一个字符	9+匹配9、99、999等
?	匹配0或1个正好在它之前的那个字符	暂无
\{i\} \{i,j\}	匹配指定数目的字符，这些字符是在它之前的表达式定义的	A[0-9]\{3\}能够匹配A123、A348等，但不能匹配A1234。而正则表达式[0-9]\{4,6\}匹配连续的任意4个、5个或者6个数字字符

正则表达式支持对比

命令或环境	.	[ ]	^	$		\{ \}	?	+	\|	( )
vi	●	●	●	●	●
awk	●	●	●	●			●	●	●	●
sed	●	●	●	●	●	●
grep	●	●	●	●	●	●
egrep	●	●	●	●	●		●	●	●	●
fgrep	●	●	●	●	●

转载请注明：运维博客 » grep、sed、awk正则表达式支持情况对比

awk 日常工作用法总结

sxdgy — Tue, 05 Jun 2018 01:45:16 +0000

AWK 是一种优良的文本处理工具。它不仅是 Linux 中也是任何环境中现有的功能最强大的数据处理引擎之一。AWK 名称得自于它的创始人，分别是 Alfred Aho、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。AWK 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。

语法格式

awk [选项参数] 'script' var=value file(s)
awk [选项参数] -f scriptfile var=value file(s)

常用选项参数：

-F fs 或 –field-separator fs 指定文件折分符，默认是空格。fs是一个字符串或者是一个正则表达式，如-F:
-v var=value 或 –asign var=value 赋值一个用户定义变量
-f scripfile 或 –file scriptfile 从脚本文件中读取awk命令

使用默认分隔符，输出1、4列

awk '{print $1,$4}' log.txt
#不指定分隔符-F，默认是空格分割列
awk '{printf "%-8s %-10s\n",$1,$4}' log.txt
#上面是格式化输出

指定分隔符，输出1、2列

awk -F, '{print $1,$2}'   log.txt
# 使用内建变量
awk 'BEGIN{FS=","} {print $1,$2}'     log.txt
# 使用多个分隔符：先使用空格分割，然后对分割结果再使用","分割
awk -F '[ ,]'  '{print $1,$2,$5}'   log.txt

设置变量

awk -v a=1 '{print $1,$1+a}' log.txt
awk -v a=1 -vb=s '{print $1,$1+a,$1b}' log.txt

从脚本文件中读取命令

 awk -f cal.awk log.txt

运算符

运算符	描述
= += -= = /= %= ^= *=	赋值
?:	条件表达式
\|\|	逻辑或
&&	逻辑与
~ ~!	匹配正则表达式和不匹配正则表达式
< <= > >= != ==	关系运算符
空格	连接
+ -	加，减
* / %	乘，除，求余
+ – !	加，减，逻辑非
^ ***	求幂
++ –	增加或减少，作为前缀或后缀
$	字段引用
in	数组成员

根据列的值大小过滤

过滤第一列值大于2的行

awk '$1>2' log.txt

过滤第一列等于2的行

awk '$1==2 {print $1,$3}' log.txt

过滤第一列大于2并且第二列等于’Are’的行

awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt

内建变量

变量	描述
$n	当前记录的第n个字段，字段间由FS分隔
$0	完整的输入记录
ARGC	命令行参数的数目
ARGIND	命令行中当前文件的位置(从0开始算)
ARGV	包含命令行参数的数组
CONVFMT	数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组
ERRNO	最后一个系统错误的描述
FIELDWIDTHS	字段宽度列表(用空格键分隔)
FILENAME	当前文件名
FNR	各文件分别计数的行号
FS	字段分隔符(默认是任何空格)
IGNORECASE	如果为真，则进行忽略大小写的匹配
NF	一条记录的字段的数目
NR	已经读出的记录数，就是行号，从1开始
OFMT	数字的输出格式(默认值是%.6g)
OFS	输出记录分隔符（输出换行符），输出时用指定的符号代替换行符
ORS	输出记录分隔符(默认值是一个换行符)
RLENGTH	由match函数所匹配的字符串的长度
RS	记录分隔符(默认是一个换行符)
RSTART	由match函数所匹配的字符串的第一个位置
SUBSEP	数组下标分隔符(默认值是/034)

输出顺序号NR, 匹配文本行号FNR

awk '{print NR,FNR,$1,$2,$3}' log.txt

指定输出分割符

awk '{print $1,$2,$5}' OFS=" $ "  log.txt

使用正则，字符串匹配

输出第二列包含 "th"，并打印第二列与第四列
awk '$2 ~ /th/ {print $2,$4}' log.txt
# ~ 表示模式开始。// 中是模式。

输出包含"re" 的行
awk '/re/ ' log.txt

忽略大小写

awk 'BEGIN{IGNORECASE=1} /this/' log.txt

模式取反

awk '$2 !~ /th/ {print $2,$4}' log.txt
awk '!/th/ {print $2,$4}' log.txt

awk脚本

关于awk脚本，我们需要注意两个关键词BEGIN和END。

BEGIN{ 这里面放的是执行前的语句 }
{这里面放的是处理每一行时要执行的语句}
END {这里面放的是处理完所有的行后要执行的语句 }

awk脚本如下:

#!/bin/awk -f
#运行前
BEGIN {
    printf "begin\n"
}
#运行中
{
    printf "run\n"
}
#运行后
END {
    printf "end\n"
}

AWK输出hello world脚本

BEGIN { print "Hello, world!" }

计算文件大小脚本

ls -l *.txt | awk '{sum+=$6} END {print sum}'

找出长度大于80的行

awk 'length>80' log.txt

打印九九乘法表

seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

转载请注明：运维博客 » awk 日常工作用法总结

sed 工作日常用法总结

sxdgy — Thu, 31 May 2018 13:27:45 +0000

sed(Stream Editor)文本流编辑，是一个非交互式的面向字符流的编辑器。能同时处理多个文件多行的内容，可以把只匹配到模式的内容输入到屏幕上，还可以对原文件改动但不输入屏幕上。sed命令是利用script来来处理、编辑文本文件。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

语法格式

sed [-hnVi][-e

命令或环境	.	[ ]	^	$	\(\)	\{ \}	?	+	\|	( )
vi	●	●	●	●	●
awk	●	●	●	●			●	●	●	●
sed	●	●	●	●	●	●
grep	●	●	●	●	●	●
egrep	●	●	●	●	●		●	●	●	●
fgrep	●	●	●	●	●