1、查询某个接口访问ip及次数
grep ‘限制条件’ access.2020-07-01.log | awk ‘{ips[$1]++};END{for(i in ips){print i,ips[i]}}’ | awk ‘$2>100’ | sort -k2 -rn
grep ‘/api/external/wireless/newMessageCount’ access.2020-07-01.log | awk ‘{ips[$1]++};END{for(i in ips){print i,ips[i]}}’ | awk ‘$2>100’ | sort -k2 -rn 2、grep
grep [选项] ‘关键字’ 文件名
-i: 不区分大小写 -v: 查找不包含指定内容的行,反向选择 -c: 统计匹配到的行数 -n: 显示行号 -r: 逐层遍历目录查找 -e: 使用正则匹配 -E:使用扩展正则匹配 ^key:以关键字开头 keyKaTeX parse error: Expected group after '^' at position 9: :以关键字结尾 ^̲:匹配空行 –color=auto :可以将找到的关键词部分加上颜色的显示
3、cut
cut 选项 文件名
-c: 以字符为单位进行分割,截取 -d: 自定义分隔符,默认为制表符\t -f: 与 -d 一起使用,指定截取哪个区域
cut -c1-10 access.2020-07-01.log
cut -d- -f1 access.2020-07-01.log
4、sort
sort工具用于排序;它将文件的每一行作为一个单位,从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。
语法和选项 -u :去除重复行 -r :降序排列,默认是升序 -o : 将排序结果输出到文件中,类似重定向符号 > -n:以数字排序,默认是按字符排序 -t :分隔符 -k :第N列 -b :忽略前导空格。 -R :随机排序,每次运行的结果均不同
5、uniq工具 uniq用于去除连续的重复行 -i: 忽略大小写 -c: 统计重复行次数 -d: 只显示重复行
6、paste工具 paste工具用于合并文件行 常用选项: -d:自定义间隔符,默认是tab -s:串行处理,非并行