Linux 指令入门:文本处理

    技术2022-07-10  148

    之前自己想更换Linux sourcelist时出现Vim完全摸不懂,网上教程只教你粘贴,可是在Vim里完全不一样,这个场景总算解决了疑惑。

    以下所有内容都来自 https://developer.aliyun.com/,仅供自己学习用。

    文章目录

    1、文本编辑工具Vim命令模式输入模式底线命令模式 2、文本文件查看命令cat :查看内容较少的纯文本文件more :从前向后分页显示文件内容less :对文件或其它输出进行分页显示head :查看文件开头指定行数的内容tail :查看文档的后N行或持续刷新内容stat :显示文件的详细信息wc :统计指定文本的行数、字数、字节数file :辨识文件类型diff :比较文件的差异 3、文本处理命令grep :查找文件里符合条件的字符串sed :文本处理awk :文本处理cut :切割字符串tr :对来自标准输入的字符进行替换、压缩和删除

    1、文本编辑工具Vim

    vim的三种操作模式:

    命令模式(Command mode)输入模式(Insert mode)底线命令模式(Last line mode)。

    三种模式切换快捷键:

    模式快捷键命令模式ESC输入模式i或a底线命令模式:

    命令模式

    在命令模式中控制光标移动和输入命令,可对文本进行复制、粘贴、删除和查找等工作。

    使用命令vim filename后进入编辑器视图后,默认模式就是命令模式,此时敲击键盘字母会被识别为一个命令,例如在键盘上连续敲击两次d,就会删除光标所在行。

    以下是在命令模式中常用的快捷操作:

    操作快捷键光标左移h光标右移l(小写L)光标上移k光标下移j光标移动到下一个单词w光标移动到上一个单词b移动游标到第n行nG移动游标到第一行gg移动游标到最后一行G快速回到上一次光标所在位置Ctrl+o删除当前字符x删除前一个字符X删除整行dd删除一个单词dw或daw删除至行尾d$或D删除至行首d^删除到文档末尾dG删除至文档首部d1G删除n行ndd删除n个连续字符nx将光标所在位置字母变成大写或小写~复制游标所在的整行yy(3yy表示复制3行)粘贴至光标后(下)p粘贴至光标前(上)P剪切dd交换上下行ddp替换整行,即删除游标所在行并进入插入模式cc撤销一次或n次操作u{n}撤销当前行的所有修改U恢复撤销操作Ctrl+r整行将向右缩进>>整行将向左退回<<若档案没有更动,则不储存离开,若档案已经被更动过,则储存后离开ZZ

    输入模式

    在命令模式下按i或a键就进入了输入模式,在输入模式下,您可以正常的使用键盘按键对文本进行插入和删除等操作。

    底线命令模式

    在命令模式下按:键就进入了底线命令模式,在底线命令模式中可以输入单个或多个字符的命令。

    以下是底线命令模式中常用的快捷操作:

    操作命令保存:w退出:q保存并退出:wq(:wq!表示强制保存退出)将文件另存为其他文件名:w new_filename显示行号:set nu取消行号:set nonu使本行内容居中:ce使本行文本靠右:ri使本行内容靠左:le向光标之下寻找一个名称为word的字符串:/word向光标之上寻找一个字符串名称为word的字符串:?word重复前一个搜寻的动作:n从第一行到最后一行寻找word1字符串,并将该字符串取代为word2:1,$s/word1/word2/g或 :%s/word1/word2/g

    2、文本文件查看命令

    cat :查看内容较少的纯文本文件

    命令描述:cat命令用于查看内容较少的纯文本文件。

    命令格式:cat [选项] [文件]

    命令参数说明:

    参数说明-n或--number显示行号-b或--number-nonblank显示行号,但是不对空白行进行编号-s或--squeeze-blank当遇到有连续两行以上的空白行,只显示一行的空白行

    more :从前向后分页显示文件内容

    命令描述:more命令从前向后分页显示文件内容。

    常用操作命令:

    操作作用Enter向下n行,n需要定义,默认为1行Ctrl+F或空格键(Space)向下滚动一页Ctrl+B向上滚动一页=输出当前行的行号!命令调用Shell执行命令q退出more

    less :对文件或其它输出进行分页显示

    命令描述:less命令可以对文件或其它输出进行分页显示,与moe命令相似,但使用 less 可以随意浏览文件,而 more 仅能向前移动,却不能向后移动。

    命令格式:less [参数] 文件

    命令参数说明:

    参数说明-e当文件显示结束后,自动离开-m显示类似more命令的百分比-N显示每行的行号-s显示连续空行为一行

    命令常用操作:

    快捷键说明/字符串向下搜索字符串?字符串向上搜索字符串n重复前一个搜索N反向重复前一个搜索b或pageup键向上翻一页空格键或pagedown键向下翻一页u向前翻半页d向后翻半页y向前滚动一行回车键向后滚动一行q退出less命令

    命令使用示例:

    查看命令历史使用记录并通过less分页显示。

    history | less

    head :查看文件开头指定行数的内容

    命令描述:head命令用于查看文件开头指定行数的内容。

    命令格式:head [参数] [文件]

    命令参数说明:

    参数说明-n [行数]显示开头指定行的文件内容,默认为10-c [字符数]显示开头指定个数的字符数-q不显示文件名字信息,适用于多个文件,多文件时默认会显示文件名

    命令使用示例:

    查看/etc/passwd文件的前5行内容。

    head -5 /etc/passwd

    tail :查看文档的后N行或持续刷新内容

    命令描述:tail命令用于查看文档的后N行或持续刷新内容。

    命令格式:tail [参数] [文件]

    命令参数说明:

    参数说明-f显示文件最新追加的内容-q当有多个文件参数时,不输出各个文件名-v当有多个文件参数时,总是输出各个文件名-c [字节数]显示文件的尾部n个字节内容-n [行数]显示文件的尾部n行内容

    命令使用示例:

    查看/var/log/messages系统日志文件的最新10行,并保持实时刷新。

    tail -f -n 10 /var/log/messages

    stat :显示文件的详细信息

    命令描述:用来显示文件的详细信息,包括inode、atime、mtime、ctime等。

    命令使用示例:

    查看/etc/passwd文件的详细信息。

    stat /etc/passwd

    wc :统计指定文本的行数、字数、字节数

    命令描述:wc命令用于统计指定文本的行数、字数、字节数。

    命令格式:wc [参数] [文件]

    命令参数说明:

    参数说明-l只显示行数-w只显示单词数-c只显示字节数

    命令使用示例:

    统计/etc/passwd文件的行数。

    wc -l /etc/passwd

    file :辨识文件类型

    命令描述: file命令用于辨识文件类型。

    命令格式:file [参数] [文件]

    命令参数说明:

    参数说明-b列出辨识结果时,不显示文件名称-c详细显示指令执行过程,便于排错或分析程序执行的情形-f [文件]指定名称文件,其内容有一个或多个文件名称时,让file依序辨识这些文件,格式为每列一个文件名称-L直接显示符号连接所指向的文件类别

    命令使用示例:

    查看/var/log/messages文件的文件类型。

    file /var/log/messages

    diff :比较文件的差异

    命令描述:diff命令用于比较文件的差异。

    命令格式:diff [文件] [文件]

    3、文本处理命令

    grep :查找文件里符合条件的字符串

    命令描述:grep命令用于查找文件里符合条件的字符串。

    grep全称是Global Regular Expression Print,表示全局正则表达式版本,它能使用正则表达式搜索文本,并把匹配的行打印出来。

    在Shell脚本中,grep通过返回一个状态值来表示搜索的状态:

    0:匹配成功。1:匹配失败。2:搜索的文件不存在。

    命令格式:grep [参数] [正则表达式] [文件]

    命令常用参数说明:

    参数说明-c或--count计算符合样式的列数-d recurse或-r指定要查找的是目录而非文件-e [范本样式]指定字符串做为查找文件内容的样式-E 或 --extended-regexp将样式为延伸的正则表达式来使用-F 或 --fixed-regexp将样式视为固定字符串的列表-G 或 --basic-regexp将样式视为普通的表示法来使用-i 或 --ignore-case忽略字符大小写的差别-n 或 --line-number在显示符合样式的那一行之前,标示出该行的列数编号-v 或 --revert-match显示不包含匹配文本的所有行

    命令使用示例:

    查看sshd服务配置文件中监听端口配置所在行编号。

    grep -n Port /etc/ssh/ssh_config

    查询字符串在文本中出现的行数。

    grep -c localhost /etc/hosts

    反向查找,不显示符合条件的行。

    ps -ef | grep sshd ps -ef | grep -v grep | grep sshd

    以递归的方式查找目录下含有关键字的文件。

    grep -r *.sh /etc

    使用正则表达式匹配httpd配置文件中异常状态码响应的相关配置。

    grep 'ntp[0-9].aliyun.com' /etc/ntp.conf

    sed :文本处理

    命令描述:sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用。

    处理时,把当前处理的行存储在临时缓冲区中,称为模式空间(pattern space)。接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。

    注意:

    sed命令不会修改原文件,例如删除命令只表示某些行不打印输出,而不是从原文件中删去。 如果要改变源文件,需要使用-i选项。 命令格式:sed [参数] [动作] [文件]

    参数说明:

    参数说明-e [script]执行多个script-f [script文件]执行指定script文件-n仅显示script处理后的结果-i输出到原文件,静默执行(修改原文件)

    动作说明:

    动作说明a在行后面增加内容c替换行d删除行i在行前面插入p打印相关的行s替换内容

    命令使用示例:

    删除第3行到最后一行内容。

    sed '3,$d' /etc/passwd

    在最后一行新增行。

    sed '$a admin:x:1000:1000:admin:/home/admin:/bin/bash' /etc/passwd

    替换内容。

    sed 's/SELINUX=disabled/SELINUX=enforcing/' /etc/selinux/config

    替换行。

    sed '1c abcdefg' /etc/passwd

    awk :文本处理

    命令描述:和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。

    命令格式:awk [参数] [脚本] [文件]

    参数说明:

    参数说明-F fs指定以fs作为输入行的分隔符,awk 命令默认分隔符为空格或制表符-f file读取awk脚本-v val=val在执行处理过程之前,设置一个变量var,并给其设置初始值为val

    内置变量:

    变量用途FS字段分隔符$n指定分隔的第n个字段,如$1、$3分别表示第1、第三列$0当前读入的整行文本内容NF记录当前处理行的字段个数(列数)NR记录当前已读入的行数FNR当前行在源文件中的行号

    awk中还可以指定脚本命令的运行时机。默认情况下,awk会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用BEGIN关键字,BEGIN会在awsk读取数据前强制执行该关键字后指定的脚本命令。

    和BEGIN关键字相对应,END关键字允许我们指定一些脚本命令,awk会在读完数据后执行它们。

    命令使用示例:

    查看本机IP地址。

    ifconfig eth0 |awk '/inet/{print $2}'

    查看本机剩余磁盘容量。

    df -h |awk '/\/$/{print $4}'

    统计系统用户个数。

    awk -F: '$3<1000{x++} END{print x}' /etc/passwd

    输出其中登录Shell不以nologin结尾(对第7个字段做!~反向匹配)的用户名、登录Shell信息。

    awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd

    输出/etc/passwd文件中前三行记录的用户名和用户uid。

    head -3 /etc/passwd | awk 'BEGIN{FS=":";print "name\tuid"}{print $1,"\t"$3}END{print "sum lines "NR}'

    查看tcp连接数。

    netstat -na | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

    关闭指定服务的所有的进程。

    ps -ef | grep httpd | awk {'print $2'} | xargs kill -9

    cut :切割字符串

    命令描述:cut命令主要用来切割字符串,可以对输入的数据进行切割然后输出。

    命令格式:cut [参数] [文件]

    参数说明:

    参数说明-b以字节为单位进行分割-c以字符为单位进行分割-d自定义分隔符,默认为制表符

    tr :对来自标准输入的字符进行替换、压缩和删除

    命令描述:tr命令用于对来自标准输入的字符进行替换、压缩和删除。

    命令格式:tr [参数] [文本]

    参数说明:

    参数说明-c反选指定字符-d删除指定字符-s将重复的字符缩减成一个字符-t [第一字符集] [第二字符集]删除第一字符集较第二字符集多出的字符,使两个字符集长度相等

    命令使用示例:

    将输入字符由大写转换为小写。

    echo "HELLO WORLD" | tr 'A-Z' 'a-z'

    删除字符。

    echo "hello 123 world 456" | tr -d '0-9'

    压缩字符。

    echo "thissss is a text linnnnnnne." | tr -s ' sn'

    产生随机密码。

    cat /dev/urandom | tr -dc a-zA-Z0-9 | head -c 13
    Processed: 0.014, SQL: 9