正则表达式可以从非结构化的文本中提取到我们想要的内容,其本质为模式匹配,也是体现出智能化的最初手段,现在已经广泛应用于自动化处理信息的流程之中,从爬虫到人工智能,无处不在,其需求也是相当的大。通俗的来讲,正则表达式就像是一个筛子,筛选出你所需要的信息。比如:在爬取网页时,筛选出我们所需要的信息。
re.match(pattern, string, flags=0) 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。
re.search(pattern, string, flags=0) 扫描整个字符串并返回第一个成功的匹配,只要有一个匹配成功,就停止匹配。
re.findall(string[, pos[, endpos]]) 在字符串中找到正则表达式所匹配的所有子串,并返回一个列表,如果没有找到匹配的,则返回空列表。 string 待匹配的字符串。 pos 可选参数,指定字符串的起始位置,默认为 0。 endpos 可选参数,指定字符串的结束位置,默认为字符串的长度。
re.finditer(pattern, string, flags=0) 和 findall 类似,在字符串中找到正则表达式所匹配的所有子串,并把它们作为一个迭代器返回。
re.split(pattern, string[, maxsplit=0, flags=0]) split 方法按照能够匹配的子串将字符串分割后返回列表。
re.compile(pattern[, flags]) compile 函数用于编译正则表达式,生成一个正则表达式( Pattern)对象,供 match() 和 search() 这两个函数使用。
re.sub(pattern, repl, string, count=0, flags=0) Python 的re模块提供了re.sub用于替换字符串中的匹配项。
pattern : 正则中的模式字符串。 repl : 替换的字符串,也可为一个函数。 string : 要被查找替换的原始字符串。 count : 模式匹配后替换的最大次数,默认 0 表示替换所有的匹配。 flags : 编译时用的匹配模式,数字形式。 #前三个为必选参数,后两个为可选参数。#
注意: 1、match 和 search 是匹配一次,findall 匹配所有。 2、re.match与re.search的区别:re.match 只匹配字符串的开始,如果字符串开始不符合正则表达式,则匹配失败,函数返回 None,而 re.search 匹配整个字符串,直到找到一个匹配。
由于正则表达式通常都包含反斜杠,所以你最好使用原始字符串来表示它们。模式元素(如 r’\t’,等价于 \t )匹配相应的特殊字符。
#常用元字符#
^匹配字符串的开头$匹配字符串的末尾.匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符––[…]用来表示一组字符,单独列出:[abc] 匹配 ‘a’,‘b’或’c’[^…]不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符––re*匹配0个或多个的表达式re+匹配1个或多个的表达式––re?匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式re{ n}匹配n个前面表达式。例如,"o{2}“不能匹配"Bob"中的"o”,但是能匹配"food"中的两个ore{ n,}精确匹配n个前面表达式。例如,"o{2,}“不能匹配"Bob"中的"o”,但能匹配"foooood"中的所有o。"o{1,}“等价于"o+”。"o{0,}“则等价于"o*”re{ n, m}匹配 n 到 m 次由前面的正则表达式定义的片段,贪婪方式a|b匹配a或b(re)匹配括号内的表达式,也表示一个组(?imx)正则表达式包含三种可选标志:i, m, 或 x 。只影响括号中的区域(?-imx)正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域(?: re)类似 (…), 但是不表示一个组(?imx: re)在括号中使用i, m, 或 x 可选标志(?-imx: re)在括号中不使用i, m, 或 x 可选标志(?#…)注释.(?= re)前向肯定界定符。如果所含正则表达式,以 … 表示,在当前位置成功匹配时成功,否则失败。但一旦所含表达式已经尝试,匹配引擎根本没有提高;模式的剩余部分还要尝试界定符的右边(?! re)前向否定界定符。与肯定界定符相反;当所含表达式不能在字符串当前位置匹配时成功(?> re)匹配的独立模式,省去回溯\w匹配数字字母下划线\W匹配非数字字母下划线\s匹配任意空白字符,等价于 [\t\n\r\f]。\S匹配任意非空字符\d匹配任意数字,等价于 [0-9]\D匹配任意非数字\A匹配字符串开始\Z匹配字符串结束,如果是存在换行,只匹配到换行前的结束字符串\z匹配字符串结束\G匹配最后匹配完成的位置\b匹配一个单词边界,也就是指单词和空格间的位置。例如, ‘er\b’ 可以匹配"never" 中的 ‘er’,但不能匹配 “verb” 中的 ‘er’\B匹配非单词边界。‘er\B’ 能匹配 “verb” 中的 ‘er’,但不能匹配 “never” 中的 ‘er’\n, \t, 等匹配一个换行符。匹配一个制表符, 等\1…\9匹配第n个分组的内容\10匹配第n个分组的内容,如果它经匹配。否则指的是八进制字符码的表达式(0-9) 匹配 '0-9′ 本身。 [0-9]* 匹配数字(注意后面有 *,可以为空)[0-9]+ 匹配数字(注意后面有 +,不可以为空){1-9} 写法错误。
[0-9]{0,9} 表示长度为 0 到 9 的数字字符串。
贪婪与非贪婪
python里面的量词默认是贪婪的(在少数语言里也可能默认是非贪婪的),总是尝试匹配更可能多的字符, 非贪婪则相反总是匹配尽可能少的字符。 在“*” “+” “?” “{m,n}”后面加上?,是贪婪变成非贪婪
起名方式:
起名方式:(?P<名字>正则) (?P=名字)
例1:
msg = '<html><h1>abc</h1></html>' result = re.match(r'<(?P<name1>\w+)><(?P<name2>\w+)>(.+)</(?P=name2)></(?P=name1)>', msg) print(result) print(result.group())运行结果: 实例1:
import re msg = '迪丽热巴古力娜佟丽娅扎洋洋' parten = re.compile('佟丽娅') result = parten.match(msg) print(result) # 使用正则模块re模块的方法:match s = '迪丽热巴古力娜佟丽娅扎洋洋' result = re.match('佟丽娅', s) # match从头开始匹配 print(result) result = re.search('佟丽娅', s) print(result) print(result.span()) # 返回位置 print(result.group()) print(result.groups()) msg1 = 'hdkahdja2d63d8773d6jkshkj广泛广泛ffjsfhjk3d29173128' result = re.search('[a-z][0-9][0-9]', msg1) # search只要有匹配的后面就不会进行检索,一有匹配的就停止 print(result) print(result.group()) print(result.groups()) result = re.findall('[a-z][0-9][a-z]+', msg1) # 匹配整个字符串 print(result) qq = '1234567890' result = re.match('[1-9][0-9]{4,10}$', qq) print(result) print((result.group())) username = 'admin001' result = re.search('^[a-zA-Z][0-9a-zA-Z]{5,}', username) print(result)运行结果: 实例2:
import re # 起名方式:(?P<名字>正则) (?P=名字) msg = '<html><h1>abc</h1></html>' result = re.match(r'<(?P<name1>\w+)><(?P<name2>\w+)>(.+)</(?P=name2)></(?P=name1)>', msg) print(result) print(result.group()) phone = '12345678901' result = re.match(r'[1]\d{9}[0-35-689]$', phone) print(result) # 爬虫 phone1 = '010-12345678' result1 = re.match(r'(\d{3,4})-(\d{8}$)', phone1) print(result1) # 分别提取 print(result1.group()) # ()表示分组 group(1) 表示提取到第一组内容 print(result1.group(1)) print(result1.group(2)) ''' re模块: match search findall sub(正则表达式,'新内容',string) 替换 ''' result1 = re.sub(r'\d+', '90', 'java:99,python:100') print(result1)运行结果: