最全的python正则使用
正则表达式
一、概述
1. 概念
正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。
2. 目的
给定一个正则表达式和另一个字符串,我们可以达到如下的目的:
-
a. 给定的字符串是否符合正则表达式的过滤逻辑(称作“匹配”);
例如:邮箱匹配,电话号码匹配
-
b. 可以通过正则表达式,从字符串中获取我们想要的特定部分。
爬虫中解析 HTML 数据
3. 特点:
- a. 灵活性、逻辑性和功能性非常的强;
- b. 可以迅速地用极简单的方式达到字符串的复杂控制。
- c. 对于刚接触的人来说,比较晦涩难懂。
4. 学习方法
- a. 做好笔记,不要死记硬背
- b. 大量练习
python 中通过系统库 re 实现正则表达式的所有功能
二、正则表达式符号
1. 普通字符
下面的案例使用 re
模块的 findall()
函数,函数参考如下:
-
- 在字符串中找到正则表达式所匹配的所有子串,并返回列表,如果没有找到返回空列表
pattern
: 正则表达式string
:被匹配的字符串flag
:标志位用来控制正则表达式匹配方式
在最简单的情况下,一个正则表达式看上去就是一个普通的查找串
运行结果:
运行结果:
运行结果:
2. 元字符
符号 | 功能 |
---|---|
. | 通配符 . 匹配除 \n 之外的任何单个字符 |
^ | 脱字符 ^ 匹配输入字符串的开始位置 |
$ | 美元符 $ 匹配输入字符串的结束位置 |
* | 重复元字符 * 匹配前面的子表达式任意次 |
+ | 重复元字符 + 匹配前面的子表达式一次或多次(至少一次) |
? | 重复元字符 ? 匹配前面的子表达式 0 次或 1 次 |
重复元字符{} 也是控制匹配前面的子表达式次数 |
|
[ ] | 字符组 [] 表示匹配给出的任意字符 |
| | 选择元字符 ` |
( ) | 分组元字符 () 将括号之间的表达式定义为组(group),并且将匹配这个子表达式的字符返回 |
\ | 转义元字符 \ 用来匹配元字符本身时的转义,和特定字符组成字符串,见预定义字符组 |
2.1 通配符 .
匹配除 \n
之外的任何单个字符
运行结果:
运行结果:
修饰符 re.S
使 .
匹配包括换行在内的所有字符
运行结果:
2.2 脱字符 ^
匹配输入字符串的开始位置
运行结果:
运行结果:
运行结果:
2.3 美元符 $
匹配输入字符串的结束位置
运行结果:
运行结果:
运行结果:
2.4 重复元字符 *,+,?
*
匹配前面的子表达式任意次+
匹配前面的子表达式一次或多次(至少一次)?
匹配前面的子表达式 0 次或 1 次
运行结果:
运行结果:
运行结果:
2.5 重复元字符 {}
也是控制匹配前面的子表达式次数
运行结果:
运行结果:
运行结果:
2. 6 字符组 []
表示匹配给出的任意字符
运行结果:
运行结果:
运行结果:
运行结果:
2.7 选择元字符 |
表示两个表达式选择一个匹配
2.8 分组元字符 ()
将括号之间的表达式定义为组(group),并且将匹配这个子表达式的字符返回
2.9 转义元字符 \
用来匹配元字符本身时的转义,和特定字符组成字符串,见预定义字符组
2.10 非贪婪模式
非贪婪模式
在默认情况下,元字符 *,+ 和 {n,m} 会尽可能多的匹配前面的子表达式,这叫贪婪模式。
在重复元字符后面加上一个?号就表示非贪婪,尽可能少的匹配
3. 预定义字符组
元字符 \
与某些字符组合在一起表示特定的匹配含义
3.1 \d
匹配单个数字,等价于[0-9]
运行结果:
运行结果:
3.2 \D
匹配任意单个非数字字符,等价于[^0-9]
运行结果:
3.3 \s
匹配任意单个空白符,包括空格,制表符(tab),换行符等
运行结果:
3.4 \S
匹配任何非空白字符
运行结果:
3.5 \w
匹配除符号外的单个字母,数字,下划线或汉字等
运行结果:
元字符 | 说明 |
---|---|
. | 匹配除换行符以外的任意字符 |
\w | 匹配字母或数字或下划线 |
\W | 和 \w 相反 |
\d | 匹配数字 |
\D | 和 \d 相反 |
\s | 匹配任意的空白符 |
\S | 和 \s 相反 |
小案例
- 检测邮箱
是正确格式的邮箱
- 检测手机号码
手机号码格式正确
4.re 模块常用函数
4.1 re.match
-
- 尝试从字符串的起始位置匹配一个模式,成功返回匹配对象,否则返回 None
pattern
: 正则表达式string
: 被匹配的字符串flag
: 标志位,表示匹配模式
运行结果:
运行结果:
匹配对象
match
函数返回一个匹配对象,通过这个对象可以取出匹配到的字符串和分组字符串
运行结果:
4.2 re.search
-
- 扫描整个字符串返回第一个成功的匹配对象
pattern
: 正则表达式string
: 被匹配的字符串flag
: 标志位,表示匹配模式
运行结果:
运行结果:
运行结果:
4.3 re.sub
-
- 将表达式匹配到的部分替换为制定字符串,返回替换后的新字符串
pattern
: 正则表达式repl
: 用来替换的字符串string
: 被匹配的字符串count
: 替换次数,默认为 0,表示全部替换flags
: 标志位,表示匹配模式
运行结果:
运行结果:
4.4 re.findall
-
- 在字符串中找到正则表达式匹配的所有子串,返回一个列表,匹配失败则返回空列表
pattern
: 正则表达式string
: 被匹配的字符串flags
: 标志位,表示匹配模式
运行结果:
match
,search
,findall
的区别
match
从头开始匹配,成功返回匹配对象,失败返回 Nonesearch
只匹配第一个,成功返回匹配对象,失败返回 Nonefindall
匹配所有,成功返回所有匹配到的字符串组成的列表,失败返回空列表
4.5 re.compile
-
- compile 函数用于编译正则表达式,生成一个正则表达式对象,该对象调用 findall,search,match,sub 等方法
pattern
: 正则表达式flags
: 标志位,表示匹配模式
面向对象编程时使用
运行结果:
三、正则表达式超全速查手册
校验数字的表达式
数字:^[0-9]*$
n位的数字:^\d{n}$
至少n位的数字:^\d{n,}$
m-n位的数字:^\d{m,n}$
零和非零开头的数字:^(0|[1-9][0-9]*)$
非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(.[0-9]{1,2})?$
带1-2位小数的正数或负数:^(\-)?\d+(\.\d{1,2})?$
正数、负数、和小数:^(\-|\+)?\d+(\.\d+)?$
有两位小数的正实数:^[0-9]+(.[0-9]{2})?$
有1~3位小数的正实数:^[0-9]+(.[0-9]{1,3})?$
非零的正整数:^[1-9]\d*$ 或 ^([1-9][0-9]*){1,3}$ 或 ^\+?[1-9][0-9]*$
非零的负整数:^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$
非负整数:^\d+$ 或 ^[1-9]\d*|0$
非正整数:^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$
非负浮点数:^\d+(\.\d+)?$ 或 ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
非正浮点数:^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或 ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$
正浮点数:^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或 ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$
负浮点数:^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或 ^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$
浮点数:^(-?\d+)(\.\d+)?$ 或 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$
校验字符的表达式
汉字:^[\u4e00-\u9fa5]{0,}$
英文和数字:^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$
长度为3-20的所有字符:^.{3,20}$
由26个英文字母组成的字符串:^[A-Za-z]+$
由26个大写英文字母组成的字符串:^[A-Z]+$
由26个小写英文字母组成的字符串:^[a-z]+$
由数字和26个英文字母组成的字符串:^[A-Za-z0-9]+$
由数字、26个英文字母或者下划线组成的字符串:^\w+$ 或 ^\w{3,20}
中文、英文、数字包括下划线:^[\u4E00-\u9FA5A-Za-z0-9_]+$
中文、英文、数字但不包括下划线等符号:^[\u4E00-\u9FA5A-Za-z0-9]+$ 或 ^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$
可以输入含有^%&',;=?\" 等字符:`[^%&',;=?\x22]+`
禁止输入含有~的字符[^~\x22]+
其它
特殊需求表达式
Email 地址:^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$
域名:[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.? InternetURL:[a-zA-z]+://[^\s]* 或 ^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$
手机号码:^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
电话号码(“XXX-XXXXXXX”、”XXXX-XXXXXXXX”、”XXX-XXXXXXX”、”XXX-XXXXXXXX”、”XXXXXXX”和”XXXXXXXX):^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$
国内电话号码(0511-4405222、021-87888822):\d{3}-\d{8}|\d{4}-\d{7}
身份证号(15位、18位数字):^\d{15}|\d{18}$
短身份证号码(数字、字母x结尾):^([0-9]){7,18}(x|X)?$ 或 ^\d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$
帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]{4,15}$
密码(以字母开头,长度在6~18之间,只能包含字母、数字和下划线):^[a-zA-Z]\w{5,17}$
强密码(必须包含大小写字母和数字的组合,不能使用特殊字符,长度在8-10之间):^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$
日期格式:^\d{4}-\d{1,2}-\d{1,2}
一年的12个月(01~09和1~12):^(0?[1-9]|1[0-2])$
一个月的31天(01~09和1~31):^((0?[1-9])|((1|2)[0-9])|30|31)$
钱的输入格式
有四种钱的表示形式我们可以接受:”10000.00” 和 “10,000.00”, 和没有 “分” 的 “10000” 和 “10,000”:^[1-9][0-9]*$
这表示任意一个不以0开头的数字,但是,这也意味着一个字符”0”不通过,所以我们采用下面的形式:^(0|[1-9][0-9]*)$
一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号:^(0|-?[1-9][0-9]*)$
4.这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧.下面我们要加的是说明可能的小数部分:^[0-9]+(.[0-9]+)?$
必须说明的是,小数点后面至少应该有1位数,所以”10.”是不通过的,但是 “10” 和 “10.2” 是通过的:^[0-9]+(.[0-9]{2})?$
这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样:^[0-9]+(.[0-9]{1,2})?$
这样就允许用户只写一位小数.下面我们该考虑数字中的 逗号 了,我们可以这样:^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$
1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须:^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
备注:这就是最终结果了,别忘了+可以用*替代如果你觉得空字符串也可以接受的话,最后,别忘了在用函数时去掉去掉那个反
xml文件:^([a-zA-Z]+-?)+[a-zA-Z0-9]+\.[x|X][m|M][l|L]$
中文字符的正则表达式:[\u4e00-\u9fa5]
双字节字符:^\x00-\xff)
空白行的正则表达式:\n\s*\r (可以用来删除空白行)
HTML标记的正则表达式:<(\S?)[^>]>.?</\1>|<.? />
(网上流传的版本太糟糕,上面这个也仅仅能部分,对于复杂的嵌套标记依旧无能为力)
首尾空白字符的正则表达式:^\s|\s
(可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非常有用的表达式)
腾讯QQ号:[1-9][0-9]{4,}(腾讯QQ号从10000开始)
中国邮政编码:[1-9]\d{5}(?!\d)
(中国邮政编码为6位数字)
IP地址:\d+.\d+.\d+.\d+
(提取IP地址时有用)
IP地址:((?:(?:25[0-5]|2[0-4]\d|[01]?\d?\d)\.){3}(?:25[0-5]|2[0-4]\d|[01]?\d?\d))
IP-v4地址:\b(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b
(提取IP地址时有用)
校验IP-v6地址:
子网掩码:
校验日期:
抽取注释:<!--(.*?)-->
查找CSS属性:^\\s*[a-zA-Z\\-]+\\s*[:]{1}\\s[a-zA-Z0-9\\s.#]+[;]{1}
提取页面超链接:(<a\\s*(?!.*\\brel=)[^>]*)(href="https?:\\/\\/)((?!(?:(?:www\\.)?'.implode('|(?:www\\.)?', $follow_list).'))[^" rel="external nofollow" ]+)"((?!.*\\brel=)[^>]*)(?:[^>]*)>
提取网页图片:\\< *[img][^\\\\>]*[src] *= *[\\"\\']{0,1}([^\\"\\'\\ >]*)
提取网页颜色代码:^#([A-Fa-f0-9]{6}|[A-Fa-f0-9]{3})$
文件扩展名效验:^([a-zA-Z]\\:|\\\\)\\\\([^\\\\]+\\\\)*[^\\/:*?"<>|]+\\.txt(l)?$
判断IE版本:^.*MSIE [5-8](?:\\.[0-9]+)?(?!.*Trident\\/[5-9]\\.0).*$
本文来自博客园,作者:奈非天,转载请注明原文链接:https://www.cnblogs.com/Nephalem-262667641/p/17310765.html