Skip to main content

学习正则表达式的一些笔记

前言

emmm虽然正则表达式好像不是特别急需,但后面还是需要学的=-=,就在吃喝玩乐睡的假期抽空学习一下。 本章是阅读《正则表达式30分钟入门》的笔记

界定符

指定正则表达式的开始和结束,可以当成是计算机语言中的大括号{}。一般有三种表现方式:

  • 斜杠。例如/[0-9]/。这是最常用的方式,在PHP中,推荐使用这种方式。
  • 井号。例如#[0-9]
  • 大括号。例如{[0-9]}。在正则表达式中,大括号还有其他作用,所以这种方式不推荐使用。

修饰符 | 修正模式

给正则表达式的匹配过程添加一种匹配模式,一般加在屁股比如:/[a-z]/i

  • UU是懒惰匹配,不加U是默认的贪婪匹配。
  • i 忽略英文字母大小写。
  • x 忽略空白。(包括空格和按tab键输出的制表符)
  • s 让元字符.匹配包括换行符在内的所有字符。
  • A强制从目标字符串开头匹配
  • e preg_replace()在替换字符串中对逆向引用作正常的替换。简单的说,就是PHP会把replace的结果当做PHP代码。(替换字符串要符合php的语法规范) 例如:echo preg_replace('/(\d+),(\d+)/e', '$1+$2', '2,3');会输出5
  • g全局匹配(但只匹单行) 若不带g,正则过程中字符串从左到右匹配,找到第一个符合条件的即匹配成功并返回 若带g,则字符串从左到右,找到每个符合条件的都记录下来,直到字符串结尾位置
  • m多行匹配:若存在换行\n并且有开始^或结束$符的情况下,和g一起使用实现全局匹配。 存在换行时默认会把换行符作为一个字符任务匹配。 g只匹配第一行,添加m之后实现多行,每个换行符之后作为新的匹配起始

元字符

. :匹配除换行符以外的任意字符 \w:匹配字母或数字或下划线或汉字等 \s:匹配任意的空白符,包括空格,制表符(Tab),换行符,中文全角空格 等 \d:匹配一位数字 \b:匹配单词的开始或结束。匹配这样一个位置:它的前一个字符和后一个字符不全是\w(一个是,一个不是或不存在) ^:匹配字符串开始 $:匹配字符串结束 ():小括号有很多妙用,看下面吧

反义

\W 匹配任意不是字母,数字,下划线,汉字的字符 \S 匹配任意不是空白符的字符 \D 匹配任意非数字的字符 \B 匹配不是单词开头或结束的位置 [\^x] 匹配除了x以外的任意字符 [\^aeiou] 匹配除了aeiou这几个字母以外的任意字符

量词

* :任意数量;重复0次或很多次 +:>=1次;重复1次或很多次 ?:0 or 1;重复0次或1次 {n}:n次;如:\d{2}(表示\d重复匹配2次); {n,}:>=n次;重复n次或更多次 {n,m}:重复n到m次;重复次数不少于n,不大于m

字符转义

若需要查找元字符本身如.*这些,需要用\来将这些字符的特殊意义取消掉:如\.\*;当然查找\本身也需要转义为\\

正则表达式字符类备忘单

打ctf的时候碰到的正则匹配 ps:不过这个好像不是所有语言都适用?在使用正则测试小工具测试payload的时候就没能识别

[:alpha:]任意字母, [A-Za-z] [:upper:]任意大写字母, [A-Z] [:lower:]任意小写字母, [a-z] [:digit:]任意数字, [0-9] [:alnum:]任意字符字母数字, [A-Za-z0-9] [:xdigit:]任意十六进制数字, [0-9A-Fa-f] [:space:]制表符,换行符,垂直制表符,换页,回车或空格 [:blank:]空格或制表符 [:print:]任意可打印字符 [:punct:]任意标点符号: ! ' # S % & ' ( ) * + , - . / : ; < = > ? @ [ / ] ^ _ { | } ~ [:graph:]除space类之外的任意字符 [:word:]字母数字字符和下划线的连续字符串 [:ascii:]ASCII字符,范围:0-127 [:cntrl:]任何不属于字符类的字符: [:upper:], [:lower:], [:alpha:], [:digit:], [:punct:], [:graph:], [:print:], [:xdigit:]

查找字符类

如查找abcde,只需在方括号中列出[abcde];那么就构造了这样一个只会匹配abcde的字符集,数量由其后的重复次数决定

也可以指定范围: [0-9] 代表的含意与 \d 就是完全一致的:一位 数字; [a-z0-9A-Z_] 也完全等同于 \w (如果只考虑英文的话)。

分支条件

正则表达式里的分枝条件指的是有几种规则,如果满足其中任意一种规则都会进行匹配,具体方法是用 | 把不同的规则分隔开。如a | b,只要满足其中之一,都会进行匹配

分组(子表达式)

想要重复多个字符时,需要先用小括号进行分组,然后再指定这个分组的重复次数。 eg: (\d{1,3}\.){3}\d{1,3} 是一个简单的 IP 地址匹配表达式。 按下列顺序分析它: \d{1,3}匹配 1到3位的数字, (\d{1,3}\.){3} 匹配三位数字加上一个英文句号(这个整体也就是这个分组) 重复3次, 最后再加上一个一到三位的数字 (\d{1,3})

IP地址中每个数字都不能大于255 且 01.02.03.04 这样前面带有0的数字, 也是正确的IP地址,IP 地址里的数字可以包含有前导 0 (leading zeroes). 不过上述正则表达式也会匹配 256.300.888.999 这种不可能存在的IP地址。 如果能使用算术比较的话,或许能简单地解决这个问题,但是正则表达式中并不提供关于数学的任何功能 所以只能使用冗长的分组,选择,字符类来描述一个正确的IP地址: ((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)

理解这个表达式的关键是理解 2[0-4]\d|25[0-5]|[01]?\d\d?

解析:分成三部分:2[0-4]\d25[0-5][01]?\d\d? 2[0-4]\d2 + [0-4]中的任一个 + 任意数字;即:200-209、210-219、220-229、230-239、240-249 25[0-5]:25 + [0-5]任一个;即:250-255 [01]?\d\d?:[01]? + \d + \d?;即0/1(不匹配或匹配1次),加上任一数字,加上任一数字(不匹配或匹配1次)

后向引用

使用小括号指定一个子表达式后,匹配这个子表达式的文本(也就是此分组捕获的内容)可以在表达式或其它程序中作进一步的处理。 也就是说可以对分组匹配到的文字进行处理

默认情况下,每个分组会自动拥有一个组号,规则是:从左向右,以分组的左括号为标志,第一个出现的分组的组号为1,第二个为2,以此类推。

后向引用用于重复搜索前面某个分组匹配的文本。 例如: \1 代表分组1匹配的文本。 示例: \b(\w+)\b\s+\1\b 就可以可以用来匹配重复的单词,像go go, 或者kitty kitty。

解析: (\b(\w+)\b) :首先是一个单词(这个单词会被捕获到编号为1的分组中),也就是单词开始处和结束处之间数量多于一个的字母或数字 (\s+) :然后是1个或几个空白符 (\1) :最后是分组1中捕获的内容(也就是前面匹配的那个单词)

自定义子表达式的组名

子表达式的组名也可以自己定义:

使用语法形如: (? <Word>\w+) (或者把尖括号换成'也行: (?'Word'\w+)) 这样就把 \w+ 的组名指定为 Word 了。

反向引用时:\k<Word>

由此可以将上面的例子\b(\w+)\b\s+\1\b写为\b(?<Word>\w+)\b\s+\k<Word>\b

使用 () 的一些常用的特定语法

分类代码/语法说明
捕获(exp)匹配exp,并捕获文本到自动命名的组里
(?exp) or (?'name'exp)匹配exp,并捕获文本到名称为name的组里
(?:exp)匹配exp,不捕获匹配的文本,也不给此分组分配组号
零宽断言(?=exp)匹配exp前面的位置
(?<=exp)匹配exp后面的位置
(?!exp)匹配后面跟的不是exp的位置
(?<!exp)匹配前面不是exp的位置
注释(?#comment)这种类型的分组不对正则表达式的处理产生任何影响,用于提供注释让人阅读

零宽断言

就是用于查找在某些内容(不包括这些内容)之前或之后的东西,即指定内容前/后的位置,并且该位置需满足一定条件(断言);故综合称之为零宽断言。

(?=exp)(零宽度预测先行断言):断言自身出现的位置的后面能匹配表达式exp

比如:\b\w+(?=ing\b),匹配以ing结尾的单词的前面部分(除了ing以外的部分),

如查找I'm singing while you're dancing.时,它会匹配singdanc

(?<=exp)(零宽度回顾后发断言):断言自身出现的位置的前面能匹配表达式 exp

比如:(?<=\bre)\w+\b会匹配以re开头的单词的后半部分(除了re以外的部分),

例如在查找reading a book时,它匹配ading

负向零宽断言

(?!exp)(零宽度预测先行断言):断言此位置的后面不能匹配表达式exp

比如:

\d{3}(?!\d)匹配三位数字,而且这三位数字的后面不能是数字;

\b((?!abc)\w)+\b匹配不包含连续字符串abc的单词。

(?<!exp)(零宽度回顾后发断言):断言此位置的前面不能匹配表达式exp

比如:

(?<![a-z])\d{7}匹配前面不是小写字母的七位数字。

(?<=<(\w+)>).*(?=<\/\1>)匹配不包含属性的简单HTML标签内里的内容

解析: (?<=<(\w+)>)指定了前缀:被尖括号括起来的单词(比如可能是<b>), . *(任意的字符串),最后是一个后缀(?=<\/\1>)。 后缀里的\/用到了前面提过的字符转义; \1是一个反向引用,引用捕获的第一组,前面 (\w+) 匹配的内容

这样如果前缀实际上是 <b> 的话,后缀就是 </b> 了。

整个表达式匹配的是 <b></b> 之间的内容(不包括前缀和后缀本身)。

注释

通过语法(?#comment)来包含注释

比如:2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)

要包含注释的话,最好是启用“忽略模式里的空白符”选项,这样在编写表达式时能任意的添加空格,Tab,换行,而实际使用时这些都将被忽略。 启用这个选项后,在#后面到这一行结束的所有文本都将被当成注释忽略掉。

例如,我们可以将前面的一个表达式写成这样:

  (?<=    # 断言要匹配的文本的前缀
<(\w+)> # 查找尖括号括起来的内容
# (即HTML/XML标签)
) # 前缀结束
.* # 匹配任意文本
(?= # 断言要匹配的文本的后缀
<\/\1> # 查找尖括号括起来的内容
# 查找尖括号括起来的内容
) # 后缀结束

贪婪与懒惰

贪婪匹配

当正则表达式中包含能接受重复的限定符时,通常的行为是匹配尽可能多的字符(在使整个表达式能得到匹配的前提下)

如:a.*b会匹配最长的 以a开始,b结束 的字符串; 当以此对aabab进行搜索,就会匹配整个字符串aabab

懒惰匹配

也就是是匹配尽可能少的字符。 只需在限定符后加上?即可转换为懒惰匹配模式

a.*?b匹配最短的 以a开始,b结束 的字符串; 当以此对aabab进行搜索,就会匹配aab和ab

懒惰限定符:

代码/语法说明
*?重复任意次,但尽可能少重复
+?重复1次或更多次,但尽可能少重复
??重复0次或1次,但尽可能少重复
{n,m}?重复n到m次,但尽可能少重复
{n,}?重复n次以上,但尽可能少重复

处理选项(基于python)

Python 中常用的正则表达式选项(用到re模块!):

名称说明
re.IGNORECASE匹配时不区分大小写。
re.MULTILINE更改\^和$的含义,使它们分别在任意一行的行首和行尾匹配,而不仅仅在整个字符串的开头和结尾匹配。(在此模式下,$的精确含意是:匹配\n之前的位置以及字符串结束前的位置.)
re.DOTALL更改.的含义,使它与每一个字符匹配(包括换行符\n)。
re.VERBOSE忽略表达式中的非转义空白并启用由#标记的注释。
re.DEBUG显示编译表达式的 debug 信息

平衡组&递归匹配

使用场景:匹配嵌套字符串,如匹配类中的大括号,HTML中的尖括号等

(?'group') 把捕获的内容命名为group,并压入堆栈(Stack)

(?'-group') 从堆栈上弹出最后压入堆栈的名为group的捕获内容,如果堆栈本来为空,则本分组的匹配失败

(?(group)yes|no) 如果堆栈上存在以名为group的捕获内容的话,继续匹配yes部分的表达式,否则继续匹配no部分

(?!) 零宽负向先行断言,由于没有后缀表达式,试图匹配总是失败

我们要做的是:

每碰到了左括号,就在压入一个"Open", 每碰到一个右括号,就弹出一个,到了最后就看看堆栈是否为空;

不为空 -》证明左括号比右括号多,那匹配就应该失败。

正则表达式引擎会进行回溯(放弃最前面或最后面的一些字符),尽量使整个表达式得到匹配

正则表达式手册

表达式全集

字符描述
\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如,“n”匹配字符“n”。“\n”匹配一个换行符。串行“\\”匹配“\”而“\(”则匹配“(”。
^匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配“\n”或“\r”之后的位置。
$匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配“\n”或“\r”之前的位置。
*匹配前面的子表达式零次或多次。例如,zo能匹配“z”以及“zoo”。等价于{0,}。
+匹配前面的子表达式一次或多次。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等价于{1,}。
?匹配前面的子表达式零次或一次。例如,“do(es)?”可以匹配“does”或“does”中的“do”。?等价于{0,1}。
{n}n是一个非负整数。匹配确定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的两个o。
{n,}n是一个非负整数。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。
{n,m}mn均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。
?当该字符紧跟在任何一个其他限制符(,+,?,{n},{n,},{n,m*})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串“oooo”,“o+?”将匹配单个“o”,而“o+”将匹配所有“o”。
.匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符,请使用像“`(.
(pattern)匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性。要匹配圆括号字符,请使用“\(”或“\)”。
(?:pattern)匹配pattern但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。这在使用或字符“`(
(?=pattern)正向肯定预查,在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如,“`Windows(?=95
(?!pattern)正向否定预查,在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如“`Windows(?!95
(?<=pattern)反向肯定预查,与正向肯定预查类拟,只是方向相反。例如,“`(?<=95
(?<!pattern)反向否定预查,与正向否定预查类拟,只是方向相反。例如“`(?<!95
x|y匹配x或y。例如,“`z
[xyz]字符集合。匹配所包含的任意一个字符。例如,“[abc]”可以匹配“plain”中的“a”。
xyz负值字符集合。匹配未包含的任意字符。例如,“[^abc]”可以匹配“plain”中的“p”。
[a-z]字符范围。匹配指定范围内的任意字符。例如,“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。
a-z负值字符范围。匹配任何不在指定范围内的任意字符。例如,“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。
\b匹配一个单词边界,也就是指单词和空格间的位置。例如,“er\b”可以匹配“never”中的“er”,但不能匹配“verb”中的“er”。
\B匹配非单词边界。“er\B”能匹配“verb”中的“er”,但不能匹配“never”中的“er”。
\cx匹配由x指明的控制字符。例如,\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则,将c视为一个原义的“c”字符。
\d匹配一个数字字符。等价于[0-9]
\D匹配一个非数字字符。等价于0-9
\f匹配一个换页符。等价于\x0c和\cL。
\n匹配一个换行符。等价于\x0a和\cJ。
\r匹配一个回车符。等价于\x0d和\cM。
\s匹配任何空白字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]
\S匹配任何非空白字符。等价于[^ \f\n\r\t\v]。
\t匹配一个制表符。等价于\x09和\cI。
\v匹配一个垂直制表符。等价于\x0b和\cK。
\w匹配包括下划线的任何单词字符。等价于“[A-Za-z0-9_]”。
\W匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。
\xn匹配n,其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如,“\x41”匹配“A”。“\x041”则等价于“\x04&1”。正则表达式中可以使用ASCII编码。.
*num*匹配num,其中num是一个正整数。对所获取的匹配的引用。例如,“(.)\1”匹配两个连续的相同字符。
*n*标识一个八进制转义值或一个向后引用。如果*n之前至少n个获取的子表达式,则n为向后引用。否则,如果n为八进制数字(0-7),则n*为一个八进制转义值。
*nm*标识一个八进制转义值或一个向后引用。如果*nm之前至少有nm个获得子表达式,则nm为向后引用。如果*nm之前至少有n个获取,则n为一个后跟文字m的向后引用。如果前面的条件都不满足,若nm均为八进制数字(0-7),则*nm将匹配八进制转义值nm*。
*nml*如果n为八进制数字(0-3),且m和l均为八进制数字(0-7),则匹配八进制转义值nml。
\un匹配n,其中n是一个用四个十六进制数字表示的Unicode字符。例如,\u00A9匹配版权符号(©)。

常用正则表达式

用户名/^[a-z0-9_-]{3,16}$/
密码/^[a-z0-9_-]{6,18}$/
十六进制值/^#?([a-f0-9]{6}|[a-f0-9]{3})$/
电子邮箱/^([a-z0-9_.-]+)@([\da-z.-]+).([a-z.]{2,6})$/ /^[a-z\d]+(.[a-z\d]+)*@(\da-z?)+(.{1,2}[a-z]+)+$/
URL/^(https?:\/\/)?([\da-z.-]+).([a-z.]{2,6})([\/\w .-])\/?$/
IP 地址/((2[0-4]\d|25[0-5]|[01]?\d\d?).){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)/ /^(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)$/
HTML 标签/^<([a-z]+)(<+)(?:>(.)<\/\1>|\s+\/>)$/
删除代码\注释(?<!http:|\S)//.*$
Unicode编码中的汉字范围/^[\u2E80-\u9FFF]+$/