正則表達式

正則表達式是一種用來匹配字符串的強有力的武器，設計思想是用一種描述性的語言來給字符串定義一個規則。

例如在註冊賬號的時候對賬號名稱的要求，比如不能以數字開頭，字數的數量等，這些都是用正則表達式實現的。正則表達式還經常用在數據清洗和提取中。

字符匹配規則

單個字符匹配：\d：數字 \w：字母或數字 \s：空格 _：下劃線 .：匹配任意字符

匹配不規則長度字符需藉助其他關鍵字符：

貪婪模式與非貪婪模式

Python 裏數量詞默認是貪婪的（在少數語言裏也可能是默認非貪婪），總是嘗試匹配儘可能多的字符；非貪婪的則相反，總是嘗試匹配儘可能少的字符。例如：正則表達式 」ab*」 如果用於查找 」abbbc」，將找到 」abbb」。而如果使用非貪婪的數量詞 」ab *?」，將找到 」a」。

精確匹配

A|B：表示可以匹配A或B

^{：表示行的開頭，}\d表示必須以數字開頭

KaTeX parse error: Expected 'EOF', got '\d' at position 9: ：表示行的結束，\̲d̲表示以數字結束

re.match函數

嘗試從字符串的起始位置匹配一個模式，如果不是起始位置匹配成功的話，match（）就返回None

re.match(pattern, string, flags=0)

pattern	匹配的正則表達式
string	要匹配的字符串。
flags	標誌位，用於控制正則表達式的匹配方式，如：是否區分大小寫，多行匹配等等。

修飾符

修飾符	描述
re.I	使匹配對大小寫不敏感
re.L	做本地化識別（locale-aware）匹配
re.M	多行匹配，影響 ^ 和 $
re.S	使 . 匹配包括換行在內的所有字符
re.U	根據Unicode字符集解析字符。這個標誌影響 \w, \W, \b, \B.
re.X	該標誌通過給予你更靈活的格式以便你將正則表達式寫得更易於理解。

group

group（num=0）	匹配的整個表達式的字符串，group()可以一次輸入多個組號，在這種情況下將返回一個包含那些組所對應值的元組
group（）	返回一個包含所有小組字符串的元組，從1到所含的小組號

import re
 
line = "Cats are smarter than dogs"
 
matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)
 
if matchObj:
    print("matchObj.group() : ", matchObj.group())
    print("matchObj.group(1) : ", matchObj.group(1))
    print("matchObj.group(2) : ", matchObj.group(2))
else:
    print("No match!!")

matchObj.group() :  Cats are smarter than dogs
matchObj.group(1) :  Cats
matchObj.group(2) :  smarter

re.search

re.search(pattern, string, flags=0)

import re
print(re.search('www', 'www.runoob.com').span())  # 在起始位置匹配
print(re.search('com', 'www.runoob.com').span())  # 不在起始位置匹配
#輸出
(0, 3)
(11, 14)

re.match只匹配字符串的開始，如果字符串開始不符合正則表達式，則匹配失敗，函數返回None；而re.search匹配整個字符串，直到找到一個匹配。

檢索和替換

re 模塊提供了re.sub用於替換字符串中的匹配項

re.sub(pattern, repl, string, count=0, flags=0)

• pattern : 正則中的模式字符串。
• repl : 替換的字符串，也可爲一個函數。
• string : 要被查找替換的原始字符串。
• count : 模式匹配後替換的最大次數，默認 0 表示替換所有的匹配。

import re

phone = "2004-959-559 # 這是一個國外電話號碼"
# 刪除字符串中的 Python註釋 
num = re.sub(r'#.*$', "", phone)
print("電話號碼是: ", num)
# 刪除非數字(-)的字符串 
num = re.sub(r'\D', "", phone)
print("電話號碼是 : ", num)

電話號碼是:  2004-959-559 
電話號碼是 :  2004959559

re.compile函數

函數用於編譯正則表達式，生成一個正則表達式（ Pattern ）對象，供 match() 和 search() 這兩個函數使用。

re.compile(pattern[, flags])

>>>import re
>>> pattern = re.compile(r'([a-z]+) ([a-z]+)', re.I)   # re.I 表示忽略大小寫
>>> m = pattern.match('Hello World Wide Web')
>>> print(m)                            # 匹配成功，返回一個 Match 對象
<_sre.SRE_Match object at 0x10bea83e8>
>>> m.group(0)                            # 返回匹配成功的整個子串
'Hello World'
>>> m.span(0)                             # 返回匹配成功的整個子串的索引
(0, 11)
>>> m.group(1)                            # 返回第一個分組匹配成功的子串
'Hello'
>>> m.span(1)                             # 返回第一個分組匹配成功的子串的索引
(0, 5)
>>> m.group(2)                            # 返回第二個分組匹配成功的子串
'World'
>>> m.span(2)                             # 返回第二個分組匹配成功的子串
(6, 11)
>>> m.groups()                            # 等價於 (m.group(1), m.group(2), ...)
('Hello', 'World')
>>> m.group(3)                            # 不存在第三個分組
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
IndexError: no such group

findall

在字符串中找到正則表達式所匹配的所有子串，並返回一個列表，如果沒有找到匹配的，則返回空列表。

findall(string[, pos[, endpos]])

import re
 
pattern = re.compile(r'\d+')   # 查找數字
result1 = pattern.findall('runoob 123 google 456')
result2 = pattern.findall('run88oob123google456', 0, 10)
 
print(result1)
print(result2)

[‘123’, ‘456’]

[‘88’, ‘12’]

re.finditer

在字符串中找到正則表達式所匹配的所有子串，並把它們作爲一個迭代器返回。

迭代器是訪問集合元素的一種方式。迭代器對象從集合的第一個元素開始訪問，直到所有的元素被訪問完結束。迭代器只能往前不會後退。

re.finditer(pattern, string, flags=0)

import re
 
it = re.finditer(r"\d+","12a32bc43jf3") 
for match in it: 
    print (match.group() )

12 
32 
43 
3

re.split

照能夠匹配的子串將字符串分割後返回列表

re.split(pattern, string[, maxsplit=0, flags=0])

maxsplit分隔次數，maxsplit=1 分隔一次，默認爲 0，不限制次數。

>>>import re
>>> re.split('\W+', 'runoob, runoob, runoob.')
['runoob', 'runoob', 'runoob', '']
>>> re.split('(\W+)', ' runoob, runoob, runoob.') 
['', ' ', 'runoob', ', ', 'runoob', ', ', 'runoob', '.', '']
>>> re.split('\W+', ' runoob, runoob, runoob.', 1) 
['', 'runoob, runoob, runoob.']
 
>>> re.split('a*', 'hello world')   # 對於一個找不到匹配的字符串而言，split 不會對其作出分割
['hello world']

爬取網頁內容實例

爬取豆瓣電影排行榜實例，其網址是「https://movie.douban.com/chart「，主要任務是爬取在排行榜上的電影名稱。

import requests
import re

respond=requests.get("https://movie.douban.com/chart")
content=str(respond.content.decode())
#print(content)
pattern = r'.*<a class="nbg" href="https://movie.douban.com/subject/\d+/"  title=(.+)>.*'
print(re.findall(pattern,content))