Python正则清洗技巧：数据格式统一实战

本文深入剖析了Python正则表达式在真实数据清洗场景中的关键技巧与实战陷阱，聚焦手机号格式统一（精准锚定数字主体、规避国际前缀误删与身份证号干扰）、日期标准化（多源异构输入的智能预处理、年份补全逻辑与性能优化）、地址结构化解析（省市区三级提取的断言防护与分块归并策略）以及缺失值智能识别（覆盖各类空值变体与Unicode空白），强调正则需与业务逻辑、数据类型校验和人工复核协同，提醒读者警惕宽松匹配、隐式类型转换和语义模糊边界——真正有效的清洗，始于对“脏”的深刻理解，而非对pattern的盲目堆砌。

匹配并替换不规范的手机号格式

国内手机号常见问题：带空格、横线、括号、中文字符，或混入“转”“-”等干扰符。直接用 re.sub() 清洗最稳，但要注意边界和重复替换。

• 用 r'[^0-9]+' 会误删开头的 +86，应优先锚定数字主体，再补前缀逻辑
• 推荐先用 re.findall(r'1[3-9]\d{9}', text) 抽出原始号码段，避免从杂文本中“挤”出错误数字
• 对含国际前缀的（如 +86 138-1234-5678），先用 re.sub(r'^\+86\s*', '', text) 剥离，再统一补 '1' 开头校验
• 警惕 \d{11} 这种宽松匹配——它会把身份证后 11 位也抓出来，必须加单词边界或前后非数字断言，例如 (?

清洗日期字符串为标准 YYYY-MM-DD 格式

用户输入日期五花八门：2023/05/1、23-05-01、2023年5月1日，靠 datetime.strptime() 逐个 try-except 效率低且易漏。正则预处理更可控。

• 中文日期优先用 re.sub(r'(\d{4})[年/-](\d{1,2})[月/-](\d{1,2})[日]?', r'\1-\2-\3', text)，注意月份/日期补零需后续处理
• 两位年份（如 23-05-01）不能直接转，要结合业务判断：若数据全在 2020–2030 年间，可用 re.sub(r'^(\d{2})-', r'20\1-', text)，否则得加上下文判断
• 用 re.compile() 预编译所有日期 pattern，比反复调用 re.sub() 快 3–5 倍，尤其在 DataFrame .str.replace() 中明显
• 清洗后务必用 pd.to_datetime(..., errors='coerce') 转换并检查 NaT，正则只管格式，不管逻辑有效性（比如 2023-02-30）

提取并标准化地址中的省市区三级结构

地址字段常含冗余词（“省”“市”“区”“街道”“路”）、错别字（“冮苏”“淛江”）、嵌套括号。靠关键词切分容易断裂，正则分组提取更可靠。

• 省级匹配必须加 ^ 或前置空格断言，否则 江苏 会被 南京市江苏路 里的“江苏”误捕——用 (?
• 市区级匹配建议用非贪婪模式：例如 r'(.*?)(?:市|自治州|盟)(.*?)(?:区|县|市|旗)(.*)'，但需配合 re.DOTALL 处理换行
• 遇到 “广东省深圳市南山区科技园路1号” 这类无标点地址，单靠正则无法 100% 拆解，应先用 re.split(r'(省|市|区|县|自治州|盟)', text) 切块再归并
• 清洗结果建议存为结构化字段（如 addr_province, addr_city），别堆在单字段里再用正则反复扫

处理缺失值标记与异常符号混用

Excel 导出数据里，“空”可能是 ''、'N/A'、'--'、'NULL'、'\\N'，甚至 Unicode 空格（\u3000）。用正则统一映射比写多个 == 判断更简洁。

• 定义清洗 pattern：re.compile(r'^\s*(?:N/A|NULL|None|nan|--|\\N|\u3000+)\s*$', re.IGNORECASE)，注意 ^ 和 $ 锁定整字段
• 不要用 re.sub(pattern, np.nan, s) 直接替换，DataFrame 中应走 df[col].replace({pattern: np.nan}, regex=True)，否则可能触发隐式类型转换失败
• 某些字段含“有效空值”，如 '0' 表示未填写，'-' 表示不适用——需按业务含义区分，不能一概而论替成 NaN
• 清洗后立刻检查 df[col].isna().sum() 和 df[col].apply(type).value_counts()，确认没把字符串 'nan' 错当浮点 nan 处理

import re
import pandas as pd
import numpy as np
<h1>示例：批量清洗手机号</h1><p>phone_pattern = re.compile(r'(?<!\d)(1[3-9]\d{9})(?!\d)')
def clean_phone(text):
if not isinstance(text, str):
return None
matches = phone_pattern.findall(text)
return matches[0] if matches else None</p><h1>示例：日期标准化（简化版）</h1><p>date_cleaner = re.compile(r'(\d{4})<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq6yjWGBa4qks5OvsIB2gNGyZILOgdyxo4GYgpywdpers4CNZX6AirGyt8qhjayAmrN4nJiSt7FskeB9qryGhp6zpoVl' rel='nofollow'>年/-</a><a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq6yjWGBa4qks5OvsIB2gNGyZILOgdyxo4GYgpywdpers4CNZX6AirGyt8qhjayAmrN4nJiSt7FskeB9qryGhp6zpoVl' rel='nofollow'>月/-</a>[日]?')
def normalize_date(text):
if not isinstance(text, str):
return None
m = date_cleaner.search(text)
if m:
y, mth, d = m.groups()
return f'{y}-{int(mth):02d}-{int(d):02d}'
return None</p>

正则不是万能的，特别是地址和语义模糊字段；真正难的不是写出 pattern，而是识别哪些 case 必须交给规则引擎或人工复核。清洗脚本上线前，一定要拿真实脏数据跑一遍，看 re.findall() 抓出多少意外匹配——那才是最容易被忽略的盲区。

今天关于《Python正则清洗技巧：数据格式统一实战》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！