什么是XPath
XPath（XML Path Language）是一种在XML和HTML文档中查找信息的语言。在网页数据采集中，XPath是定位和提取HTML元素最强大的工具之一。它使用类似文件系统路径的语法来导航HTML文档的层次结构。
基本语法
路径表达式
/- 从根节点开始的绝对路径//- 从文档中任意位置开始的相对路径.- 当前节点..- 父节点@- 选择属性
节点选择
/html/body/div # 绝对路径选择
//div # 选择文档中所有div元素
//div/p # 选择所有div下的p元素
//div//p # 选择所有div内部的所有p元素（包括嵌套）
常用定位方式
1. 按标签名定位
//title # 选择所有title标签
//div # 选择所有div标签
//a # 选择所有链接标签
2. 按属性定位
//div[@class='content'] # 选择class为content的div
//a[@href='https://example.com'] # 选择特定链接的a标签
//input[@type='text'] # 选择文本输入框
//img[@alt='logo'] # 选择alt属性为logo的图片
3. 按文本内容定位
//a[text()='点击这里'] # 选择文本为"点击这里"的链接
//h1[contains(text(), '标题')] # 选择包含"标题"文本的h1
//span[text()='价格'] # 选择文本为"价格"的span
4. 位置定位
//div[1] # 选择第一个div
//div[last()] # 选择最后一个div
//div[position()>2] # 选择位置大于2的div
//tr[2]/td[3] # 选择第2行第3列的单元格
高级用法
1. 多条件组合
//div[@class='item' and @id='first'] # 同时满足class和id条件
//a[@href and text()] # 既有href又有文本的链接
//input[@type='text' or @type='email'] # 类型为text或email的输入框
2. 属性值匹配
//div[contains(@class, 'product')] # class包含product的div
//a[starts-with(@href, 'https')] # href以https开头的链接
//img[ends-with(@src, '.jpg')] # src以.jpg结尾的图片
3. 父子兄弟关系
//div[@class='price']/parent::* # 价格div的父元素
//h2[@class='title']/following-sibling::p # 标题后面的兄弟p元素
//span[@class='date']/preceding-sibling::h3 # 日期前面的兄弟h3元素
//div[@id='content']/descendant::a # content div内所有后代链接
实际采集场景示例
1. 电商网站商品信息
# 商品标题
//h1[@class='product-title']
//div[contains(@class, 'title')]/text()
# 商品价格
//span[@class='price-current']
//div[contains(@class, 'price')]//text()[normalize-space()]
# 商品图片
//div[@class='product-images']//img/@src
//img[contains(@alt, '商品')]/@src
# 商品描述
//div[@class='description']//text()
//div[@id='product-detail']//p/text()
2. 新闻网站内容
# 新闻标题
//h1[@class='article-title']
//div[contains(@class, 'headline')]/text()
# 发布时间
//time[@class='publish-time']/@datetime
//span[contains(@class, 'date')]/text()
# 新闻正文
//div[@class='article-content']//p/text()
//div[@id='news-body']//text()[normalize-space()]
# 作者信息
//span[@class='author']/text()
//div[contains(@class, 'byline')]//text()
3. 表格数据提取
# 表格标题行
//table[@class='data-table']//th/text()
# 所有数据行
//table[@class='data-table']//tr[position()>1]
# 特定列数据
//table//tr/td[2]/text() # 第2列所有数据
//table//tr[td[1][text()='总计']]/td[2] # 第1列为"总计"的行的第2列数据
4. 分页数据
# 下一页按钮
//a[@class='next-page']
//a[contains(text(), '下一页')]
常用函数
文本处理函数
text() # 获取元素的文本内容
normalize-space(text()) # 去除前后空白的文本
contains(text(), '关键词') # 判断文本是否包含关键词
starts-with(text(), '前缀') # 判断文本是否以指定内容开头
位置函数
position() # 当前元素位置
last() # 最后一个元素位置
count(//div) # 统计div元素数量
字符串函数
string-length(text()) # 文本长度
substring(text(), 1, 10) # 截取文本
translate(text(), 'ABC', 'abc') # 字符替换
调试和优化技巧
1. 浏览器开发者工具
使用Chrome开发者工具测试XPath表达式：
- 按F12打开开发者工具
- 选择
元素标签 - 按Ctrl+F打开搜索框
- 输入XPath表达式进行测试
2. 常见问题和解决方案
问题：XPath表达式没有匹配到元素
# 使用更灵活的匹配
//div[contains(@class, 'content')]
问题：动态内容加载
# 等待元素出现后再提取
//div[@class='loading'][not(@style='display: none;')]
问题：特殊字符处理
# 包含单引号的文本
//div[text()="Don't click"]
//div[contains(text(), concat("Don", "'", "t click"))]
3. 性能优化
# 避免使用过于宽泛的表达式
//*[@class='item'] # 性能较差
//div[@class='item'] # 性能更好
# 优先使用更具体的路径
//div[@id='container']//span[@class='price'] # 更高效
//span[@class='price'] # 可能匹配太多元素
总结
XPath是网页数据采集中不可或缺的工具，掌握其语法和常用技巧可以大大提高数据提取的效率和准确性。在实际使用中，建议先在浏览器开发者工具中测试XPath表达式，确认无误后再应用到采集脚本中。同时要注意网站的结构变化，定期检查和更新XPath表达式以确保采集的稳定性。