Python爬取百度热榜
这是一个非常基础的爬虫;使用Python爬取百度热榜的标题和链接;

完整源码
# 需有requests、lxml库
import requests
from urllib import parse
from lxml import etree
#请求头必须有合理的 User-Agent 值
headers = {
'User-Agent':'请自行填入User-Agent'
}
response = requests.get('https://www.baidu.com/',headers=headers)
html = response.text
document = etree.HTML(html)
for content in document.xpath('//textarea [@id="hotsearch_data"]/text()'):
for item in eval(content).get('hotsearch'):
#打印标题
print(item.get('pure_title'))
#打印链接
print(parse.unquote(item.get('linkurl')))