Python爬取百度热榜

爬虫
Python
2023-02-22 13:36:42

这是一个非常基础的爬虫；使用Python爬取百度热榜的标题和链接；

python爬取百度热榜

完整源码

# 需有requests、lxml库
import requests
from urllib import parse
from lxml import etree

#请求头必须有合理的 User-Agent 值
headers = {
    'User-Agent':'请自行填入User-Agent'
}

response = requests.get('https://www.baidu.com/',headers=headers)

html = response.text

document = etree.HTML(html)

for content in document.xpath('//textarea [@id="hotsearch_data"]/text()'):
    for item in eval(content).get('hotsearch'):
        #打印标题
        print(item.get('pure_title'))
        #打印链接
        print(parse.unquote(item.get('linkurl')))

原创内容，如需转载，请注明出处；

本文地址： https://www.perfcode.com/p/python-get-baidu-hotsearch.html

分类： 计算机技术
推荐阅读:
Rust 宏编程 Rust 的宏编程是一种强大的元编程技术，允许您在编译时生成代码，创建自定义语法，以及进行各种代码转换。在 Rust 中，标准宏是内置于 Rust 标准库中的宏。这些宏是 Rust 语言提供的一部分，可直接在任何 Rust 代码中使用，无需额外的导入或引入其他依赖。
学习PySide6控件的准备 这不是一份Python语言的学习教程，建议你在开始前先掌握Python语言基础和面向对象编程的概念；
Python print()函数 print() 函数是 Python 内置函数之一，用于输出指定的对象。它可以接受多个参数，用逗号分隔，它们将被依次输出，并且默认情况下它们之间会用空格分隔。在输出完成之后，print() 函数会自动在末尾添加一个换行符。
Rust使用莱布尼茨公式计算圆周率 莱布尼茨公式是一种用于计算圆周率的无限级数。该公式的形式如下：pi/4 = 1 - 1/3 + 1/5 - 1/7 + 1/9 - ... 通过对无限级数进行逐项求和，可以逐步逼近圆周率的值。在 Rust 中，可以使用循环和累加器来计算莱布尼茨级数的前N项和。
MIPS指令的寻址方式和数据类型 MIPS指令支持多种寻址方式和数据类型，以满足不同的应用需求。
使用requests请求后的响应内容 使用Requests进行get请求或post请求后，requests会返回一个Response对象；