Python如何请求网页

原创
admin 18小时前 阅读数 3 #Python

Python中常用的请求网页的方式是使用第三方库,如requestsBeautifulSoup,这些库可以帮助我们发送HTTP请求并获取网页内容,同时还可以进行网页数据抓取、解析和过滤等操作。

在使用requests库请求网页之前,需要先安装这个库,可以通过在命令行中输入以下命令来安装:

pip install requests

我们可以使用以下代码来请求一个网页:

import requests
url = "https://www.Python1991.cn"
response = requests.get(url)
检查响应状态码是否为200,即请求成功
if response.status_code == 200:
    # 获取网页内容
    HTML = response.text
    # 使用BeautifulSoup解析网页内容
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(HTML, "HTML.parser")
    # 找到所有段落标签<p>
    paragraphs = soup.find_all('p')
    # 遍历段落并打印内容
    for paragraph in paragraphs:
        print(paragraph.get_text())
else:
    print("请求失败")

在这个例子中,我们首先使用requests.get()方法发送了一个GET请求到url指定的网页,然后将响应结果存储在response变量中,我们检查响应状态码是否为200,如果是,就获取网页内容并使用BeautifulSoup解析这些内容,我们找到所有段落标签<p>,遍历它们并打印出每个段落的内容。

需要注意的是,请求网页时可能会遇到网络问题或目标服务器故障等情况,因此在实际使用中需要进行异常处理和重试等操作。

作者文章
热门
最新文章