Python如何请求网页
原创Python中常用的请求网页的方式是使用第三方库,如requests
和BeautifulSoup
,这些库可以帮助我们发送HTTP请求并获取网页内容,同时还可以进行网页数据抓取、解析和过滤等操作。
在使用requests
库请求网页之前,需要先安装这个库,可以通过在命令行中输入以下命令来安装:
pip install requests
我们可以使用以下代码来请求一个网页:
import requests url = "https://www.python1991.cn" response = requests.get(url) 检查响应状态码是否为200,即请求成功 if response.status_code == 200: # 获取网页内容 html = response.text # 使用BeautifulSoup解析网页内容 from bs4 import BeautifulSoup soup = BeautifulSoup(html, "html.parser") # 找到所有段落标签<p> paragraphs = soup.find_all('p') # 遍历段落并打印内容 for paragraph in paragraphs: print(paragraph.get_text()) else: print("请求失败")
在这个例子中,我们首先使用requests.get()
方法发送了一个GET请求到url
指定的网页,然后将响应结果存储在response
变量中,我们检查响应状态码是否为200,如果是,就获取网页内容并使用BeautifulSoup
解析这些内容,我们找到所有段落标签<p>
,遍历它们并打印出每个段落的内容。
需要注意的是,请求网页时可能会遇到网络问题或目标服务器故障等情况,因此在实际使用中需要进行异常处理和重试等操作。
上一篇:python 如何定义int 下一篇:python如何打开step