Python爬取天气数据及可视化分析("Python实现天气数据爬取与可视化分析详解")

原创

ithorizon 6个月前 (10-21) 阅读数 44 #后端开发

Python实现天气数据爬取与可视化分析详解

一、引言

在信息化时代，数据的获取和分析变得愈发重要。天气数据作为日常生活中不可或缺的信息，其获取和分析同样具有重要意义。本文将详细介绍怎样使用Python进行天气数据的爬取与可视化分析，帮助读者掌握这一实用技能。

二、天气数据爬取

首先，我们需要从网络获取天气数据。这里以中国天气网为例，介绍怎样使用Python的requests库和BeautifulSoup库进行天气数据的爬取。

2.1 环境准备

在开端之前，确保已安装以下库：

pip install requests

pip install beautifulsoup4

2.2 爬取流程

以下是爬取中国天气网某城市天气数据的示例代码：


import requests
from bs4 import BeautifulSoup
def get_weather_data(city_name):
    url = f"http://www.weather.com.cn/weather1dn/{city_name}.shtml"
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    response.encoding = 'utf-8'
    soup = BeautifulSoup(response.text, 'html.parser')
    return soup
city_name = '101010100'  # 以北京为例
weather_soup = get_weather_data(city_name)

2.3 数据解析

接下来，我们需要解析爬取到的HTML页面，提取所需的天气数据。以下是一个简洁的数据解析示例：


def parse_weather_data(soup):
    weather_data = {}
    weather_table = soup.find('table', class_='c1')
    for row in weather_table.find_all('tr')[1:]:
        cols = row.find_all('td')
        date = cols[0].text.strip()
        weather = cols[1].text.strip()
        temp = cols[2].text.strip()
        weather_data[date] = {'weather': weather, 'temp': temp}
    return weather_data
weather_info = parse_weather_data(weather_soup)
print(weather_info)

三、天气数据可视化分析

获取到天气数据后，我们可以使用Python的matplotlib库进行可视化分析，以便更直观地了解天气变化。

3.1 环境准备

在开端之前，确保已安装以下库：

pip install matplotlib

3.2 可视化分析

以下是一个简洁的天气数据可视化分析示例，绘制温度变化曲线：


import matplotlib.pyplot as plt
def plot_weather_data(weather_data):
    dates = list(weather_data.keys())
    temps = [data['temp'] for data in weather_data.values()]
    plt.plot(dates, temps, marker='o')
    plt.title('Temperature Changes')
    plt.xlabel('Date')
    plt.ylabel('Temperature (°C)')
    plt.xticks(rotation=45)
    plt.tight_layout()
    plt.show()
plot_weather_data(weather_info)