Python Pandas 时间序列分析 日期时间的处理和转换

1、日期和时间的创建

pd.date_range() 是处理时间序列数据时非常重要的函数。它用于生成具有特定频率的固定长度的 DatetimeIndex，适用于创建时间序列数据或作为 DataFrame 或 Series 的时间索引。使用pd.to_datetime()将字符串转换为日期时间对象。

1）pd.date_range()

参数说明：

使用示例：

import pandas as pd

# 生成指定开始和结束日期的每日时间序列
daily_range = pd.date_range(start='2024-01-01', end='2024-01-10', freq='D')
print("Daily Range:\n", daily_range)

# 生成固定数量的月末时间序列
monthly_range = pd.date_range(start='2024-01-01', periods=6, freq='M')
print("\nMonthly Range:\n", monthly_range)

# 生成每小时的时间序列，并指定时区
hourly_range = pd.date_range(start='2024-01-01', periods=24, freq='H', tz='Asia/Tokyo')
print("\nHourly Range (Tokyo TZ):\n", hourly_range)

# 生成归一化到午夜的每周时间序列
weekly_range = pd.date_range(start='2024-01-01', periods=4, freq='W', normalize=True)
print("\nWeekly Range (Normalized):\n", weekly_range)

# 生成具有指定名称的季度末时间序列
quarterly_range = pd.date_range(start='2024-01-01', periods=4, freq='Q', name='Quarter End')
print("\nQuarterly Range:\n", quarterly_range)

2）pd.to_datetime()

pd.to_datetime()是处理和转换日期时间数据的重要工具。它可以将多种格式的数据转换为 Pandas 的 datetime 类型。

参考说明：

使用示例：

import pandas as pd

# 将字符串转换为日期时间
datetime_from_str = pd.to_datetime('2024-01-01')
print("Datetime from string:", datetime_from_str)

# 将 UNIX 时间戳转换为日期时间
datetime_from_timestamp = pd.to_datetime(1609459200, unit='s')
print("Datetime from timestamp:", datetime_from_timestamp)

# 处理 DataFrame 中的日期时间列
df = pd.DataFrame({'date': ['2024-01-01', '2024-02-01', 'not a date']})
df['date'] = pd.to_datetime(df['date'], errors='coerce')
print("\nDataFrame with Datetime:\n", df)

# 使用自定义日期时间格式
datetime_custom_format = pd.to_datetime('01-01-2024', format='%d-%m-%Y')
print("Datetime with custom format:", datetime_custom_format)

2、 提取日期和时间的组成部分

可以从日期时间对象中提取年份、月份、日等信息。

import pandas as pd
import numpy as np


dates = pd.date_range('20230101', periods=6)


# 提取日期时间的组成部分
year = dates.year
month = dates.month
day = dates.day

# 提取小时
# dates.hour
# 提取分钟
# dates.minute
# 提取秒
# dates.second
# 提取微秒
# dates.microsecond

print("年:", year)
print("月:", month)
print("日:", day)

3、日期和时间的算术运算

进行时间序列分析时，日期和时间的算术运算是一个重要的特性。

import pandas as pd

# 日期加减
date_plus_10_days = pd.Timestamp('2024-01-01') + pd.Timedelta(days=10)
print("Date plus 10 days:", date_plus_10_days)

# 时间差
time_difference = pd.Timestamp('2024-01-11') - pd.Timestamp('2024-01-01')
print("Time difference:", time_difference)

# 时间偏移
next_month_end = pd.Timestamp('2024-01-01') + pd.offsets.MonthEnd()
print("Next month end:", next_month_end)

# 创建时间序列数据
series = pd.Series([1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 
                   index=pd.date_range('2024-01-01', periods=10))

# 数据向后移动
shifted_series = series.shift(periods=1)
print("\nShifted Series:\n", shifted_series)

# 计算滑动窗口平均值
rolling_avg = series.rolling(window=5).mean()
print("\nRolling Window Average:\n", rolling_avg)

4、时区处理

将时间数据本地化到特定的时区，以及在不同时区之间进行转换。这在处理跨越多个地理位置的数据时特别有用。

import pandas as pd

# 创建时间序列
ts = pd.Series(pd.date_range('2021-01-01', periods=3, freq='H'))

# 本地化到 UTC 时区
ts_localized = ts.dt.tz_localize('UTC')
print("Localized to UTC:\n", ts_localized)

# 转换到中国上海时区
ts_converted = ts_localized.dt.tz_convert("Asia/Shanghai")
print("\nConverted to Asia/Shanghai:\n", ts_converted)

5、时间序列的重采样

时间序列的重采样（Resampling）是一种改变时间序列数据频率的常用技术。它可以是降采样（减少数据点，如从日到月）或升采样（增加数据点，如从月到日）。重采样通常用于聚合数据或使数据符合特定的时间频率。

参数说明：

使用示例：

import pandas as pd

# 创建日数据
daily_data = pd.Series(range(30), index=pd.date_range('2024-01-01', periods=30, freq='D'))

# 降采样：将日数据转换为月数据
monthly_data_downsampled = daily_data.resample('M').mean()  # 以月为单位计算平均值
print("Monthly Data (Downsampled):\n", monthly_data_downsampled)

# 创建月数据
monthly_data = pd.Series(range(3), index=pd.date_range('2024-01-01', periods=3, freq='M'))

# 升采样：将月数据转换为日数据
daily_data_upsampled = monthly_data.resample('D').asfreq()  # 转换为每日频率，空值填充为 NaN
print("\nDaily Data (Upsampled):\n", daily_data_upsampled)