时间序列预测18：ConvLSTM 实现用电量/发电量预测

---

【时间序列预测/分类】 全系列60篇由浅入深的博文汇总：传送门

---

接上文，本文介绍了ConvLSTM模型实现用电量/发电量预测。

---

LSTM 处理用电量/发电量预测任务的文章：

【Part1】Encoder-Decoder LSTM 模型 实现用电量/发电量预测
【Part2】CNN-LSTM 模型 实现用电量/发电量预测
【Part3】本文

---

---

1. ConvLSTM

1.1 CNN 模型

CNN-LSTM方法的进一步扩展是执行CNN的卷积（例如CNN如何读取输入序列数据）作为LSTM的一部分用于每个时间步。这种组合称为ConvLSTM，与CNN-LSTM一样，它也用于时空数据。与直接读取数据以计算内部状态和状态转换的LSTM不同，与解释CNN模型输出的CNN-LSTM也不同，ConvLSTM直接使用卷积作为读取LSTM单元输入的一部分。Keras库提供了ConvLSTM2D类，该类支持二维数据的ConvLSTM模型。它可以配置为一维多变量时间序列预测。默认情况下，ConvLSTM2D类要求输入数据的形状为：[samples，timesteps，rows，cols，channels]。

其中数据的每个时间步均定义为（行×列）数据点的图像。我们正在处理总功耗的一维序列，如果我们假设我们使用两周的数据作为输入，则行为1，列为14。ConvLSTM将一次读取这些数据，即LSTM读取一个14天的时间步长，并在这些时间步长上进行卷积。

在我们的任务中，可以将14天分成两个子序列，每个子序列的长度为7天。然后，ConvLSTM可以读取两个时间步长，并对每个时间步长中的7天数据执行CNN处理。因此，对于此问题的选定框架，ConvLSTM2D的输入shape为：[n，2，1，7，1]。参数说明：

• 样本（samples）：n，表示训练数据集中的样本数。
• 时间步长（timesteps）：2，表示将一个窗口宽度为14天的采样数据分为两个子序列。
• 行（rows）：1，表示每个子序列的一维形状，即有多少行。
• 列（cols）：7，表示每个子序列，有多少列。
• 通道（channels）：1，在图像识别任务中的概念，通道数。在时间序列预测任务中其实就是特征数（features），这个概念在之前的文章中反复提及强调。因为本例的业务需求是通过日总功耗来预测下周的日总功耗，所以通道数（特征数）为1，即代表日总功耗。如果要添加其他的特征，这个尺寸要做相应改变。再看下数据集情况，就一目了然了。
  
  还可以探索其他配置，例如使用前21天的总功耗作为输入，并将其分为3个子序列，和/或提供所有八个功能或通道作为输入。ConvLSTM2D的数据输入要求必须将训练数据集重塑为[样本，时间步长，行，列，通道]（[samples, timesteps, rows, cols, channels]）的结构。对比CNN-LSTM完整代码，需要在此基础上做如下修改：

1. 重塑训练样本的shape：

train_x = train_x.reshape((train_x.shape[0], n_steps, 1, n_length, n_features))
1

2. 设定ConvLSTM模型的输入尺寸参数：

model.add(ConvLSTM2D(filters=64, kernel_size=(1,3), activation='relu',input_shape=(sw_width, 1, n_length, n_features)))
model.add(Flatten())
1
2

3. 重塑测试样本的shape：

input_x = input_x.reshape((1, sw_width, 1, n_length, 1))
1

---

1.2 完整代码

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 设置中文显示
plt.rcParams['font.sans-serif'] = ['Microsoft JhengHei']
plt.rcParams['axes.unicode_minus'] = False

import math
import sklearn.metrics as skm
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense
from tensorflow.keras.layers import RepeatVector, TimeDistributed
from tensorflow.keras.layers import ConvLSTM2D


def split_dataset(data):
    '''
    该函数实现以周为单位切分训练数据和测试数据
    '''
    # data为按天的耗电量统计数据，shape为(1442, 8)
    # 测试集取最后一年的46周（322天）数据，剩下的159周（1113天）数据为训练集，以下的切片实现此功能。
    train, test = data[1:-328], data[-328:-6]
    train = np.array(np.split(train, len(train)/7)) # 将数据划分为按周为单位的数据
    test = np.array(np.split(test, len(test)/7))
    return train, test

def evaluate_forecasts(actual, predicted):
    '''
    该函数实现根据预期值评估一个或多个周预测损失
    思路：统计所有单日预测的 RMSE
    '''
    scores = list()
    for i in range(actual.shape[1]):
        mse = skm.mean_squared_error(actual[:, i], predicted[:, i])
        rmse = math.sqrt(mse)
        scores.append(rmse)
    
    s = 0 # 计算总的 RMSE
    for row in range(actual.shape[0]):
        for col in range(actual.shape[1]):
            s += (actual[row, col] - predicted[row, col]) ** 2
    score = math.sqrt(s / (actual.shape[0] * actual.shape[1]))
    print('actual.shape[0]:{}, actual.shape[1]:{}'.format(actual.shape[0], actual.shape[1]))
    return score, scores

def summarize_scores(name, score, scores):
    s_scores = ', '.join(['%.1f' % s for s in scores])
    print('%s: [%.3f] %s\n' % (name, score, s_scores))
    
def sliding_window(train, sw_width=7, n_out=7, in_start=0):
    '''
    该函数实现窗口宽度为7、滑动步长为1的滑动窗口截取序列数据
    '''
    data = train.reshape((train.shape[0] * train.shape[1], train.shape[2])) # 将以周为单位的样本展平为以天为单位的序列
    X, y = [], []
    
    for _ in range(len(data)):
        in_end = in_start + sw_width
        out_end = in_end + n_out
        
        # 保证截取样本完整，最大元素索引不超过原序列索引，则截取数据；否则丢弃该样本
        if out_end < len(data):
            # 训练数据以滑动步长1截取
            train_seq = data[in_start:in_end, 0]
            train_seq = train_seq.reshape((len(train_seq), 1))
            X.append(train_seq)
            y.append(data[in_end:out_end, 0])
        in_start += 1
        
    return np.array(X), np.array(y)

def conv_lstm_model(train, sw_width, n_steps, n_length, in_start=0, verbose_set=0, epochs_num=20, batch_size_set=4):
    '''
    该函数定义 Encoder-Decoder LSTM 模型
    '''
    train_x, train_y = sliding_window(train, sw_width, in_start=0)
    n_timesteps, n_features, n_outputs = train_x.shape[1], train_x.shape[2], train_y.shape[1]
    
    train_x = train_x.reshape((train_x.shape[0], n_steps, 1, n_length, n_features))
    train_y = train_y.reshape((train_y.shape[0], train_y.shape[1], 1))
    
    model = Sequential()
    model.add(ConvLSTM2D(filters=64, kernel_size=(1,3), activation='relu',
                         input_shape=(n_steps, 1, n_length, n_features)))
    model.add(Flatten())
    model.add(RepeatVector(n_outputs))
    model.add(LSTM(200, activation='relu', return_sequences=True))
    model.add(TimeDistributed(Dense(100, activation='relu')))
    model.add(TimeDistributed(Dense(1)))
    
    model.compile(loss='mse', optimizer='adam', metrics=['accuracy'])
    print(model.summary())
    
    model.fit(train_x, train_y,
              epochs=epochs_num, batch_size=batch_size_set, verbose=verbose_set)
    return model

def forecast(model, pred_seq, sw_width, n_length, n_steps):
    '''
    该函数实现对输入数据的预测
    '''
    data = np.array(pred_seq)
    data = data.reshape((data.shape[0]*data.shape[1], data.shape[2]))
    
    input_x = data[-sw_width:, 0] # 获取输入数据的最后一周的数据
    input_x = input_x.reshape((1, n_steps, 1, n_length, 1))
    
    yhat = model.predict(input_x, verbose=0) # 预测下周数据
    yhat = yhat[0] # 获取预测向量
    return yhat

def evaluate_model(model, train, test, sd_width, n_length, n_steps):
    '''
    该函数实现模型评估
    '''
    history_fore = [x for x in train]
    predictions = list() # 用于保存每周的前向验证结果；
    for i in range(len(test)):
        yhat_sequence = forecast(model, history_fore, sd_width, n_length, n_steps) # 预测下周的数据
        predictions.append(yhat_sequence) # 保存预测结果
        history_fore.append(test[i, :]) # 得到真实的观察结果并添加到历史中以预测下周
    
    predictions = np.array(predictions) # 评估一周中每天的预测结果
    score, scores = evaluate_forecasts(test[:, :, 0], predictions)
    return score, scores

def model_plot(score, scores, days, name):
    '''
    该函数实现绘制RMSE曲线图
    '''
    plt.figure(figsize=(8,6), dpi=150)
    plt.plot(days, scores, marker='o', label=name)
    plt.grid(linestyle='--', alpha=0.5)
    plt.ylabel(r'$RMSE$', size=15)
    plt.title('Conv-LSTM 模型预测结果',  size=18)
    plt.legend()
    plt.show()
    
def main_run(dataset, sw_width, days, name, in_start, verbose, epochs, batch_size, n_steps, n_length):
    '''
    主函数：数据处理、模型训练流程
    '''
    # 划分训练集和测试集
    train, test = split_dataset(dataset.values)
    # 训练模型
    model = conv_lstm_model(train, sw_width,  n_steps, n_length, in_start, verbose_set=0, epochs_num=20, batch_size_set=4)
    # 计算RMSE
    score, scores = evaluate_model(model, train, test, sw_width, n_length, n_steps)
    # 打印分数
    summarize_scores(name, score, scores)
    # 绘图
    model_plot(score, scores, days, name)
        
    
if __name__ == '__main__':
    
    dataset = pd.read_csv('household_power_consumption_days.csv', header=0, 
                   infer_datetime_format=True, engine='c',
                   parse_dates=['datetime'], index_col=['datetime'])
    
    days = ['sun', 'mon', 'tue', 'wed', 'thr', 'fri', 'sat']
    name = 'Conv-LSTM'
    
    # 定义序列的数量和长度
    '''
    n_steps：子序列划分的数量，本例为2，将14天的数据划分为两个7的子序列；
    n_length：子序列每行的元素数，即列数。
    '''
    n_steps, n_length = 2, 7
    
    sliding_window_width= n_length * n_steps
    input_sequence_start=0
    
    epochs_num=20
    batch_size_set=16
    verbose_set=0
    
    
    main_run(dataset, sliding_window_width, days, name, input_sequence_start,
             verbose_set, epochs_num, batch_size_set, n_steps, n_length)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181

输出：

Model: "sequential_12"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv_lst_m2d_2 (ConvLSTM2D)  (None, 1, 5, 64)          50176     
_________________________________________________________________
flatten_3 (Flatten)          (None, 320)               0         
_________________________________________________________________
repeat_vector_8 (RepeatVecto (None, 7, 320)            0         
_________________________________________________________________
lstm_16 (LSTM)               (None, 7, 200)            416800    
_________________________________________________________________
time_distributed_16 (TimeDis (None, 7, 100)            20100     
_________________________________________________________________
time_distributed_17 (TimeDis (None, 7, 1)              101       
=================================================================
Total params: 487,177
Trainable params: 487,177
Non-trainable params: 0
_________________________________________________________________
None
actual.shape[0]:46, actual.shape[1]:7
Conv-LSTM: [382.156] 391.3, 386.4, 340.5, 388.9, 364.4, 309.1, 473.6
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

运行示例总结测试集的性能。实验表明，使用两个卷积层使模型比仅使用单个层更稳定。可以看到，在这种情况下，该模型表现较好，总体RMSE得分约为382千瓦。

---

扩展

• 输入大小：探索模型的输入天数，例如3天，21天，30天等等。
• 模型调整：调整模型的结构和超参数，并进一步提升模型性能。
• 数据缩放：探索是否可以使用数据缩放（例如标准化和规范化）来改善LSTM模型的性能。
• 学习诊断：使用诊断（例如训练的学习曲线和验证损失以及均方误差）来帮助调整LSTM模型的结构和超参数。

---

总结

三篇文章介绍了如何开发LSTM来进行家庭用电量的多步时间序列预测。主要有以下内容：

• 如何开发和评估用于多步时间序列预测的单变量和多变量Encoder-Decoder LSTM 模型。
• 如何开发和评估用于多步时间序列预测的CNN-LSTM Encoder-Decoder 模型。
• 如何开发和评估用于多步时间序列预测的ConvLSTM Encoder-Decoder 模型。

---

关于时间序列预测用电量预测任务先告一段落，下篇文章开始介绍时间序列分类任务，比如人类行为识别，车辆驾驶行为识别。

---