深度学习框架Keras(1)_keras中文网址

keras英文官网：https://keras.io/getting_started/
keras中文官网：https://keras.io/zh/
注：强烈建议学Tensorflow2.0框架之前先把Keras手册看下。然而官网上内容太多，可能有点看不过来。我在读的时候边看边实现，把重点的以后会经常用到的函数API记录于此，另加一些个人笔记，供诸君参阅。

Keras是由纯python编写的基于theano/tensorflow的深度学习框架。可以把keras看做TensorFlow封装后的一个API。TensorFlow是比较底层的深度学习模型开发语言。Keras是基于TensorFlow的高级API，通常直接调用一些封装好的函数就可以实现某些功能，而tensorflow虽然比较底层，但是可以比较灵活地定义模型结构。就好比C语言是最基础的语言，C++在其基础上进行了高级封装。

Keras有两种类型的模型，序列模型（Sequential）和函数式模型（Model），函数式模型应用更为广泛，序贯模型是函数式模型的一种特殊情况。

• 序列模型（Sequential):单输入单输出，一条路通到底，层与层之间只有相邻关系，没有跨层连接。这种模型编译速度快，操作也比较简单
• 函数式模型（Model）：多输入多输出，层与层之间任意连接。这种模型编译速度慢。

初学者可以阅读下面这段代码，跑一跑结果，熟悉下流程。

# Classifier mnist

import numpy as np
np.random.seed(1337)  
from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Activation
from keras.optimizers import RMSprop

# 下载数据集
(X_train, y_train), (X_test, y_test) = mnist.load_data()

# 数据预处处理
X_train = X_train.reshape(X_train.shape[0], -1) / 255. 
X_test = X_test.reshape(X_test.shape[0], -1) / 255.  
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)

# 不使用model.add()，用以下方式也可以构建网络
model = Sequential([
    Dense(400, input_dim=784),
    Activation('relu'),
    Dense(10),
    Activation('softmax'),
])

# 定义优化器
rmsprop = RMSprop(lr=0.001, rho=0.9, epsilon=1e-08, decay=0.0)
model.compile(optimizer=rmsprop,
              loss='categorical_crossentropy',
              metrics=['accuracy']) # metrics赋值为'accuracy'，会在训练过程中输出正确率

# 用fit()来训练网路
print('Training ------------')
model.fit(X_train, y_train, epochs=4, batch_size=32)

print('\nTesting ------------')
# 评价训练出的网络
loss, accuracy = model.evaluate(X_test, y_test)

print('test loss: ', loss)
print('test accuracy: ', accuracy)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

1、Sequential模型

序列模型是多个网络层的线性堆叠，可以通过将网络层实例的列表传递给Sequential构造器，来创建一个Sequential模型：

from keras.models import Sequential
from keras.layers import Dense, Activation

model = Sequential([
    Dense(32, input_shape=(784,)),
    Activation('relu'),
    Dense(10),
    Activation('softmax'),
])
1
2
3
4
5
6
7
8
9

也可以简单地使用 .add() 方法将各层添加到模型中：

model = Sequential()
model.add(Dense(32, input_dim=784))
model.add(Activation('relu'))
1
2
3

model = Sequential()
model.add(Dense(32,input_shape(784,)))
# 下面一段等价代码
model = Sequential()
model.add(Dense(32, input_dim=784))
1
2
3
4
5

参数：

• 传递一个 input_shape 参数给第一层。它是一个表示尺寸的元组 (一个由整数或 None 组成的元组，其中 None 表示可能为任何正整数)。在 input_shape 中不包含数据的 batch 大小。
• 某些 2D 层，例如 Dense，支持通过参数 input_dim 指定输入尺寸，某些 3D 时序层支持 input_dim 和 input_length 参数。
• 如果你需要为你的输入指定一个固定的 batch 大小（这对 stateful RNNs 很有用），你可以传递一个 batch_size 参数给一个层。如果你同时将 batch_size=32 和 input_shape=(6, 8) 传递给一个层，那么每一批输入的尺寸就为 (32，6，8)。

1.1 Compile()

compile：用于配置训练模型

compile(optimizer, loss=**None**, metrics=**None**, loss_weights=**None**, sample_weight_mode=**None**, weighted_metrics=**None**, target_tensors=**None**)
1

参数说明：

• optimizer: 字符串（优化器名）或者优化器对象。
• loss: 字符串（目标函数名）或目标函数。 如果模型具有多个输出，则可以通过传递损失函数的字典或列表，在每个输出上使用不同的损失。。
• metrics: 在训练和测试期间的模型评估标准。通常你会使用 metrics = ['accuracy']。 要为多输出模型的不同输出指定不同的评估标准，还可以传递一个字典，如 metrics = {'output_a'：'accuracy'}。

异常： ValueError:如果optimizer, loss，metrics或者sample_weight_mode这些参数不合法。

# 多分类问题
model.compile(optimizer='rmsprop',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 二分类问题
model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

# 均方误差回归问题
model.compile(optimizer='rmsprop',
              loss='mse')

# 自定义评估标准函数
import keras.backend as K

def mean_pred(y_true, y_pred):
    return K.mean(y_pred)

model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy', mean_pred])
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

1.2 fit()

fit(): 以固定数量的轮次（数据集上的迭代）训练模型

fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0, steps_per_epoch=None, validation_steps=None)
1

参数

• x: 训练数据的 Numpy 数组。 如果模型中的输入层被命名，你也可以传递一个字典，将输入层名称映射到 Numpy 数组。
• y: 目标（标签）数据的 Numpy 数组。 如果模型中的输出层被命名，你也可以传递一个字典，将输出层名称映射到 Numpy 数组。
• batch_size: 整数或 None。每次梯度更新的样本数。
• epochs: 整数。训练模型迭代轮次。一个轮次是在整个 x 或 y 上的一轮迭代。请注意，与 initial_epoch 一起，epochs 被理解为 「最终轮次」。模型并不是训练了 epochs 轮，而是到第 epochs 轮停止训练。
• callbacks: 一系列的 keras.callbacks.Callback 实例。一系列可以在训练时使用的回调函数。
• validation_split: 在 0 和 1 之间浮动。用作验证集的训练数据的比例。模型将分出一部分不会被训练的验证数据，并将在每一轮结束时评估这些验证数据的误差和任何其他模型指标。验证数据是混洗之前 x 和y 数据的最后一部分样本中。
• validation_data: 元组 (x_val，y_val) 或元组 (x_val，y_val，val_sample_weights)，用来评估损失，以及在每轮结束时的任何模型度量指标。模型将不会在这个数据上进行训练。这个参数会覆盖 validation_split。
• shuffle: 布尔值（是否在每轮迭代之前混洗数据）或者 字符串 (batch)。
• sample_weight: 训练样本的可选 Numpy 权重数组，用于对损失函数进行加权（仅在训练期间）。您可以传递与输入样本长度相同的平坦（1D）Numpy 数组（权重和样本之间的 1：1 映射），或者在时序数据的情况下，可以传递尺寸为 (samples, sequence_length) 的 2D 数组，以对每个样本的每个时间步施加不同的权重。在这种情况下，你应该确保在 compile() 中指定 sample_weight_mode="temporal"。
• initial_epoch: 开始训练的轮次（有助于恢复之前的训练）。
• steps_per_epoch: 在声明一个轮次完成并开始下一个轮次之前的总步数（样品批次）。使用 TensorFlow 数据张量等输入张量进行训练时，默认值 None 等于数据集中样本的数量除以 batch 的大小，如果无法确定，则为 1。
• validation_steps: 只有在指定了 steps_per_epoch时才有用。停止前要验证的总步数（批次样本）。

返回

一个 History 对象。其 History.history 属性是连续 epoch 训练损失和评估值，以及验证集损失和评估值的记录（如果适用）。

异常

• RuntimeError: 如果模型从未编译。
• ValueError: 在提供的输入数据与模型期望的不匹配的情况下。

# 对于具有 2 个类的单输入模型（二进制分类）：

model = Sequential()
model.add(Dense(32, activation='relu', input_dim=100))
model.add(Dense(1, activation='sigmoid'))
model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

# 生成虚拟数据
import numpy as np
data = np.random.random((1000, 100))
labels = np.random.randint(2, size=(1000, 1))

# 训练模型，以 32 个样本为一个 batch 进行迭代
model.fit(data, labels, epochs=10, batch_size=32)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

1.3 evaluate()

在测试模式，返回误差值和评估标准值。 计算逐批次进行。

evaluate(x=None, y=None, batch_size=None, verbose=1, sample_weight=None, steps=None)
1

参数：

• x: 训练数据的 Numpy 数组
• y: 目标（标签）数据的 Numpy 数组
• batch_size: 整数或 None。每次提度更新的样本数。如果未指定，默认为 32.
• steps: 整数或 None。 声明评估结束之前的总步数（批次样本）。默认值 None。

返回： 标量测试误差（如果模型只有单个输出且没有评估指标）或标量列表（如果模型具有多个输出和/或指标。

1.4 predict()

predict: 为输入样本生成输出预测 计算逐批次进行。

predict(x, batch_size=None, verbose=0, steps=None)
1

参数

• x: 输入数据，Numpy 数组（或者如果模型有多个输入，则为 Numpy 数组列表）。
• batch_size: 整数。如未指定，默认为 32。
• verbose: 日志显示模式，0 或 1。
• steps: 声明预测结束之前的总步数（批次样本）。默认值 None。

返回

预测的 Numpy 数组。

异常

• ValueError: 如果提供的输入数据与模型的期望数据不匹配，或者有状态模型收到的数量不是批量大小的倍数。

2、使用函数式API的Model类模型

2.1 Model类继承

你可以通过继承Model类并在call方法中实现你自己的前向传播，以创建自己的完全定制化的模型(Model类继承API引入于Keras2.2.0)

# 这是一个用Model类继承的简单MLP的例子
import keras

class SimpleMLP(keras.Model):

    def __init__(self, use_bn=False, use_dp=False, num_classes=10):
        super(SimpleMLP, self).__init__(name='mlp')
        self.use_bn = use_bn
        self.use_dp = use_dp
        self.num_classes = num_classes

        self.dense1 = keras.layers.Dense(32, activation='relu')
        self.dense2 = keras.layers.Dense(num_classes, activation='softmax')
        if self.use_dp:
            self.dp = keras.layers.Dropout(0.5)
        if self.use_bn:
            self.bn = keras.layers.BatchNormalization(axis=-1)

    def call(self, inputs):
        x = self.dense1(inputs)
        if self.use_dp:
            x = self.dp(x)
        if self.use_bn:
            x = self.bn(x)
        return self.dense2(x)

model = SimpleMLP()
model.compile(...)
model.fit(...)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

网络层定义在 __init__(self, ...) 中，前向传播在 call(self, inputs) 中指定。在 call 中，你可以指定自定义的损失函数，通过调用 self.add_loss(loss_tensor) （就像你在自定义层中一样）。

2.2 Model类模型方法

在函数式 API 中，给定一些输入张量和输出张量，可以通过以下方式实例化一个 Model：

from keras.models import Model
from keras.layers import Input, Dense

a = Input(shape=(32,))
b = Dense(32)(a)
model = Model(inputs=a, outputs=b)
1
2
3
4
5
6

compile:用于配置训练模型

compile(optimizer, loss=None, metrics=None, loss_weights=None, sample_weight_mode=None, weighted_metrics=None, target_tensors=None)
1

参数

• optimizer: 字符串（优化器名）或者优化器实例。
• loss: 字符串（目标函数名）或目标函数。如果模型具有多个输出，则可以通过传递损失函数的字典或列表，在每个输出上使用不同的损失。
• metrics: 在训练和测试期间的模型评估标准。 通常你会使用 metrics = ['accuracy']。 要为多输出模型的不同输出指定不同的评估标准， 还可以传递一个字典，如 metrics = {'output_a'：'accuracy'}。
• loss_weights: 可选的指定标量系数（Python 浮点数）的列表或字典， 用以衡量损失函数对不同的模型输出的贡献。 模型将最小化的误差值是由 loss_weights 系数加权的加权总和误差。 如果是列表，那么它应该是与模型输出相对应的 1:1 映射。 如果是张量，那么应该把输出的名称（字符串）映到标量系数。
• sample_weight_mode: 如果你需要执行按时间步采样权重（2D 权重），请将其设置为 temporal。 默认为 None，为采样权重（1D）。 如果模型有多个输出，则可以通过传递 mode 的字典或列表，以在每个输出上使用不同的 sample_weight_mode。
• weighted_metrics: 在训练和测试期间，由 sample_weight 或 class_weight 评估和加权的度量标准列表。

异常

• ValueError: 如果 optimizer, loss, metrics 或 sample_weight_mode 这些参数不合法。

fit: 以给定数量的轮次（数据集上的迭代）训练模型

fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0, steps_per_epoch=None, validation_steps=None)
1

返回

一个 History 对象。其 History.history 属性是连续 epoch 训练损失和评估值，以及验证集损失和评估值的记录（如果适用）。

异常

• RuntimeError: 如果模型从未编译。
• ValueError: 在提供的输入数据与模型期望的不匹配的情况下。

evaluate: 在测试模式下返回模型的误差值和评估标准值。

evaluate(x=None, y=None, batch_size=None, verbose=1, sample_weight=None, steps=None)
1

predict: 为输入样本生成输出预测

predict(x, batch_size=None, verbose=0, steps=None)
1

返回

预测的 Numpy 数组（或数组列表）。

异常

• ValueError: 在提供的输入数据与模型期望的不匹配的情况下， 或者在有状态的模型接收到的样本不是 batch size 的倍数的情况下。

下篇将会讲网络层layers、编写自己的keras层、数据预处理、损失函数losses、评价函数metrics、优化器optimizers、激活函数Activations、回调函数等。