Keras读书笔记----其他重要模块_keras模型列出所有variable

• mean_squared_error或mse
• mean_absolute_error或mae
• mean_absolute_percentage_error或mape
• mean_squared_logarithmic_error或msle
• squared_hinge
• hinge
• binary_crossentropy（亦称作对数损失， logloss）
• categorical_crossentropy：亦称作多类的对数损失，注意使用该目标函数时，需要将标签转化为形如 (nb_samples, nb_classes) 的二值序列
• sparse_categorical_crossentrop：如上，但接受稀疏标签。注意，使用该函数时仍然需要你的标签与输出值的维度相同，你可能需要在标签数据上增加一个维度： np.expand_dims(y,-1)
• kullback_leibler_divergence:从预测值概率分布Q到真值概率分布P的信息增益,用以度量两个分布的差异.
• poisson：即 (predictions - targets * log(predictions)) 的均值
• cosine_proximity：即预测值与真实标签的余弦距离平均值的相反数

• lr：大于0的浮点数，学习率
• momentum：大于0的浮点数，动量参数
• decay：大于0的浮点数，每次更新后的学习率衰减值
• nesterov：布尔值，确定是否使用Nesterov动量

• lr：大于0的浮点数，学习率
• rho：大于0的浮点数
• epsilon：大于0的小浮点数，防止除0错误

2.3. Adagrad

2.4. Adadelta

2.5. Adam

from keras.layers.core import Activation, Dense
model.add(Dense(64))
model.add(Activation('tanh'))
#等价于
model.add(Dense(64, activation='tanh'))

也可以通过传递一个逐元素运算的Theano/TensorFlow函数来作为激活函数：
from keras import backend as K
def tanh(x):
    return K.tanh(x)
model.add(Dense(64, activation=tanh))
model.add(Activation(tanh)

• log_dir：保存日志文件的地址，该文件将被TensorBoard解析以用于可视化
• histogram_freq：计算各个层激活值直方图的频率（每多少个epoch计算一次），如果设置为0则不计算。

5.1. 可用预定义

• binary_accuracy: 对二分类问题,计算在所有预测值上的平均正确率
• categorical_accuracy:对多分类问题,计算在所有预测值上的平均正确率
• sparse_categorical_accuracy:与 categorical_accuracy 相同,在对稀疏的目标值预测时有用
• top_k_categorical_accracy: 计算top-k正确率,当预测值的前k个值中存在目标类别即认为预测正确
• mean_squared_error:计算预测值与真值的均方差
• mean_absolute_error:计算预测值与真值的平均绝对误差
• mean_absolute_percentage_error:计算预测值与真值的平均绝对误差率
• mean_squared_logarithmic_error:计算预测值与真值的平均指数误差
• hinge:计算预测值与真值的hinge loss
• squared_hinge:计算预测值与真值的平方hinge loss
• categorical_crossentropy:计算预测值与真值的多类交叉熵(输入值为二值矩阵,而不是向量)
• sparse_categorical_crossentropy:与多类交叉熵相同,适用于稀疏情况
• binary_crossentropy:计算预测值与真值的交叉熵
• poisson:计算预测值与真值的泊松函数值
• cosine_proximity:计算预测值与真值的余弦相似性
• matthews_correlation:计算预测值与真值的马氏距离
• fbeta_score:计算F值,即召回率与准确率的加权调和平均,该函数在多标签分类(一个样本有多个标签)时有用,如果只使用准确率作为度量,模型只要把所有输入分类为"所有类别"就可以获得完美的准确率,为了避免这种情况,度量指标应该对错误的选择进行惩罚. F-beta分值(0到1之间)通过准确率和召回率的加权调和平均来更好的度量.当beta为1时,该指标等价于F-measure,beta<1时,模型选对正确的标签更加重要,而beta>1时,模型对选错标签有更大的惩罚.

import keras.backend as K
def mean_pred(y_true, y_pred):
    return K.mean(y_pred)
def false_rates(y_true, y_pred):
    false_neg = ...
    false_pos = ...
    return {
        'false_neg': false_neg,
        'false_pos': false_pos,
    }
model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy', mean_pred, false_rates])

6. 初始化方法Initialization

6.1. 预定义初始化方法

6.2. 自定义初始化方法

• W_regularizer ：施加在权重上的正则项，为 WeightRegularizer 对象
• b_regularizer ：施加在偏置向量上的正则项，为 WeightRegularizer 对象
• activity_regularizer ：施加在输出上的正则项，为 ActivityRegularizer 对象

• l1(l=0.01)： L1正则项，又称LASSO
• l2(l=0.01)： L2正则项，又称权重衰减或Ridge
• l1l2(l1=0.01, l2=0.01)： L1-L2混合正则项, 又称ElasticNet
• activity_l1(l=0.01)： L1激活值正则项
• activity_l2(l=0.01)： L2激活值正则项
• activity_l1l2(l1=0.01, l2=0.01)： L1+L2激活值正则项

• W_constraint ：对主权重矩阵进行约束
• b_constraint ：对偏置向量进行约束

• maxnorm(m=2)：最大模约束
• nonneg()：非负性约束
• unitnorm()：单位范数约束, 强制矩阵沿最后一个轴拥有单位范数

9.1. 可用的模型

from keras.applications.resnet50 import ResNet50
from keras.preprocessing import image
from keras.applications.resnet50 import preprocess_input, decode_predictions
import numpy as np
model = ResNet50(weights='imagenet')
img_path = 'elephant.jpg'
img = image.load_img(img_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)
preds = model.predict(x)
# decode the results into a list of tuples (class, description, probability)
# (one such list for each sample in the batch)
print('Predicted:', decode_predictions(preds, top=3)[0])
# Predicted: [(u'n02504013', u'Indian_elephant', 0.82658225), (u'n01871265', u'tusker', 0.1122357), 
#(u'n02504458', u'African_elephant', 0.061040461)]

from keras.applications.vgg16 import VGG16
from keras.preprocessing import image
from keras.applications.vgg16 import preprocess_input
import numpy as np
model = VGG16(weights='imagenet', include_top=False)
img_path = 'elephant.jpg'
img = image.load_img(img_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)
features = model.predict(x)

10. 常用数据集Dataset

10.1. CIFAR10 小图片分类数据集

from keras.datasets import cifar10
(X_train, y_train), (X_test, y_test) = cifar10.load_data()

10.2. CIFAR100 小图片分类数据库

from keras.datasets import cifar100
(X_train, y_train), (X_test, y_test) = cifar100.load_data(label_mode='fine')

from keras.datasets import imdb
(X_train, y_train), (X_test, y_test) = imdb.load_data(path="imdb_full.pkl",
	nb_words=None,
	skip_top=0,
	maxlen=None,
	test_split=0.1)
	seed=113,
	start_char=1,
	oov_char=2,
	index_from=3)

10.4. 路透社新闻主题分类

from keras.datasets import reuters
(X_train, y_train), (X_test, y_test) = reuters.load_data(path="reuters.pkl",
	nb_words=None,
	skip_top=0,
	maxlen=None,
	test_split=0.2,
	seed=113,
	start_char=1,
	oov_char=2,
	index_from=3)

from keras.datasets import mnist
(X_train, y_train), (X_test, y_test) = mnist.load_data()

from keras.utils.visualize_util import plot
plot(model, to_file='model.png')