吴恩达机器学习L1W3L05-逻辑回归的成本函数

目标

在本实验中，你将:

• 检查执行情况并利用成本函数进行逻辑回归。

import numpy as np
%matplotlib widget
import matplotlib.pyplot as plt
from lab_utils_common import  plot_data, sigmoid, dlc
plt.style.use('./deeplearning.mplstyle')
1
2
3
4
5

数据集

X_train = np.array([[0.5, 1.5], [1,1], [1.5, 0.5], [3, 0.5], [2, 2], [1, 2.5]])  #(m,n)
y_train = np.array([0, 0, 0, 1, 1, 1])                                           #(m,)
1
2

我们将使用一个辅助函数来绘制这些数据。标签为$y=1$的数据点显示为红色叉，而标签为$y=0$的数据点显示为蓝色圆。

fig,ax = plt.subplots(1,1,figsize=(4,4))
plot_data(X_train, y_train, ax)

# Set both axes to be from 0-4
ax.axis([0, 4, 0, 3.5])
ax.set_ylabel('$x_1$', fontsize=12)
ax.set_xlabel('$x_0$', fontsize=12)
plt.show()
1
2
3
4
5
6
7
8

成本函数

在之前的实验中，您开发了“逻辑损失”函数。回想一下，loss被定义为应用于一个示例。在这里，您将损失组合成包含所有示例的成本。
回想一下，对于逻辑回归，成本函数是这样的形式
$$J(\mathbf{w},b)=\frac{1}{m}\sum _{i=0}^{m-1}\left[loss(f_{\mathbf{w},b}({\mathbf{x}}^{(i)}),y^{(i)})\right]\text{\hspace{1em}(1)}$$

$loss(f_{\mathbf{w},b}({\mathbf{x}}^{(i)}),y^{(i)})$ 是一个单数据点成本
$$loss(f_{\mathbf{w},b}({\mathbf{x}}^{(i)}),y^{(i)})=-y^{(i)}\log \left(f_{\mathbf{w},b}\left({\mathbf{x}}^{(i)}\right)\right)-\left(1-y^{(i)}\right)\log \left(1-f_{\mathbf{w},b}\left({\mathbf{x}}^{(i)}\right)\right)\text{\hspace{1em}(2)}$$
式中，m为数据集中的训练样例个数，
f w , b ( x ( i ) ) = g ( z ( i ) ) z ( i ) = w ⋅ x ( i ) + b g ( z ( i ) ) = 1 1 + e − z ( i )

$$\begin{align} f_{\mathbf{w},b}(\mathbf{x^{(i)}}) &= g(z^{(i)})\tag{3} \\ z^{(i)} &= \mathbf{w} \cdot \mathbf{x}^{(i)}+ b\tag{4} \\ g(z^{(i)}) &= \frac{1}{1+e^{-z^{(i)}}}\tag{5} \end{align}$$ fw,b​(x(i))z(i)g(z(i))​=g(z(i))=w⋅x(i)+b=1+e−z(i)1​​(3)(4)(5)​

代码描述

'compute_cost_logistic’算法遍历所有示例，计算每个示例求和的损失。
注意变量X和y不是标量值，而是形状分别为($m,n$)和(