Course2-Week1-神经网络

本文介绍: 神经网络的数学推导、神经网络的TensorFlow 代码。问题：畅销品预测、图像感知、手写数字识别、烤咖啡豆。

1[2]。

图2-1-10：给出了对每个神经元的硬编码。

图2-1-11：将每一层神经元的计算封装成一个 Dense(a_in,w,b,g)函数，再将所有层封装成一个网络 sequential()。

图2-1-12：使用矩阵运算优化 Dense()函数，使整个神经网络的运行效率大大提高。

图2-1-10 “烤咖啡豆”问题-每个神经元的计算

图2-1-11 “烤咖啡豆”问题-封装层、封装整个网络

图2-1-12 “烤咖啡豆”问题-将fo r 循环改成矩阵乘法

图2-1-12中：

左侧还有一些“数字列表”，右侧全是二维数组。也就是进行了“向量化”。

np.matmul()函数是矩阵乘法函数，具体的矩阵乘法过程见“线性代数”知识，这里省略。

Z = np.matmul(AT,W)等价于 Z = AT @ W，也就是说 @就是NumPy中的矩阵乘法符号。

最后想再强调一下“矢量化”的好处。神经网络的规模之所以可以越来越大，得益于“矢量化”，这保证神经网络可以使用矩阵运算高效地部署。这是因为并行计算硬件，比如GPU或者强大的CPU，非常擅长做非常大的矩阵运算。

4.4 代码 实现–手写数字识别

现在回到手写数字识别问题，显然代码如下：

# 手写数字识别-代码整合
# 定义训练集
x = np.array([[0..., 245, ..., 17],   # 1的训练图片
              [0..., 200, ..., 184])  # 0的训练图片
y = np.array([1,0])

# 定义神经网络
layer_1 = Dense(units=25, activation='sigmoid')  # 定义隐藏层1
layer_2 = Dense(units=15, activation='sigmoid')  # 定义隐藏层2
layer_3 = Dense(units=1,  activation='sigmoid')  # 定义输出层
model = Sequential([layer_1, layer_2, layer_3])  # 连接三层
###################也可以将上述四行合并####################
# model = Sequential([
#         Dense(units=25, activation='sigmoid'),  # 隐藏层1
#         Dense(units=15, activation='sigmoid'),  # 隐藏层2
#         Dense(units=1,  activation='sigmoid')]) # 输出层
#########################################################

# 编译并训练网络
model.compile(...)  # 编译整个神经网络，下周具体介绍
model.fit(x,y)      # 训练数据集，下周具体介绍

# 预测并判决
a_last = model.predict(x_new)
if a_last &gt;= 0.5:
    yhat = 1
else:
    yhat = 0

本节 Quiz：

For the the fol low in g code, will th is co de define a neural network wi th how many layers?
Answer: 4
model = Sequential([
Dense(units=25, activation="sigmoid"),
Dense(units=15, activation="sigmoid"),
Dense(units=10, activation="sigmoid"),
Dense(units=1, activation="sigmoid")])
How do you define the sec ond layer of a neural network t hat has 4 neurons and a si gmoid ac tivation?
× Dense(units=[4], activation=['sigmoid'])
× Dense(layer=2, units=4, activation = *sigmoid')
√ Dense(units=4, activation='sigmoid)
× Dense(units=4)

If the input features are temperature (in Celsius) and duration (in minutes), how do you write the code for the first feature vector x [200.0, 17.0]?
× x = np.array([[200.0], [17.0])
√ x = np.array([[200.0, 17.0]])
× x = np.array([[200.0 + 17.0]])
× x = np.array([['200.0', '17.0'])

本节 Quiz：

According to the lecture, how do you ca lc ulate the ac tivation of the third neuron in the fi rst layer using NumPy?
z1_3 = np.dot(w1_3, x) + b
a1_3 = sigmoid(z1_3)          √
z1_3 = w1_3*x + b
a1_3 = sigmoid(z1_3)          ×
layer_1 = Dense(units=3, activation='sigmoid')
a_1 = layer_1(x)              ×
According to the lecture, when coding up the numpy array W, where would you place the w parameters for each neuron?
× In the rows of W.
√ In the columns of W.

For the code above in the “dense” function that defines a sin gle layer of neurons, how many times does the c ode go th rough the “for loop”? Note that W has 2 rows and 3 columns.
× 2 times
× 6 times
√ 3 times
× 5 times

5. AGI漫谈

最后一节放松一下，来谈谈“AGI(Artifical General Intel ligence, 通用人工智能)”。老师一直梦想着构建一个和人一样聪明的AI系统，这也是全世界人工智能领域的愿景，但是前路漫漫，不知道几十年、上百年能否实现。不过，如今AGI的目标是构建一个“和人一样聪明的AI”，这让人兴奋但同时又有很多不切实际的炒作，比如《终结者》系列电影中的“天网”要灭绝人类，这引起一部分人对于AI的恐慌。但其实AI主要包括两方面完全不一样的内容：

ANI(Artifical Narrow Intel ligence, 狭义人工智能)：一次只做一件事的AI。比如智能扬声器、自动驾驶汽车、网络搜索、用于特定农场或工厂的AI等。过去几年间，ANI取得了巨大的进步并带动了巨大的社会经济效益，常见于生活的方方面面。

AGI(Artifical General Intel ligence, 通用人工智能)：可以像人类一样做任何事的AI。

总结：ANI的成功带动了AI的发展，但是很难说推动了AGI的进步。

并且，即使从“模拟人脑”的角度来看，要想实现真正的AGI依旧非常困难，主要有两个原因：

目前的神经元模型非常简单，实际上人脑神经元的工作机制要复杂得多。

从医学角度来说，我们也不完全了解人脑是如何工作的。

总结：老师认为仅通过“模拟大脑神经元”的方式，就实现了AGI，是非常困难的。
注：这大概也是现在改称“深度学习”的原因。

虽然不用恐慌，但是我们就没有实现AGI的可能了吗？也不是，比如下面的几个实验就显示出，人类大脑的某个区域，即使是非常小的一块区域，都具有惊人的适应性、可塑性：

图2-1-13 大脑的可塑性非常强

使用“听觉皮层”看：将大脑的“听觉皮层”和原有的神经切断，再连接上图像信号，那么一段时间后，该区域皮层就“学会了看”。用于感受触觉的“体感皮层”也是同理。

使用舌头看。头上安装摄像机，并将其拍摄到的灰度值映射到舌头上的电压矩阵。给盲人带上学习一段时间，盲人就可以“看见”物体。

人体声纳。训练人类发出“哒哒声”(类似于弹舌)，并观察声音是如何在环境中反射的。经过一段时间的训练，有些人可以实现“回声定位”。

方向感知。带上一个腰带，该腰带中指向北方的蜂鸣器会缓慢震动，一段时间后，就会一直知道北方在哪里(带着腰带)，而不是再去首先感受蜂鸣器振动。

植入第三只眼。一段时间后，青蛙就会熟练使用第三只眼。

这一系列实验表明，大脑的许多区域，其功能仅取决于输入的数据，换言之，这些区域都有一个“通用算法”。如果我们能了解这一小块区域的算法，我们就能用计算机进行模拟，进而可能会创造出AGI。但显然这是一条很困难的道路，因为我们不确定大脑是不是就是一堆算法，就算是，我们也不知道这个算法是什么，但希望通过我们的努力在某一个可以接近这个“算法”。