时间:2017-06-07

编者按:本文作者王川,投资人,中科大少年班校友,现居加州硅谷,个人微信号9935070,微博 @ 硅谷王川。36 氪经授权转载自其个人微信公众号 investguru。查看本系列文章点这里

一、

计算速度和数据规模的大幅度提高,也引导出更多算法上的改进。

在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功。多闭目养神,少乱说乱动。 多关注主要矛盾,少关心细枝末节。

2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一般最多 1-4%的比例, 可以同时处于激活状态。比例更高时,大脑则无法提供相应的能量需求。

神经网络的模型中,通过所谓激励函数(activation function), 根据上一层神经元输入值来计算输出值。

最典型的传统激励函数,sigmoid function,输出值在 0 和 1 之间,也就意味着神经元平均下来,每时每刻都在使用一半的力量。

关于深度学习,这可能是你最容易读进去的科普贴了(六)

这种高强度能量需求,对于普通生物体而言,是无法持续的。

一个有意思的比方是鳄鱼。真实生活中的鳄鱼,和动物世界的纪录片中纵身一跃,凶猛捕食的形象大相径庭。

鳄鱼90%的时间是一动不动的,(一个近距离观察者常会把它误认为是石雕)剩下5%的时间用于求偶交配,5%的时间用于觅食。

关于深度学习,这可能是你最容易读进去的科普贴了(六)

鳄鱼的低能耗绿色生活方式,使它成为两栖动物界的寿星。虽然野生鳄鱼的平均寿命缺乏严格科学的统计,但是被捕获后人工饲养的鳄鱼中,有不少个体,记录在案的寿命超过了七十岁。

二、

2011 年,加拿大的蒙特利尔大学学者 Xavier Glorot 和 Yoshua Bengio 发表论文,“Deep Sparse Rectifier Neural Networks”。(深而稀疏的修正神经网络).

论文的算法中使用一种称为“修正线性单元”(REctified Linear Unit,又称 RELU)的激励函数。用数学公式表达:rectifier (x) = max (0, x ). 

关于深度学习,这可能是你最容易读进去的科普贴了(六)

对于 RELU 而言,如果输入为负值,输出为零。否则输入和输出相等。

换而言之,对于特定的输入,统计上有一半神经元是没有反应,保持沉默的。

使用 RELU 的含有三个隐层的神经网络模型,被用来测试于四个不同的经典的图像识别问题。和使用别的激励函数的模型相比,RELU 不仅识别错误率普遍更低,而且其有效性,对于神经网络是否进行“预先训练”过并不敏感。

RELU 的优势还有下面三点:

  1. 传统的激励函数,计算时要用指数或者三角函数,计算量要比简单的RELU 至少高两个数量级.

  2. RELU 的导数是常数, 非零即一, 不存在传统激励函数在反向传播计算中的"梯度消失问题".

  3. 由于统计上,约一半的神经元在计算过程中输出为零,使用 RELU 的模型计算效率更高,而且自然而然的形成了所谓 "稀疏表征" (sparse representation), 用少量的神经元可以高效, 灵活,稳健地表达抽象复杂的概念.