最近在阅读 Airbnb 的论文 Applying Deep Learning to Airbnb Search。阅读的过程中，我发现作者在谈及特征归一化的必要性时，有如下表述：

Feeding values that are outside the usual range of features can cause large gradients to back propagate. This can permanently shut of activation functions like ReLU due to vanishing gradients.

翻译成中文：

神经网络接受异于常值范围的输入时，在反向传播过程中会产生大的梯度。这种大的梯度，会因梯度消失而永久关闭诸如 ReLU 的激活函数。

我感到有些疑惑。ReLU 正是为了解决梯度消失问题而设计的。为什么这里会提到「因梯度消失而永久关闭诸如 ReLU 的激活函数」呢？

此篇来讨论这个问题。

近日被邀请在知乎上回答问题。鉴于这个问题已经被答烂了，所以将其存档在博客，以供后享。

在前作讨论基于比较的排序算法的复杂度下界时，我们提及了二分搜索算法。

二分搜索是一个效率很高的算法。一个良好实现的二分搜索算法，其时间复杂度可以达到 $\Theta(\log n)$，而空间复杂度只有 $O(1)$。特别地，二分搜索算法的描述十分简洁。作为程序员，总是喜欢 clean and powerful 的东西。因此，二分搜索无疑对程序员有巨大的吸引力。

按照 Knuth 的说法，「尽管第一个二分搜索算法早在1946年就被发表，但第一个没有bug的二分搜索算法却是在12年后才被发表出来」。

此篇我们讨论二分搜索算法的原理及其各种变体的实现。

继续配置电脑的旅程。

此篇推荐两个小工具。它们的大小都不足 1MiB，但是都非常好用。一个是 GIF 录屏工具，一个是 GIF 查看器。

前作提到了如何在 Windows 7 上更换锁屏界面的背景图片。这就给我创造了一个新的需求——如何为锁屏界面截图？

此篇以此为例，讲讲如何在锁屏界面上执行命令/程序。