始终

FTRL 是 Follow The Regularized Leader 的缩写，它是 Google 在 2010 -- 2013 年三年时间内，从理论研究到实际工程化实现的在线优化算法框架。FTRL 在处理带 $L_1$ 正则化的逻辑回归类模型时，效果非常出色：能够得到性能较好的稀疏解。

中文网络上，已有一些关于 FTRL 的介绍。比较详细和出名的是新浪微博的冯扬撰写的「在线最优化求解」。但在我看来，已有的关于 FTRL 的介绍，都或多或少有些值得调整和改进的地方。这促成了这篇文章。

这篇文章讲 FTRL 的理论部分，大致会按照这样的路径来阐述：

• 我们想要解决什么问题？
• FTRL 的前辈们是怎么尝试解决问题的？
• 前辈们之间是什么关系？又留下了哪些尚未解决的问题？FTRL 是如何解决这些遗留问题的？

而后，在下一篇工程部分的文章中，我们会讨论一下 FTRL 的工程实现有哪些值得谈一谈的问题。

今天遇到一个有趣的问题：已知有一个无重复元素的二叉搜索树的前序遍历结果，要求重建该二叉搜索树。

今天 @Butui Hu 在群里问了一个老问题：怎么在 Beamer 的 frame 当中使用 minted 环境？

这个问题的答案很简单：其实不论是 minted 还是 lstlisting 还是基本的 verbatim，这些「抄录」环境与 frame 联用时，统统都需要给 frame 加上 fragile 参数，形如：

1
2
3

\begin{frame}[fragile]
% verbatim-like environment.
\end{frame}

但问题是，为啥事情会变成这个样子？这篇文章简单讨论一下。

昨天正在训练线上模型的机器被人误操作，不得不重做系统。万幸模型相关的训练状态保存在另一块磁盘上，没有受到影响。要想恢复训练状态相关数据，就必须把磁盘挂载好。因为这个操作不常用，一时居然都没想起来怎么做。因此这里「烂笔头」记录下来。

这是 LeetCode 的第 4 题，@linjie 问到我说，这题网上的解答看完都迷迷糊糊的，希望我能写篇博客重新讲一下。于是有此篇。