拉格朗日乘数法是约瑟夫·拉格朗日(Joseph-Louis Lagrange)提出的关于多元函数在有若干等式约束条件情况下求解最优化问题的解法。由于它在 EM 算法(Expectation Maximization Algorithm)中有应用,所以在谈 EM 算法之前,首先要讲讲拉格朗日乘数法。

阅读全文 »

逻辑回归(Logistic Regression)是最简单的分类算法之一,但是在很多领域中都被广泛应用。对于大多数人来说,逻辑回归(Logistic Regression)大概是入门机器学习时学习的第一个算法。然而,并不是每个人都能讲清这个算法。这便是本文的缘由。

阅读全文 »