二分类：逻辑回归&Fisher线性判别分析；多分类：SPSS多分类线性判别分析

二分类问题

两点分布

选取标准正态分布的累计密度函数cdf——probit回归；

选取sigmoid函数——logistic回归；（更方便）

1. 选取损失函数（连接函数）
2. 计算得出损失函数方程（最大似然法：取对数求导 梯度下降法求解β）

过拟合现象——训练组80和测试组20 交叉验证

Fisher线性判别分析（SPSS）

给定训练集样例，设法将样例投影到一维的直线上，使得同类样例的投影点尽可能接近和密集，异类投影点尽可能远离。

多分类问题

Fisher判别分析：

线性判别分析(LDA)和python实现（多分类问题）_闭式解sw-1sb-CSDN博客

logistic回归:

入门级都能看懂的softmax详解-CSDN博客