# 负对数似然

负对数似然（Negative Log-Likelihood，NLL）是一种在统计学和机器学习中常用的损失函数，特别是在处理分类问题和回归问题时。它是似然函数取对数后的负数。似然函数衡量的是模型参数在给定数据下的概率，而负对数似然函数则用于衡量模型拟合数据的不好程度。理论上，负对数似然越小，说明模型的拟合度越高。

我们来看一个简单的推导过程：

假设我们有一组独立同分布（IID）的数据样本 $${x\_1, x\_2, ..., x\_n}$$，以及一个概率模型 $$p(x | \theta)$$，其中 $$\theta$$ 是模型参数。似然函数 $$L(\theta)$$定义为给定参数 $$\theta$$ 下，观察到这组数据的概率：

$$
L(\theta) = p(x\_1, x\_2, ..., x\_n | \theta)
$$

对于独立同分布的数据，上述概率可以表示为所有单个数据点概率的乘积：

$$
L(\theta) = \prod\_{i=1}^{n} p(x\_i | \theta)
$$

取对数似然函数，可以将乘法转化为加法，简化计算：

$$
\ln L(\theta) = \sum\_{i=1}^{n} \ln p(x\_i | \theta)
$$

负对数似然（NLL）就是上式的负数：

$$
-\ln L(\theta) = -\sum\_{i=1}^{n} \ln p(x\_i | \theta)
$$

在实际应用中，我们通常会最小化负对数似然函数，来寻找最佳的模型参数 $$\theta$$。这个过程等价于最大化似然函数，即最大似然估计（Maximum Likelihood Estimation，MLE）。

不同的概率模型（比如线性回归、逻辑回归等）会导致不同形式的似然函数，因此负对数似然函数的具体形式也会随之变化。例如，在逻辑回归中，负对数似然函数用于衡量实际观测标签和模型预测标签之间的差异。