2021年春季课程笔记

Pattern Recognition

Course 1

Bayesian decision theory

关于本文的记号表示： $x$表示一个概率变量，而$\mathrm{x}$表示一个概率变量的实际取值

$\omega$: 表示某种状态
e.g. $\omega=\mathrm{\omega_1}$: fish is sea bass, $\omega=\mathrm{\omega_2}$: fish is salmon
Prior (a priori probability): 指根据以往经验和分析得到的概率，接下观测到某种状态的可能性
e.g. $P(\omega_1)$: 下一条鱼是sea bass的可能性, $P(\omega_2)$: 下一条鱼是salmon的可能性
class-conditional probability (density function) : the probabilitydensity function for a continuous random variable $x$ given that thestate of nature $\omega$
e.g. $p(\mathrm{x} | \omega)$
Posterior probability (posterior) : 给定证据$\mathrm{x}$后，参数$\omega$的概率 $p(\omega|\mathrm{x})$
Likehood: 在给定了参数$\omega$后，证据$\mathrm{x}$的概率。
“似然性”和“概率”（或然性）有明确的区分：概率，用于在已知一些参数的情况下，预测接下来在观测上所得到的结果；似然性，则是用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值，也就是说已观察到某事件后，对相关参数进行猜测
e.g. $p(\mathrm{x}|\omega)$
Bayes formula:
$P(\omega|\mathrm x) = \frac{p(\mathrm x|\omega)P(\omega)}{p(\mathrm x)}$
$p(\mathrm x) = \sum_\omega p(\mathrm x|\omega)P(\omega)$
Bayes error rate
$P(error|\mathrm x)=min(P(\omega_1|\mathrm x), P(\omega_2|\mathrm x))$
Bayes error rate: 应用贝叶斯分类规则的分类器的错误率 $E\{P(error|\mathrm x)\}$
Risk
Loss function $\lambda(\alpha_i|\omega_j)$，描述在状态$\omega_j$时采取行动$\alpha_i$的损失
$R(\alpha_i|\mathrm x)=\sum_j\lambda(\alpha_i|\omega_j)P(\omega_j|\mathrm x)$
e.g. $R(\alpha_i|\mathrm x)=\lambda(\alpha_i|\omega_1)P(\omega_1|\mathrm x) + \lambda(\alpha_i|\omega_2)P(\omega_2|\mathrm x)$
zero-one loss
$$
\lambda(\alpha_i|\omega_j)=\lambda_{ij}=
\left\{ \begin{aligned}
&0,\ i=j\\
&1,\ otherwise
\end{aligned}\right.
$$

Pattern Recognition

Course 1

Bayesian decision theory

Bayes error rate

Risk