第二章习题

参考资料

1. https://www.cnblogs.com/douzujun/p/13285715.html
2. https://github.com/nndl/solutions/issues

若有错误，请大家指正。

• 习题 2-1 分析为什么平方损失函数不适用于分类问题．

  分类问题中的标签，是没有连续的概念的。每个标签之间的距离也是没有实际意义的，所以预测值 和 标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。 假设分类问题的类别是1,2,3 那么对于一个真实类别为2的样本X，模型的分类结果是 1 或 3，平方损失函数得到的结果都一样，显然不适合。

$$解：y_n维数为1\ast 1；w_n和w_n维数为n\ast 1$$

$$显然：w^T{x}_n=x_n^{T}w$$

$$故：R(w)=\frac{1}{2}\sum _{n=1}^N{r}_n(y_n-x_n^{T}w{)}^2$$

$$对R(w)求导并让其为0，得：R(w)=\sum _{n=1}^N-r_n{x}_n(y_n-x_n^{T}w)=0$$

$$即：w^{\ast }=(\sum _{n=1}^N(r_n{x}_n{x}_n^T{)}^{-1})(\sum _{n=1}^N{r}_n{x}_n{y}_n)$$

r(n): 为每个样本都分配了权重，相当于对每个样本都设置了不同的学习率，即，理解成对每个样本重视程度不同。

$$\begin{gathered} 答：已知： \\ R(w)=\frac{1}{2}||y-X^{T}w|{|}^2+\frac{1}{2}\lambda ||w|{|}^2 \\ 要求：w^{\ast }=(X{X}^T+\lambda I{)}^{-1}Xy \\ 解：R(w)=\frac{1}{2}(y-X^{T}w{)}^T(y-X^{T}w)+\frac{1}{2}\lambda w^{T}w \\ 令\frac{\partial R(w)}{\partial w}=0,得： \\ \frac{\partial R(w)}{\partial w}=-X(y-X^{T}w)+\lambda w=0解得: \\ {w}^{\ast }=(X{X}^T+\lambda I{)}^{-1}Xy \\ 得证 \end{gathered}$$

答：
$$\begin{gathered} 已知：\log p(y|X;w,\delta )=\sum _{n=1}^N\log \mathcal{N}(y_n;w^T{x}_n,{\delta }^2) \\ 注：\mathcal{N}(y_n;w^T{x}_n,{\delta }^2)=\frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(y_n-w^T{x}_n{)}^2}{2{\delta }^2}) \\ 目的：w^{M}L=(X{X}^T{)}^{-1}Xy \\ 令\frac{\partial \log p(y|X;w,\delta )}{\partial w}=0,化简得： \\ \frac{\partial ({\sum }_{n=1}^N\frac{-(y_n-w^T{x}_n{)}^2}{2\beta })}{\partial w}=0 \\ \frac{\partial \frac{1}{2}||y-X^{T}w|{|}^2}{\partial w}=0 \\ -X(y-X^{T}w)=0 \\ 得： \\ {w}^{ML}=(X{X}^T{)}^{-1}Xy \end{gathered}$$

$$\begin{gathered} 1)x服从\mathcal{N}(x_n;\mu ,{\delta }^2): \\ \log \mathcal{N}(x_n;\mu ,{\delta }^2)=\log \frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(x_n-\mu {)}^2}{2{\delta }^2})=\frac{1}{2}log\frac{1}{2\pi {\delta }^2}-\frac{(x_n-\mu {)}^2}{2{\delta }^2} \\ 似然函数：\log p(x|\mu ,\delta )=\sum _{n=1}^N\log \mathcal{N}(x_n;\mu ,{\delta }^2)=\frac{N}{2}log\frac{1}{2\pi {\delta }^2}-\sum _{n=1}^N\frac{(x_n-\mu {)}^2}{2{\delta }^2} \\ 令\frac{\partial \log p(x|\mu ,\delta )}{\partial \mu }=0,化简得： \\ \sum _{n=1}^N\frac{x_n}{{\delta }^2}=\frac{N\mu }{{\delta }^2} \\ 故：{\mu }^{ML}=\frac{{\sum }_{n=1}^N{x}_n}{N} \end{gathered}$$
2)


答：



答：

• 高偏差原因：
  数据特征过少；
  模型复杂度太低；
  正则化系数λ太大；
• 高方差原因：
  数据样例过少；
  模型复杂度过高；
  正则化系数λ太小；
  没有使用交叉验证；

【注】：单纯增加训练集数目一般不会减小高偏差，但是会减小高方差。

答：未方便起见，将$f_D(x)、f^{\ast }(x)$简化为$f_D、f^{\ast }$
$$\begin{gathered} E_D[(f_D-E_D[f_D]+E_D[f_D]-f^{\ast }{)}^2] \\ =E_D[(f_D-E_D[f_D]{)}^2]+2E_D[(f_D-E_d[f_D])(E_D[f_D]-f^{\ast })]+E_D[(E_D[f_D]-f^{\ast }{)}^2] \\ =E_D[(f_D-E_D[f_D]{)}^2]+2E_D[f_D{E}_D[f_D]-f_D{f}^{\ast }-E_D^2[f_D]+E_D[f_D]f^{\ast }]+E_D[E_D^2[f_D]-2E_D[f_D]f^{\ast }+(f^{\ast }{)}^2] \\ =E_D[(f_D-E_D[f_D]{)}^2]+2E_D^2[f_D]-2E_D[f_D{f}^{\ast }]-2E_D^2[f_D]+2E_D[f_D]E_D[f^{\ast }]+E_D^2[f_D]-2E_D[f_D]E_D[f^{\ast }]+E_D[(f^{\ast }{)}^2] \\ =E_D[(f_D-E_D[f_D]{)}^2]+E_D^2[f_D]-2E_D[f_D{f}^{\ast }]+E[(f^{\ast }{)}^2] \end{gathered}$$
注意：对于单个样本来说，$f^{\ast }$为常数，所以$2E_D[f_D{f}^{\ast }]=2E_D[f_D]f^{\ast }$,$E_D[(f^{\ast }{)}^2]=(f^{\ast }{)}^2$
所以，上述等式化为：
$$\begin{gathered} =E_D[(f_D-E_D[f_D]{)}^2]+E_D^2[f_D]-2E_D[f_D]f^{\ast }+(f^{\ast }{)}^2 \\ =E_D[(f_D-E_D[f_D]{)}^2]+(E_D[f_D[x]-f^{\ast }{)}^2 \end{gathered}$$
得证。

• 一元:

  “我”、“打了”、“张三”
  $$\begin{gathered} x_1=[1,1,1] \\ {x}_2=[1,1,1] \end{gathered}$$

• 二元:

  “#我”、“我打了”、“打了张三 ”、“张三打了”、“打了我“
  $$\begin{gathered} x_1=[1,1,1,1,0] \\ {x}_2=[0,0,0,1,1] \end{gathered}$$

• 三元:

  ”##我“、”#我打了“、”我打了张三“、”打了张三#“、”张三打了我“、”打了我#“
  $$x_1=[1,1,1,1,0,0]x_2=[0,0,0,0,1,1]$$
  词袋模型将文本看作词的集合， 不考虑词序信息， 不能精确地表示文本信息