深度神经网络中的Tricks
导语：记录遇到的网络正则化，训练技巧。以后有时间用简单的网络去验证一下有效性
网络正则化方法
网络参数的正则化，使用P范数约束网络的参数
提前终止网络训练
对抗训练
用无监督学习预训练的网络初始化简单学习网络
实验可以设置成：使用无监督学习训练MINST或者CIFAR-10，然后将预训练模型初始化在MINST或者CIFAR-10上的监督学习模型。进行以下两个对比试验：
- 无监督交叉
- 用MINST训练无监督模型，初始化CIFAR-10模型
- 用CIFAR-10训练无监督模型，初始化MINST模型
- 监督学习
- CIFAR训练模型
- MINST训练模型