生成模型

开个新坑, 打算有空写一写生成模型, 预计涉及PixelRNN, PixelCNN, GAN, VAE, Diffusion

不拘泥于讲单个模型, 侧重讲讲它们之间的关联, 看看能不能得到什么insight

当然还涉及一些数学的东西, 从最简单的EM, 到变分推断, 据说后面还有什么郎之万方程? 不保证学得懂, 只是开个坑鞭策一下自己.

至于为什么对生成模型感兴趣呢? 是因为前段时间看了点GAN的东西, 发现一些在其他网络中存在但是并不重要的东西, 比如L2正则化, 在比较难训练的生成模型当中被放得很大, 甚至可以被非常数学化、公式化地解决. 那意味着从生成模型可以获得很多普适的洞见, 推广到很多其他的事物上.