本文主要简单介绍一下主流的深度生成模型。
一、分类
生成模型的主要目的就是求解数据的联合概率分布p(x)。也许有人会疑惑，为什么不直接求p(x)就好了，怎么还会有如此多的深度学习模型呢？其实直接求解p(x)是一个NP问题，它过于复杂，以至于以目前的技术是无法在有限时间内求解的。所以我们只能退而求其次找寻其近似解。
各式各样的机器学习模型就是在不同的方面以不同的方法来妥协，所以不同的模型就会各有优势，有的精度高，有的速度快等。
我们可以将主流的深度生成模型分为五类：
自回归生成模型（ARM）
基于流的模型
潜变量模型
基于能量的模型
基于分数的模型
图1：深度生成模型分类图
如图1所示，其中比较有名的GANs模型和VAEs模型，均属于Latent variable models而图中未列举的Score-based models属于新技术，最近火热的DALL2就是基于此生成技术。
二、模型介绍
接下来我们将简单介绍一下各模型的主要思想和大致思路。自回归模型
ARM 将分布以自回归的方式表示，即它将数据中每一个像素点都认为是一个独立的随机变量，并将其排列，以下图公式来求解p(x)：
其中 x＜i 表示所有 i 索引之前的 x
基于流的模型
Flow-Based Models 是通过构建一种可逆的网络，来实现从一种分布转换到另一种分布且可逆。目的是通过多种变换，构建一个从已知分布到目标分布p(x)的通路来求解p(x)。
表示雅可比矩阵我们可以用神经网络来参数化 f(x)，但是不能是任意的神经网络，因为我们必须保证雅可比矩阵是好算的，同时网络是可逆的，所以神经网络必须要经过设计。
潜变量模型
Latent variable models（潜变量模型）的思想 是假设一个低维的隐空间。并使用如图的生成过程
换句话说，潜在变量对应于数据中的隐藏因子，条件分布p(x|z)可以被视为生成器。VAE就是通过encoder求解出隐空间的均值和方差，然后使用重参数化技巧构建隐空间。再利用其生成数据。GAN则是通过判别器和生成器之间的对抗过程来间接的构建隐空间。
基于能量的模型
Energy based models（能量模型）来源于物理学。是构建一个能量函数E(x)直接建模p(x)。
其中
配分函数
换句话说，该分布由指数能量函数定义，该函数进一步归一化以获得0到1之间的值（即概率）。如果我们考虑物理，还有更多的内容，但我们不需要深入研究。EBMs背后的主要思想是基于能量函数并计算（或更接近）配分函数。
以上内容就是本期对主流生成模型的简单介绍，后续我们会分别做详细分析。
三、模型对比
我们用一些标准来对模型进行了简单的比较
图2：生成模型对比
专栏下期预告：Autoregressive Models（ARM）
推荐阅读：
什么是合成数据
什么是生成对抗网络（GANs）
吴恩达：未来十年，人工智能将转向以数据为中心
Gartner 专家访谈：合成数据是人工智能的未来吗？
合成数据应用——如何预警俄乌冲突和新冠疫情对金融汇率的影响
生成式人工智能合成隐私数据（上）
生成式人工智能合成隐私数据（下）
J.P.Morgan正在使用“合成数据”解锁洞察
合成数据应用——基本面未来时序推演（十年国资、GDP、CPI、M2）物价飞涨是不是越来越严重了？人工智能帮你瞧瞧未来走势！
如何使用合成数据实现测试覆盖度最大化
让人工智能来告诉你《权力的游戏》原著中龙妈长啥样
北京宽客进化科技有限公司
——用数据智慧加速人工智能