无监督训练用堆叠自编码器是否落伍？

kotsch 对比了原版深度自编码器所有改变潜在空间行为方式或有可能提升下游任务性能的变体，不包括应用特定的损失（如图像领域的 VGG19 损失）和编码器与解码器类型（如 LSTM vs. CNN）。最终，Krokotsch 选择了以下八种自编码器进行对比：

• 浅层自编码器
• 深度自编码器（原版 AE）
• 堆叠自编码器
• 稀疏自编码器
• 去噪自编码器
• 变分自编码器（VAE）
• Beta 变分自编码器（beta-VAE）
• 向量量化变分自编码器（vq-VAE）

Krokotsch 不仅介绍了这些自编码器的独特性，还在以下方面进行了对比：

• 重建质量
• 对来自潜在空间的样本的解码质量
• 潜在空间插值质量
• 利用 UMAP 可视化得到的潜在空间结构
• 利用重建误差的异常检测 ROC 曲线
• 拟合自编码器特征的线性层的分类准确率

所有自编码器均使用相同的简单架构，该架构使用全连接编解码器、批归一化和 ReLU 激活函数，输出层使用 sigmoid 激活函数。除了浅层自编码器以外，所有自编码器均具备三个编码器和解码器层。

潜在空间的维度和网络参数量基本恒定。这意味着变分自编码器比原版有更多参数，因为编码器为维度为 n 的潜在空间生成 2n 个输出。在测试过程中，每个自编码器执行两次训练运行：一次潜在空间的维度为 20，一次维度为 2。第二次训练的模型用于异常检测，第一次的模型用于其他任务。

对比测试使用的数据集为 MNIST。Krokotsch 从训练数据集中随机采样 5000 个样本作为验证集，将默认训练 / 测试分割进一步划分为训练 / 验证 / 测试分割。

接下来我们来看这些自编码器变体及其对比情况。

「参赛选手」：8 个自编码器

Krokotsch 介绍了这些自编码器的工作原理及独特性，并尝试对其性能做出一些假设。

浅层自编码器

浅层自编码器算不上真的竞争对手，因为它的能力远远落后于其他变体。在这里，它作为基线存在。

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!