成都服装店神秘顾客

尽管用于生成图像的大模子依然成为推测打算机视觉和图形学的基础，但令东说念主讶异的是，分层内容生成或透明图像（是指图像的某些部分是透明的，允许布景或者其他图层的图像通过这些透明部分显袒露来）生成范畴取得的和蔼少许。这与商场的本色需求酿成了赫然对比。大大都视觉内容裁剪软件和使命经过都是基于层的，严重依赖透明或分层元素来组合和创建内容。

来自斯坦福大学的筹谋者淡薄了一种「latent transparency（潜在透明度）」才略，使得经过大限度预熟练的潜在扩散模子大要生成透明图像以及多个透明图层。

例如来说，关于给定的文本教导（如头发凌乱的女东说念主，在卧室里），该筹谋淡薄的才略大要生成具有透明度的多个图层。也便是说该模子不仅能凭证教导生成图片，还能将远景和布景进行分层，布景丢失的信息也能很好的补充。

此外，本文还采纳东说念主机交互的相貌来熟练模子框架并同期集聚数据，最终数据集的限度达到 100 万张透明图像，涵盖多种内容主题和作风。然后，该筹谋将数据集扩张到多图层样本。该数据集不仅可以熟练透明图像生成器，还可以用于不同的诳骗，例如布景 / 远景条目生成、结构合并生成、作风迁徙等。

实际标明，在绝大大都情况下 (97%)，用户更可爱由本文才略生成的透明内容，而不所往日的措置决策（例如先生成然后抠图）。当筹谋者将生成的质地与 Adobe Stock 等买卖网站的搜索戒指进行比拟时，也取得了可以的收获。

这项筹谋作家共有两位 Lvmin Zhang 以及 Maneesh Agrawala ，其中 Lvmin Zhang 照旧 ContorlNet 的作家。

有网友示意：「能生成透明图层的兴致毫不单是是抠图。这是咫尺动画、视频制作最中枢的工序之一。这一步大要过，可以说 SD 一致性就不再是问题了。」

才略先容

本文的办法是为像 Stable Diffusion (SD) 这么的大限度潜在扩散模子添加透明度复旧，这些模子常常使用一个潜在编码器（VAE）将 RGB 图像诊疗为潜在图像，然后再将其输入到扩散模子中。在此过程中，VAE 和扩散模子应分享疏导的潜在散播，因为任何缺陷不匹配都可能显赫镌汰潜在扩散框架的推理 / 熟练 / 微调性能。

潜在透明度：当调整潜在空间以复旧透明度时，必须尽可能保留原始的潜在散播。这个看似不解确的办法可以通过一个平直的测量来细则：可以查验修改后的潜在散播被原始预熟练的冻结潜在解码器解码的若何 —— 如若解码修改后的潜在图像创建了严重的东说念主工思绪，那么潜在散播便是永诀皆或损坏的。这一过程可视化戒指如下图所示：

生成多个图层：该筹谋进一步使用耀办法分享和 LoRA 将基础模子扩张为多图层模子，如图 3-(b) 所示。图 3-(a) 为熟练可视化戒指。

图 4 引入了几种替代架构，以竣事更复杂的使命经过。筹谋者可以向 UNet 添加零运转动通说念，并使用 VAE（有或莫得潜在透明度）将远景、布景或图层组合编码为条目，并熟练模子生成远景或布景（例如，神秘顾客介绍图 4-( b，d）），或平直生成搀和图像（例如，图 4-（a，c））。

  神秘顾客暗访检查指标设计的一般内容包含：  （1)、咨询报名环节。电话咨询、客户上门、学员测试、校区整体环境（设施配套、卫生环境、安全设备等）、缴费报名这五个方面。  （2)、上课环节。分为开课提醒、课前（前台）、校区整体环境（设施配套、卫生环境、安全设备等）、课后服务。  （3)、退费环节。只要是提出退费、挽单、退费处理。  考察对象是教务、教师、前台工作人员。以上指标仅为暗访调研大体方向，具体需根据各培训机构校区的具体情况进行调整。有详细需求，可以免费咨询深圳神秘顾客市场调查有限公司（SMS）进行详细规划。

数据准备过甚熟练细节

熟练数据集包括基础数据集（图 5-(a)）以及多图层数据集 （5-(b)） 。

熟练竖立为 4 × A100 80G NV-link，统统这个词熟练期间为一周（为了减少预算，在东说念主工集聚下一轮优化数据时暂停熟练），本色 GPU 期间约为 350 A100 小时。该才略适当个东说念主限度或实际室限度的筹谋，因为 350 个 GPU 小时预算常常在 1K 好意思元内。

实际

图 6 展示了使用单图像基础模子生成的图像定性戒指。这些戒指展示了该模子可以生成原生透明图像，如生成高质地的玻璃透明度、头发、毛发、发光、火焰、魔法等成果。这些戒指还讲授了该模子可以泛化到不同的场景。

图 7 展示了使器用有不同主题的教导来生成图片的定性戒指。每个示例会浮现搀和图像和两个输出层。这些图层不仅在照明和几何关连方面保握一致，何况还展示了结识扩散的好意思学品性（例如，布景和远景的神志遴荐，看起来谐和且好意思不雅）。

条目层生成。筹谋者在图 8 中展示了条目层生成戒指（即以远景为条目的布景生成和以布景为条目的远景生成）。可以看到，本文的模子可以生成具有一致几何和照明成果的连贯构图。在「教堂中吊挂的灯泡」示例中，该模子尝试通过一种对称性审好意思设想来匹配远景。而在「坐在长登上或坐在沙发上」示例中，该模子可以推断远景和布景之间的交互，并生成相应的几何。

迭代生成。如图 9 所示，筹谋者可以迭代使用以布景为条目的远景生成模子，以竣事构图或即兴数目的层。关于每个新的层，他们将之前生成的统统层融入到一个 RGB 图像，并馈入到以布景为条目的远景模子。筹谋者还不雅察到，该模子大要在布景图像的高下文中解释当然讲话，比如在一只猫的眼前生成一册书。该模子展现了重大的几何构图技艺，比如生成一个东说念主坐在箱子上的组合图像。

可控生成。如图 10 所示，筹谋者展示了 ControlNet 等现存可控模子可以用于他们的模子，以提供丰富的功能。可以看到，本文的模子可以基于 ControlNet 信号来保留全局结构，以生成具有一致照明成果的谐和构图。筹谋者也通过一个「反射球」示例展示了本文的模子可以与远景和布景的内容进行交互，从而生成反光等一致性照明成果。