[Amazon Bedrock] Amazon Marketplace 如何使用 Amazon SageMaker AI 评估内容质量

人工智能

Amazon Marketplace 如何使用 Amazon SageMaker AI 评估内容质量

A+ Content 是亚马逊产品详细信息页面上的富媒体小部件。通过视觉资产，品牌传达独特的产品和品牌价值，帮助客户做出明智的购买决策。与没有使用高质量 A+ 内容的销售合作伙伴相比，使用高质量 A+ 内容的销售合作伙伴的销售额提高了 8-20%。各种各样的品牌，从拥有大型内部设计团队的知名品牌到资源有限的自力更生品牌，都使用 A+ 内容，导致内容质量不一致。典型的 A+ 内容项目将文本、图像和视频组合成一个有凝聚力的产品故事。孤立地评估每项资产会忽略这些资产如何协同工作所产生的质量。当您的内容跨越多个异构模块并且您需要整体质量信号而不是每个资产检查时，本文中描述的多模型融合方法可以提供帮助。在这篇文章中，我们在 A+ 内容的背景下研究这个问题。

A+ Content 为销售合作伙伴提供了创作自由，让他们可以在产品详情页面上表达真实的自我，而无需严格的内容规范，例如图像比例和文本字数。

尽管这种灵活性可以讲述引人入胜的品牌故事，但它也造成内容构成和质量的巨大变化。

通过质量评估和改进建议，品牌可以将平均内容转化为更加连贯、相关和有用的高质量内容。这些改进的内容可帮助客户做出更明智的购买决策并与品牌建立持久的关系，从而提高销售合作伙伴的收入。

为了实现这一目标，评估系统必须评估完整的内容体验，提供除数字分数之外的可行建议，并反映不同产品类别的细微差别。现有的方法很难同时满足所有这些要求，因此在这篇文章中，您将看到一种使用视觉语言模型 (VLM) 来全面理解和评估内容的新方法，以及一种基于扩散的生成组件，该组件可以根据生成的质量信号生成改进的视觉资产。

在这篇文章中，您将学习如何：

将完整的电子商务内容呈现为单个快照，并使用 VLM 对其进行整体评估。 在经过专家注释训练的轻量级 CatBoost 分类器中将 VLM 语义分数与 OCR 可读性信号相结合。 使用 SHAP 解释质量决策并为销售合作伙伴生成可行的改进建议。 在 Amazon SageMaker AI 上实施端到端管道，从数据提取和注释到模型托管、可解释性和生产监控。

基于 VLM 的评估的机遇和挑战

视觉语言模型 (VLM) 将图像编码器与大型语言模型 (LLM) 配对。编码器通常是[视觉变换器（ViT）]（https://arxiv.org/abs/2010.11929），将图像分割成补丁并将它们转换为嵌入，并且一个小连接器将这些嵌入映射到语言模型的输入空间（[Flamingo]（https://arxiv.org/abs/2204.14198）， LLaVA)。许多 VLM 重用 CLIP 中的图像编码器，它学会了将图像与其标题进行匹配。由于 VLM 接受过遵循指令的培训，因此您可以向人们提供一张图像以及评估标准，并获得书面评估，而无需进行特定于任务的培训。当您需要与人工审阅者达成更密切的一致时，您可以根据标记的示例微调模型。这使得 VLM 成为根据内容指南大规模检查产品图像的实用起点。

传统的计算机视觉模型已经可以对单个资产进行评分，例如在项目符号列表中标记模糊图像或语法错误。使用 VLM 对每个资产单独进行评分除此之外几乎没有什么好处。然而，产品详细信息页面将图像、文本和布局模块组合成一个故事，其质量取决于这些部分如何协同工作。我们的方法将整个页面呈现为单个快照，并要求 VLM 在客户看到时对其进行评估。

考虑一个带有英雄图像的搅拌机页面、突出显示刀片速度和容量的项目符号功能列表以及现代厨房中搅拌机的生活方式照片。经过一一检查，每项资产均通过：图像清晰、要点符合语法、照片光线充足。综合来看，问题就出现了。子弹可能会宣传 64 盎司的水罐，而生活方式照片则显示单份模型，或者生活方式照片可能位于英雄图像上方，以便顾客在产品之前看到厨房。由于资产的含义取决于它出现的位置及其周围的内容，因此这些问题仅在对页面进行整体评估时才会出现。快照为 VLM 提供了完整的视图。在生产中使用它增加了三个要求：分数必须符合专家质量标准，评估必须在规模上准确且高效，每个结果必须解释要修复的内容。

如图 1 所示，我们通过围绕适应性、性能和可解释性设计的基于 VLM 的多模型融合架构来解决这些考虑因素。以下部分描述了每个组件。

图 1：基于 VLM 的多模型融合方法的框图，包括 VLM、OCR 和分类器模型

带有专家注释的自适应 VLM 内容评估

经过预训练的 VLM 会根据其常识对内容进行评分，但这些分数并不总是符合电子商务质量标准。微调 VLM 以缩小这一差距需要 GPU 训练基础设施，并且只有几千个标记示例，存在过度拟合的真正风险。相反，我们保持 VLM 和标题提示固定，使用 VLM 的结构化输出作为特征，并在其上训练 CatBoost 分类器来预测专家质量标签。 CatBoost 是一种梯度增强决策树库，在像这样的小型表格数据集上表现良好。由于仅重新训练分类器，因此随着注释累积或标准更改而更新系统需要一个简短的仅 CPU 作业，而不是基础模型微调运行。

VLM 接收页面快照和涵盖四个质量维度的标题提示：视觉故事讲述、功能演示、A+ 布局和转化优化。每个维度都有明确的标准和扣分规则。对于每个维度，VLM 返回从 0 到 10 的分数、置信度值和自然语言基本原理。例如，当页面缺乏多样化的模块或生活方式图像或重复信息时，它会降低分数并解释原因。分数和置信度值成为分类器的特征，其基本原理可以帮助销售合作伙伴理解结果。

为了构建培训标签，一名电子商务营销专家和四名专业注释员使用相同的标准，独立对 10 个产品类别的 5,478 个产品详细信息页面进行高质量或低质量评级。我们评估了他们的评级并获得了多数票来创建一个共识标签。这些类别几乎是平衡的（49.6% 的高质量），因此分类器无法通过预测多数类别来获得良好的分数。为了衡量标签的可靠性，我们使用了科恩的 kappa，它衡量两个评估者在考虑了他们偶然达成的协议后达成一致的频率。 0 分表示一致性并不比偶然好，1 表示完全一致，高于 0.8 的值通常被认为是强一致性。与共识标签相比，每个注释者的得分在 0.845 到 0.915 之间。

图 2：注释器性能和内容难度分布。接近均匀的类别划分排除了多数类别偏差（左），难度分布解释了剩余分歧（右）

我们将分类器与 20% 保留集（约 1,100 页）的基线进行了比较。基线对四个 VLM 分数进行平均并应用固定阈值，因此每个维度都同等重要。高质量类别的基线准确率达到 0.80，F1 分数达到 0.84。 CatBoost 分类器在相同分数上进行训练，准确率达到 0.89，F1 分数为 0.90。由于分类器了解每个维度的重要性以及这些维度如何相互作用，因此它的预测更符合专家的决策。

使用 OCR 进行高性能 VLM 内容评估

VLM 可以很好地捕捉页面的整体含义和视觉构成，但它们在细粒度的可读性问题上不太可靠，例如文本有多拥挤或行之间有多少空间。由于他们的语言模型基础，他们也可以喜欢长而详细的描述，即使客户更喜欢他们可以快速浏览的简洁文本。在文本较多的页面上，VLM 可能会将密集的产品信息评为有用，而客户则难以阅读挤在小区域中的长句子。为了解决这些问题，我们使用 SageMaker AI Inference 上托管的光学字符识别 (OCR) 模型来提取每个文本块及其位置，然后计算四个定量信号：文本密度、字符密度、间距和整体可读性。将这些 OCR 分数与 VLM 的语义和视觉评估相结合，可添加补充信息，从而提高分类质量。

根据该输出，我们计算出四个可读性分数：

文本密度： 文本覆盖的页面区域的份额。 字符密度： 每单位页面区域的字符数。 间距： 单词、行和段落之间的空白是否一致和充足。 整体可读性： 前面三个分数的组合信号。

由于这些分数取决于布局而不是措辞，因此具有相同文本的两个页面可能会获得不同的分数。

该融合模型将四个 VLM 评分和四个 OCR 评分组合成八个特征，并在相同的专家标签上训练 CatBoost 分类器。表 1 将其与使用相同的 20% 保留集单独训练每个特征集的模型进行了比较。

在相同的 20% 保留集上，仅使用 OCR 功能的 CatBoost 模型实现了 0.82 的准确度和 0.83 F1 分数，而仅使用 VLM 功能的模型实现了 0.89 和 0.90。融合的“OCR-VLM-CatBoost”模型优于两个独立模型，达到 0.94 的准确率和 0.95 F1 分数。与仅 VLM 模型相比，这两个指标均提高了 0.05，这表明 OCR 并不是替代信号。它通过细粒度的文本可读性信息补充了 VLM 的整体判断。

配置准确度F1 得分 基线（平均 VLM 分数 + 阈值）0.800.840.84 仅限 OCR CatBoost0.820.82 0.830.83 仅 VLM CatBoost0.890.89 0.900.90 融合 OCR-VLM CatBoost0.940.95

使用 SHAP 进行可解释的 VLM 内容评估

质量标签本身并不能告诉销售合作伙伴首先要解决什么问题。为了找到推动每个决策的维度，我们使用 SHapley Additive exPlanations (SHAP)，它为每个特征分配一个值，显示它在多大程度上推动了预测的高质量或低质量。由于 VLM 和 OCR 分数提供相同的分类器，因此 SHAP 在共同的尺度上衡量两者。原始分数无法做到这一点：6 分的视觉叙事分数和高角色密度并不能告诉您哪一个对决策更重要。

在保留集中，最有影响力的特征是 OCR 字符密度（平均绝对 SHAP 值 1.1）、OCR 整体可读性 (1.0) 和 VLM 视觉叙事 (1.0)。其次是 A+ 布局 (0.8)、功能演示 (0.6) 和转化优化 (0.4)。 OCR 和 VLM 功能均排名靠前，因此分类器取决于这两个来源。

图 3：所有 VLM 和 OCR 功能的全局 SHAP 值分布

对于单个页面，SHAP 显示哪些功能降低了决策。对于每个被分类为低质量的页面，我们根据 SHAP 值对八个特征进行排名，然后将最负面的特征、产品类别和电子商务最佳实践以及 VLM 的基本原理传递给 LLM，LLM 将它们转化为优先的具体行动。

图 4 显示了低质量和高质量 A+ 内容样本的两个局部 SHAP 图，其中 LLM 推理基于 SHAP 结果。例如，如果 A+ 布局的 SHAP 值为 -1.2，视觉讲故事的 SHAP 值为 -0.3，则系统会优先考虑重构布局并重新平衡文本和图像，然后改进图像。

[![高质量 A+ 内容示例的本地 SHAP 分发，其中大多数功能都贡献了积极]（https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/10/30/ML-20598-5 .png)](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/10/30/ML-20598-5.png)

图 4：所有 VLM 和 OCR 功能的两个局部 SHAP 值分布：(a) 低质量案例，其中大多数功能产生负面影响并推动改进请求的建议； (b) 高质量案例，其中大多数功能都做出积极贡献

我们通过在销售合作伙伴修改其内容后测量质量分数来验证这些基于解释的建议的有效性。在统计上显着的样本中，修订后的平均质量得分提高了 1.4 分（满分 10 分）。因此，SHAP 的贡献可以从决策解释转化为可操作的改进优先事项和方法。因此，可解释性不仅仅是理解模型的辅助能力。它起到反馈机制的作用，可以实质性地提高内容质量。

结果

完整的系统使用 VLM 和 OCR 对每个页面快照进行评分，将四个 VLM 分数和四个 OCR 分数组合成一个特征向量，并将其传递给经过专家标签训练的 CatBoost 分类器。然后，SHAP 确定哪些特征推动了每个决策。为了衡量每个组件添加的内容，我们在相同的 20% 保留集上比较了四种配置。该保留集来自 10 个产品类别的 5,478 个产品详细信息页面，包括家具、鞋类、杂货、美容和服装。

基线对四个 VLM 分数进行平均并应用固定阈值，因此每个维度都同等重要。准确率达到0.80，F1分数达到0.84。在相同分数上训练 CatBoost 分类器可以让模型了解哪些维度最重要以及它们如何相互作用，从而将准确度提高到 0.89，将 F1 提高到 0.90。仅根据 OCR 分数训练的分类器就达到了 0.82 的准确度和 0.83 的 F1 分数。结合 VLM 和 OCR 分数得出最佳结果，准确度为 0.94，F1 分数为 0.95。与基线相比，准确度高出 14 个百分点，F1 高出 11 个百分点。

图 5：VLM 和 OCR 评估配置的准确度和 F1 比较

单独检查每个性能增益可以使集成方法的价值更加清晰。 CatBoost 校准首先通过学习特定维度的权重和非线性决策边界来减少固定阈值的限制。添加 OCR 功能可以提供 VLM 可能会错过的文本可读性信号。总体而言，最终的融合模型比基线精度提高了 0.14，F1 提高了 0.11。

我们还在包含 499 个内容项目的单类别数据集的附加实验中更改了 VLM 主干。使用较轻的 VLM 变体，基线达到了 0.74 的准确度和 0.72 F1 分数，而“OCR-VLM-CatBoost”模型的两个指标都达到了 0.90。使用功能更强大的 VLM 变体，基线实现了 0.79 的准确度和 0.84 F1 分数，而融合模型实现了 0.94 和 0.95。融合方法将两个 VLM 的准确度分别提高了 0.16 和 0.15，这表明互补的 OCR 功能可以在不依赖于特定基础模型的情况下提供一致的增益。

为了降低开发成本，同时保留对高性能基础模型的访问，系统冻结了 VLM 并仅训练低开销分类器。在生产中，一项全球 A/B 实验根据模型的质量决策调整了低质量 A+ 内容的可见性，从而在订购产品销售 (OPS) 方面产生了具有统计意义的改善。除了与专家判断紧密结合之外，集成系统还提供了可以大规模支持客户体验和业务决策的质量信号。

在 Amazon SageMaker AI 上的实施

本节介绍如何在 Amazon SageMaker AI 上端到端实施该架构。从内容渲染和专家注释到 VLM 评分、OCR 提取、特征聚合、分类器训练、基于 SHAP 的可解释性和生产监控的管道的每个阶段都映射到托管的 SageMaker AI 功能。这种设计使运营开销保持在较低水平。以下步骤将介绍如何在生产中部署、连接和维护每个组件。

图 6：Amazon SageMaker AI 上的内容质量系统的架构

1.内容快照渲染和数据摄取： 渲染完整的 A+ 内容体验，捕获客户实际查看页面的方式。

SageMaker 处理 作业大规模运行容器化渲染作业，将数据准备与训练和推理计算解耦。

1. VLM 评分和模型托管： 注释者使用质量标准独立标记内容。他们聚合的共识标签成为训练目标。冻结的 VLM 接收每个快照以及一个标题提示，并输出从 0 到 10 的四个分数（视觉故事讲述、功能演示、A+ 布局、转化优化），每个分数都有一个置信值和理由。 SageMaker AI Inference 通过适合工作负载的部署选项托管 VLM：

实时端点，用于对单个列表进行同步、低延迟评分。 用于高分辨率快照等大型有效负载的异步端点，其中轻微的延迟是可以接受的。 批量转换，用于目录规模的离线批量评分。

这些选项支持自动扩展、托管基础设施和 GPU 实例选择。

如果团队需要专门的低延迟变体，可以选择使用 SageMaker 训练作业 进一步调整或提炼 VLM（例如，低阶适应 (LoRA) 适配器、将知识提炼为更小的模型）。避免这种情况，以保持重新校准的成本效益和与 VLM 无关。

1. OCR 可读性提取： 同时，OCR 从每个快照中提取文本和边界框位置，并计算四个可读性信号：文本密度、字符密度、间距和整体可读性。

SageMaker JumpStart 从其模型中心提供预训练的单操作可部署模型，无需从头开始获取、打包和基准测试模型。团队选择一个模型，可以选择在电子商务内容上使用 SageMaker 无服务器模型自定义 管理基础设施来对其进行微调，然后直接部署。然后，SageMaker AI Inference 将选定的 OCR 模型托管为端点。

4.特征聚合和存储：

SageMaker Feature Store 提供对相同功能的在线（低延迟推理）和离线（批量训练）访问，避免训练服务偏差。团队可以在整个组织内共享功能，因此下游消费者可以重用相同的精选功能。

5.分类器训练： CatBoost 分类器根据专家注释在八维特征向量上进行训练，以学习非均匀维度权重和非线性决策边界。 SageMaker 培训作业 可以再次在此处使用。您可以将经过训练的模型直接注册到 SageMaker Model Registry，以进行版本控制、审批工作流程和生产部署。

6。 SHAP 可解释性和建议： SageMaker 处理 作业支持自带 (BYO) 处理代码，您可以使用它来派生 SHAP 值和模型可解释性指标。

7.生产监控和再培训： 在生产中，ML 模型会随着时间的推移而自然退化。客户审美观的转变、新 A+ 模块类型的推出、产品类别的演变以及卖家行为的变化。分类器从历史注释中学到的评分模式逐渐与当今质量的含义脱节，如果不加以控制，就会导致准确性悄然下降。持续监控通过检测实时数据分布或模型预测何时偏离训练基线足够远以保证重新校准来缩小这一差距。

SageMaker AI ModelOps 提供示例集合 和资源，帮助您在 SageMaker AI 上操作生成式 AI 和机器学习工作负载。

SageMaker AIOps 提供了跟踪数据质量、模型质量和特征归因漂移的工具。 SageMaker Pipelines 还会在突破漂移阈值时自动执行端到端的重新训练工作流程。

8.基于扩散的内容生成： 闭环、质量评分和 SHAP 派生的推荐条件是生成改进的 A+ 图像资产的扩散模型。该系统不会让卖家解释建议并从头开始创建新内容，而是生成即用型视觉资产（升级的生活方式图像、重新平衡的布局或增强的产品镜头），直接解决 SHAP 标记为最具负面影响的维度。这些生成的资产和自然语言改进建议会呈现给卖家，以便他们可以升级其在 amazon.com 上的列表。

＃＃ 结论

在这篇文章中，我们展示了如何在客户看到产品详细信息页面时对其进行评估，方法是将每个页面呈现为单个快照并使用 VLM 对其进行评分。我们还演练了在 Amazon SageMaker AI 上实施该系统。我们围绕三个目标构建了该系统。为了提高适应性，我们保持 VLM 固定，并根据其评分标准训练 CatBoost 分类器，因此系统符合专家判断，并且可以通过简短的仅 CPU 作业进行更新。为了提高性能，我们添加了 OCR 可读性分数，以捕获 VLM 错过的密集或间距较差的文本。为了便于解释，SHAP 确定哪些功能推动了每个决策，LLM将这些结果转化为针对销售合作伙伴的优先建议。

在 10 个产品类别的 5,478 个产品详细信息页面上，融合模型达到了 0.94 的准确率和 0.95 F1 分数，分别比平均分数基线高出 14 和 11 个百分点。使用建议修改的页面的质量得分平均提高了 1.4 分（满分 10 分）。

内容质量标准因产品类别、语言和市场而异，我们的专家注释无法完全代表每个上下文。接下来，我们计划评估更高效的 VLM 主干和推理方法，以便在全局目录上运行系统。

关于作者