2021年12月30日最新消息:脸书详细介绍了其购物体验背后的AI

导读 今天，脸书宣布改善其平台上的购物体验，包括脸书商店，这是企业为客户建立单一在线商店以访问脸书和Instagram的一种新方式。该公司描述了

今天，脸书宣布改善其平台上的购物体验，包括脸书商店，这是企业为客户建立单一在线商店以访问脸书和Instagram的一种新方式。该公司描述了这些新产品的特点——所有这些产品都有一系列新的人工智能和机器学习系统的支持——并朝着实现多功能人工智能助手的愿景迈出了一步，这些助手可以同时搜索和排名产品，并根据个人偏好个性化他们的建议。

像Facebook Marketplace这样的电子商务公司依靠AI自动执行许多幕后任务，从学习偏好和身体类型到理解可能影响购买决策的因素。麦肯锡估计，亚马逊最近部署了人工智能来处理输入的购物者查询，通过其产品推荐引擎产生了35%的销售额。除了排名之外，来自Modify、Vue.ai、Edited、Syte和Adverity等初创公司的AI让客户可以虚拟尝试口红的影子，查看各种尺寸的模特形象，发现趋势和销量。

脸书首席执行官马克扎克伯格在今天下午的直播中说：“因为疫情，我们看到许多从未有过在线业务的小企业第一次上线。”他透露，全球有超过1.6亿小型企业正在使用该平台的服务。“这不能弥补他们失去的所有业务，但它可以提供帮助。对于这个时期的许多小企业来说，这就是维持生计和破产的区别.……脸书有着独特的地位，它是小企业的支持者，它可以帮助它们成长和保持健康。”

脸书表示，其基于AI的购物系统可以对图像进行细分、检测和分类，找出产品出现的位置，并提供购物建议。其中一个系统——GrokNet——在七个数据集上进行了培训，这些数据集包含数百万用户发布、购买和销售的产品图像，包括从越野车到细高跟鞋再到边桌的几十个类别。另一种使用产品的2D视频来创建三维视图，即使这些产品处于昏暗或过亮的光线下，而第三聚光灯的服装，如围巾和领带，可能会被周围的环境部分覆盖。

格罗纳特

脸书说，GrokNet可以在数十亿张照片中检测出准确、相似(通过相关属性)和共现的产品，在Marketplace上搜索和过滤的效率至少是其替换算法的两倍。例如，与脸书基于文本的归属系统(只能识别33%)相比，它可以识别90%的家庭和花园列表。作为有限测试的一部分，除了在市场中的卖家列出产品之前从图像中生成颜色和材料的标签之外，它还用于在页面管理员上传照片时在脸书页面上标记产品。

脸书表示，在用35亿张图片和1.7万个标签对GrokNet进行预训练，并对96张Nvidia V100显卡的内部数据集进行微调的过程中，脸书表示，它使用的是卖家的真实照片，角度和目录风格存在“挑战性”。为了尽可能包容所有国家、语言、年龄、大小和文化，它对不同体型、肤色、地点、社会经济阶层、年龄和姿势的例子进行了抽样。

脸书开发了一种技术，该技术使用GrokNet作为反馈循环来自动生成其他标识符，而不是用产品标识符手动注释每个图像，这需要很长时间，因为产品标识符已经使用了很长时间。通过目标检测器，该方法可以识别图像中可能产品周围的帧，然后将这些帧与已知产品列表进行匹配，以将匹配项保持在相似性阈值内。产生的匹配将被添加到训练集中。

脸书还利用了这样一个事实，即每个训练数据集都有固有的困难。简单的任务不需要那么多的图片或者标注，困难的任务需要更多的图片或者标注。工程师将大部分训练分配给具有挑战性的集合，并且在每批中只有少数图像被分配给简单的图像，从而同时提高了GrokNet任务的准确性。

产品化的GrokNet有83个损失函数(即，将变量的事件映射为表示与事件相关的某些成本的数字的函数)，并且可以预测给定图像的一系列属性，包括其类别、属性和可能的搜索查询。它只使用256位来表示每个产品，这产生了类似指纹的嵌入。可用于产品识别、视觉搜索、视觉相似产品推荐、排名、个性化、价格建议、标准化等任务。

脸书表示，未来将使用GrokNet为more上的店铺供电，让顾客更容易找到产品，知道如何佩戴这些产品，并获得配件方面的相关建议。该公司写道：“这种通用模型使我们能够使用更多的信息源，从而提高准确性，并优于单个垂直注意力模型。”“从一开始就考虑所有这些问题，可以确保我们的属性模型适合所有人。”

3D视图和增强现实试验

互补的人工智能模型支持脸书的3D视图功能，该功能已在iOS的市场上进行了测试和提供。基于2月份推出的3D

照片工具Facebook，它使用智能手机拍摄视频并对其进行后期处理，以创建可旋转并向上移动至360度的交互式伪3D表示。

Facebook使用一种称为同步本地化和映射(SLAM)的方法进行重建，该方法可以在跟踪代理人(智能手机)位置的同时创建和更新未知环境或对象的地图。智能手机的姿态在3D空间中重建，其路径通过检测异常间隙的系统进行平滑处理，并将每个姿态映射到校正不连续性的坐标空间中。为了保持一致性，将平滑的相机路径映射回原始空间，从而重新引入了不连续性并确保了物体的可识别性。

Facebook的SLAM技术还结合了对帧的观察以获得稀疏的点云，该点云由任何给定捕获场景中最突出的特征组成。这朵云充当了相机姿势的指导，这些姿势与最能代表3D对象的视点相对应;图像以某种方式失真，看起来像是从视点拍摄的。启发式离群值检测器会发现可能引入失真的关键点，并将其丢弃，而相似性约束使重构的无特征部分变得更加僵硬，而散焦区域看起来更加自然。

除了3D重建之外，Facebook表示将很快利用其Spark AR平台结帐功能，使客户能够看到物品在各个地方的外观。(已经有Nyx，Nars和Ray-Ban等品牌在Facebook Ads和Instagram中使用它来增强增强现实的“试穿”体验。)该公司计划支持试穿各种物品，包括家居装饰。和家具-包括商店在内的各种应用程序和服务，Facebook的功能使企业可以通过网络直接进行销售。

分割

为了使诸如Marketplace之类的服务能够在图像中自动隔离服装产品，Facebook开发了一种细分技术，该技术声称与几种基准相比，它可以实现最先进的性能。这项技术称为“操作员”，称为“实例蒙版投影”，可以发现腕带，项链，裙子和毛衣等物品在不均匀的光线下拍摄或部分被遮盖，甚至以不同的姿势出现在衬衫和夹克等其他物品下。

Instance Mask Projection可以检测整个服装产品并大致预测其形状。该预测用作改进每个像素的估计的指南，允许合并来自检测的全局信息。预测的实例图被投影到一个功能图中，用作语义分割的输入。据Facebook称，这种设计使操作员适合进行服装分析(涉及复杂的分层，大变形和不凸的对象)以及街道场景分割(重叠实例和小对象)。

Facebook说，它正在与运营商一起在数十种产品类别，图案，纹理，样式和场合(包括照明和餐具)上培训其产品识别系统。它还增强了检测3D照片中物体的技术，并做出了相关努力，开发了可识别身体的嵌入物，以检测可能对人的身材讨人喜欢的衣服。

“今天，我们可以理解一个人穿着麂皮立领圆点连衣裙，即使她的一半被藏在办公桌后面。我们也可以理解那张桌子是用木头还是金属制成的。”“在实现我们的长期目标时，我们需要教这些系统以了解一个人的品味和风格，以及该人在搜索产品时所处的环境，我们需要推动其他突破。”

迈向AI时尚助手

Facebook表示，其目标是有一天将这些不同的方法结合到一个系统中，该系统可以即时提供与个人口味和风格相匹配的产品推荐。它设想了一个助手，该助手可以通过分析一个人的衣橱中的图像来学习喜好，例如，该人可以尝试在自复制品上尝试收藏并出售其他人可以预览的服装。

为此，Facebook表示，其研究人员正在制作一个“智能数字壁橱”的原型，该壁橱不仅根据计划的活动或天气提供服装建议，而且还根据个人产品和美学提供时尚灵感。

这就像是Echo Look的一种无硬件，表面上更为复杂的样子，Echo Look是亚马逊已停产的AI供电相机，它告诉客户他们的衣服看起来如何并跟踪衣橱里的东西，同时推荐从Amazon.com购买衣服。像Stitch Fix这样的公司也使用算法来帮助挑选发给客户的衣服，选择库存的衣服，并跟踪客户在网上发现自己喜欢的东西。

Facebook预计最终将需要新的系统来适应不断变化的趋势和偏好，理想情况下，该系统将从对潜在所需产品的图像的反馈中学习。它最近在Fashion ++方面取得了进展，该++使用AI来建议个性化的样式建议，例如添加皮带或半折衬衫。但该公司表示，在真正的预测性时尚助手成为可能之前，必须在语言理解，个性化和“社会第一”体验方面取得进步。

“我们预见了一个未来的系统，它可以……将您朋友的建议纳入博物馆，饭店或全市最好的陶瓷类中，使您能够更轻松地购买这些类型的体验，” Facebook说。“我们的长期愿景是构建一个多合一的AI生活方式助手，该助手可以准确搜索和排名数十亿种产品，同时根据个人喜好进行个性化设置。相同的系统将使在线购物与在现实生活中与朋友购物一样具有社交性。更进一步，它将推进视觉搜索以使您的实际环境可购买。如果您看到自己喜欢的东西(衣服，家具，电子产品等)，则可以对其进行拍照，然后系统会找到该商品的准确信息，以及可以在当时和那里购买的几件类似商品。”

Facebook再次关注电子商务，因为该公司一直在应对大流行导致的广告销售趋于平缓。即使在过去几个月中在线销售猛增，Facebook仍拒绝提高Marketplace的佣金(相比之下，亚马逊为5%，而沃尔玛为15%)，可能会保持竞争优势。一些分析师估计，从长远来看，Marketplace将为Facebook带来超过50亿美元的年收入。