基于深度学习的商品检索技术

　　方法总结

　　复杂体系下的商品类别识别以及检索问题的解决，不仅在于网络结构的设计，而且需要多种类型的标注数据来约束整个网络的训练;这些数据包括商品位置、商品类别、 商品属性以及商品同款数据等;由此，检索结果与查询图像才能具有全局表观相似性与局部语义一致性。当然，对于如何结合这些监督数据进行学习仍有待进一步探索，是否端到端网络的性能一定优于分段学习网络也犹未可知。与传统方法相比，此类深层神经网络模型在进行商品检索特征学习时并没有脱离一般图像检索的特征学习框架： 不仅需要在前端进行语义对齐，也需要在后端提升特征判别性。总的来说， 以上深度学习方法的探索与创新, 都将为商品检索技术趋于实用化打下扎实的基础。

　　特征学习框架

　　尽管以上的论文主要在探究服装类商品的检索技术， 但这些方法在其他的商品垂类上也是适用的。如图7所示，这些方法可概括成一套特征学习框架。图中三个部分的意义分别是：

　　(1) 商品图像预处理。商品有刚体(如鞋子、箱包、化妆品等)与非刚体(如男装、女装、童装等)之分， 姿态、形变、尺寸等差异很大; 因此，需要采用一定的语义对齐方式使得模型对这些变化鲁棒，常见操作有商品检测框对齐、旋转对齐、局部关键点对齐等。

　　(2) 全局表观与局部语义特征融合。将一个商品图像映射为一个特征的方法有很多;为了使得到的特征具有很好的判别性，多种语义监督信息被用于引导模型的学习。以服装垂类为例，最终的特征不仅需要区分语义(如服装的袖长、 领型、 扣型等)，也需要能衡量表观的相似性(如颜色、纹理等) 因此，这类监督数据的收集也是整个特征学习框架的重要组成。

　　(3) 特征降维。特征的学习是一个精益求精的过程，维度低且判别性好的特征才能保证检索的性能与效率。用于降维学习的数据一般是商品同款数据;常用的降维方式有线性判别分析(LDA)、图像分类与度量学习等。　　

图7：商品垂类特征学习框架

　　垂类数据挖掘

　　基于这套框架，特征学习就可以依靠大量的标注数据来完成。如何来获取标注数据呢? 简单粗暴的全量数据标注会非常耗时耗力。 这里针对同款数据与类别数据分别给出了数据挖掘的方法， 如图8所示。

　　(a)同款数据挖掘。基于已有的检索特征模型以及大类属性分类模型，可以将互联网数据按照类别预测结果进行划分，并根据子类进行单独的聚类。对于每个cluster，根据一些准则(如特征数目、平均距离、距离方差等)来判定噪声并进行筛选;最后通过人工标注的方式进一步切分每一个cluster来获取同款的商品。

　　(b)类别数据挖掘。首先，通过爬虫抓取以及人工构造的方式，可以获得大量的关键词集合;并将它们进行多词组合的方式在图像搜索引擎获取top-K的检索结果，放入类别图像候选集合;之后，基于已有的大类属性模型，对候选集进行提纯，去除低质量以及语义错误的图像。

图8：同款与类别数据挖掘

　　技术应用

　　本节介绍一种新商品检索技术应用方向： 服装搭配。服装搭配是指根据用户给定的一件衣服单品，推荐出能够与之搭配的时尚款式。它的应用场景包括时尚资讯推荐、电商导购等。由于服饰品类繁多、穿着标准各异， 如何定义并获取时尚的款式以及给用户个性化推荐搭配方案，都面临很大的挑战。下文将围绕这两个问题，介绍一种基于商品检索技术的服饰搭配方法。

　　定义时尚款式

　　“工欲善其事必先利其器”。在服饰搭配过程中，构建时尚款式的数据库是非常必要的。然而，时尚是一种比较感性的认识， 且人们对于时尚的理解各不相同，“时尚款式”的定义是没有一个统一的量化标准的。下图给出了一些时尚图像的例子， 可以看出，图像中服装的时尚取决于很多方面： 服装样式、发型、 鞋子、 拍照场景、 身材等等。

　　为了解决这个难题，数据来源选自多个顶级时尚网站。这些网站往往通过时尚达人编辑的方式来推荐出时尚图片，确保了服装的时尚性与新颖性; 除此之后，从视觉上影响图像时尚程度的因素还有很多，如背景灰暗、T台秀、非全身图、身材差、分辨率低等; 基于这类数据训练低质图片过滤模型，就能获取最终的高质时尚库。

　　服装搭配技术

　　简单讲，服饰搭配就是一种通过用户上衣(下装)，推荐时尚下装(上衣)的技术。这里根据优化目标的不同将现有方法分为两大类： 基于上下衣度量学习的方法以及基于相似服饰检索的方法。前者的实现基于不同服装部件的度量学习： 适合搭配的上下装距离应该尽量的近，而不适合搭配的则要尽量的远。后者假定时尚库的图像拥有优质的搭配, 将用户服装单品输入时尚服装数据库的检索引擎， 获得语义与表观相似的时尚推荐结果。

　　总结与展望

　　本文回顾了基于深度学习的服装检索技术，并且基于这些方法，概括出一套通用的商品特征学习框架。针对不同种类商品图像的采集，给出了基于图像搜索引擎的数据挖掘方法。后续仍有待进一步探究的方向包括多品类商品检索技术、基于大规模同款数据的特征学习以及全自动数据挖掘方法等。

声明:

凡文章来源标注为"CPS中安网"的文章版权均为本站所有，如需转载请务必注明出处为"CPS中安网"，违反者本网将追究相关法律责任。非本网作品均来自互联网，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。