计算机本身并不能识别图像或文字，唯有将其转化为数字，计算机才能识别和处理。传统的图像检索技术是以文本检索技术为核心构建的，互联网上的图片被人为的打上各种各样的标签，如一张海上日出的风景照片，可能的标签包括“海洋、日出、风景”等等，一旦有用户在搜索框中输入这些关键词后，搜索引擎会在数据库中自动查找相对应的标签。
在未来的某一天，当你突然想知道这个世界上有多少人跟你长的相似的时候，你可以在搜索框中上传一张自己的照片，剩下的一切都可以交给智能化的图片搜索引擎来完成，它能根据图片的内容特征自动识别相似的图片。这种“以图搜图”的情景说起来容易，但实现起来，却是一个困扰了谷歌、百度等各大搜索引擎巨头们许久的技术难题。
要知道，计算机本身并不能识别图像或文字，唯有将其转化为数字，计算机才能识别和处理。传统的图像检索技术是以文本检索技术为核心构建的，互联网上的图片被人为的打上各种各样的标签，如一张海上日出的风景照片，可能的标签包括“海洋、日出、风景”等等，一旦有用户在搜索框中输入这些关键词后，搜索引擎会在数据库中自动查找相对应的标签。
然而，随着技术的进步，以人工智能为核心的内容图像检索技术已经成为未来发展的趋势。目前，谷歌通过提供数百万份 YouTube 视频，成功的让虚拟神经网络系统——DistBelief在事先没有获取“猫的特征描述”信息的情况下，自行总结出猫这个概念的特征。也就是说，DistBelief具有自学习能力。而在这套人工智能系统后面，是一个由 1000 台机器组成、包括 16000 个内核、处理参数高达 10亿个的超级计算机系统。
让机器像人一样理解图像内容，强大的硬件固然必不可少，可最核心的依然是智能算法的设计，目前基于聚类的方法是图像搜索领域的关键方法之一，其中k-means算法是应用最广泛的无监督聚类方法，海量数据的索引大部分都使用了分层聚类的思想。但是k-means算法效率相对比较低，原来CPU版本的方法在使用50到60个节点的条件下处理约100万张图片，需要耗时5个多小时。这种速度对于动辄上亿数据的互联网公司来说，完全无法接受的，因此必须要对k-means进行优化。
针对k-means目前的特点，浪潮日前与国内某知名搜索公司实现合作，成功实现了对k-means算法的优化。在项目过程中，浪潮高性能计算并行团队在分析代码后，提出GPU集群的解决方案，并提出了从硬件(计算节点、网络互联、存储节点)到软件(优化软件)的一揽子解决方案。特别在软件方面，浪潮与客户算法专家团队共同成立专门联合项目组，基于K-means串行版本，完成GPU MPI集群版本的实现，节点内使用CPU+GPU协同计算，大幅降低了计算时间。
双方联合针对GPU架构进行了算法层面的优化，重写了计算部分代码，将整体速度大幅提升。经过优化后的软件，在单GPU上运行的速度与串行程序相比，加速比达到41倍，1块GPU相当于4.4个8核CPU并行的性能，同时由于浪潮 GPU版本K-means具有很好的性能可扩展性，这使得GPU服务器具有很好的性价比非常适合于此类应用大规模部署。
某搜索引擎技术部的负责人在上线了浪潮优化后的搜索程序表示：“浪潮优化以后，大幅降低了我们硬件采购的成本，并且节省了计算时间，为我们的应用上线带来了很大助益。”
浪潮作为中国异构高性能计算技术的领先者，一直致力于推动GPU和MIC的应用发展和人才培养，推动异构技术的产业生态环境建设。据了解，浪潮已经分别与英特尔和英伟达联合成立并行计算实验室，合作开发优化基于MIC和GPU的并行应用，涉及石油天然气、数值气象预报、生命科学、计算流体力学、金融风险分析、电磁仿真、CAE、机器学习等诸多领域。同时，浪潮高性能计算应用软件开发团队是目前同时掌握CPU、GPU、MIC应用技术的国际领先团队，在CPU、GPU、MIC技术方面已取得多项研究成果，并成功在SC和IDF大会上成功展示。
责任编辑：路途 来源： 51CTO
微信扫码分享
相关推荐
ByteHouse高性能向量检索实践——“以图搜图”
作为火山引擎旗下的OLAP引擎，ByteHouse推出了高性能向量检索能力。本篇聚焦ByteHouse对高性能向量检索能力的建设思路，并以“以图搜图”为例，详解OLAP的向量检索能力如何在具体场景中落地。2024-08-20 16:00:00
谷歌 Chrome 浏览器将内置截图工具，以及“以图搜图”功能
Chrome的截图工具将包含在Chrome的新共享菜单中，它将让用户更容易从网页中快速截图，类似于微软Edge浏览器的网页截图。2021-07-27 09:16:24
微软必应聊天正测试以图搜图等视觉搜索功能
微软广告和网络服务首席执行官米哈伊尔・帕拉欣（MikhailParakhin）近日和网友互动中，表示正为必应聊天（BingChat）测试图像识别和视觉搜索功能。2023-06-15 14:58:42
微软视觉搜索
微软正在 Edge Dev 中测试右键搜图功能，还有 OCR
IT之家5月3日消息据用户反馈，微软目前在最新的Edge浏览器开发者版本中加入了一个新的功能，如下图所示，当你右键图片时，会出现一个Bing搜图功能。2021-05-04 16:00:26
励图团队——以高性能图计算技术，繁荣鲲鹏计算产业生态
励图团队秉持电子科技大学“求实求真、大气大为”的校训，开拓进取、锐意创新，将团队和学校的先进科研成果向产业界转化，服务国家重大战略需求。2022-12-28 16:15:33
计算机
动态计算图和GPU支持操作
在深度学习中使用PyTorch的主要原因之一，是我们可以自动获得定义的函数的梯度导数。当我们操作我们的输入时，会自动创建一个计算图。该图显示了如何从输入到输出的动态计算过程。2021-07-06 06:26:43
华为在手机上，率先实现本地端自然语言搜图功能
在手机上用自然语言搜本地相册图片，业界首个移动端多模态语义检索引擎，改变了我们的手机使用体验。2023-07-04 13:50:21
自然语言手机
图像搜索的新纪元：Milvus与CLIP模型相伴的搜图引擎
索引的选择对于向量召回的性能至关重要，Milvus支持了Annoy，FAISS，HNSW，DiskANN等多种不同的索引，用户可以根据对延迟，内存使用和召回率的需求进行选择。2023-11-29 18:56:43
图像搜索FAISS
Chrome正获得原生截图功能 右键菜单整合Google Lens搜图功能
适用于Windows、macOS、Linux和ChromeOS的Chrome浏览器正部署官方原生的屏幕截图工具。除了截图工具之外，Google还计划添加对GoogleLens功能的支持，允许用户从浏览器的右键菜单中快速反向搜索图片。2021-07-27 13:15:16
用“大白话”精准搜图，OpenAI的CLIP惊艳了所有人
别再怕图片搜索结果牛头不对马嘴了，你可以试试这个精准图片搜索，来自OpenAI最新的技术CLIP。2021-01-27 13:50:17
流图计算在蚂蚁数仓加速场景的应用
数据仓库经过长时间的发展，技术体系已相对完善。传统数仓一般以表作为数据模型，来做数据建模以及数据的分析和处理。相比之下，图计算还是比较新的一门技术，主要是以图作为基本模型。本文将分享如何使用图计算以及图模型技术来解决传统数仓中的一些问题。2024-03-15 07:21:33
用网上随便搜的图就能合成
一个新AI模型只需要40张来源不限的网络图片，就能把整个手办渲染出来！2022-02-21 09:10:52
中国云计算大势图
分析大势，首先要搞清楚的问题，是目前整个云计算处于什么阶段，又将走向何方2013-03-28 09:55:17
中国云计算大势图
云计算对于中国，其实是一次难得的大机遇。众所周知，在中国IT行业中的主导力量是外企。国内企业无论核心技术、研发实力、企业机制和战略眼光，都乏善可陈。唯一具有国际竞争力的华为和中兴，优势主要在电信行业，企业IT领域如果按原来的格局一步步来，要走的路还很长。2013-04-08 09:44:32
步入云计算(组图)
2007年以来，云计算成为IT领域最令人关注的话题之一，也是当前大型企业、互联网的IT建设正在考虑和投入的重要领域。云计算的提出，引发了新的技术变革和新的IT服务模式。但是对大多数而言人，云还是一种还不确切的定义，什么是云，为什么需要云？2010-07-16 10:32:21
云计算
腾讯的一次惨败：搜搜输在哪？
搜搜今年发生无数变动，被拆分至腾讯其他事业部，几名高管相继离职，微博上有消息说，人员流失已经达到了40%。曾经几年的风光投入，也曾引起过百度的紧张，搜搜为什么会走到今天这一步呢？2012-12-06 13:30:28
搜搜架构
华为首创图计算HIMM模型 开启图数据高效处理
华为今日宣布，中央研究院香农实验室在2013Hadoop中国技术峰会(ChinaHadoopSummit2013)上提出业界首创的HIMM(HybridIterativeMatrixMultiplication)模型。使用该模型表达的图数据挖掘算法能够获得10倍的性能提升，这对于大数据处理的实时性具有重要意义。2013-12-16 14:15:05
AMD GPU虚拟化图卡大爆料
千呼万唤始出来，期待已久的新一代基于硬件的图形虚拟化显卡相继隆重登场了。作为业界顶尖的显卡厂商AMD、NVIDIA亦推出了自己的虚拟化显卡，其各自的旗舰产品FireProS7150x2与NVIDIAM60更是受到了市场的热捧。