链接分析技术(链接分析技术包括)

链接分析是什么意思

链接分析是指源于对Web结构中超链接的多维分析。

当前其应用主要体现在网络信息检索、网络计量学、数据挖掘、Web结构建模等方面。作为Google的核心技术之一，链接分析算法应用已经显现出巨大的商业价值。链接分析，简单的说就是全民投票，目标关键词得票率越高的网站，其关键词在搜索引擎的排名就越靠前。外链作为seo优化必备的手段，其重要的地位无可取代，是因为众多搜索引擎都将外链分析列为网站排名的第一关键要素，当然最重要的还是用户体验，其次就是网站的外链。

扩展资料：

链接分析的技巧和方法

1、反向链接数目.显然,数目越大,投票越多,对排名越有利.l反向链接页面本身的重要性.并不是所有链接都有相同的投票能力,高权重网页的链接对排名影响更大.质量比数目更重要.l反向链接增加的速度.增加速度过快,可能引起作弊嫌疑,或进进沙盒.

2、反向链接所在网站的内容主题.来自相关内容网站的链接对排名帮助更大.来自网络营销培训博客的链接对美食网站排名不会有什么影响.

3、反向链接所在页的内容是否相关.也不属于内容的相关性.网络营销培训博客里也可能有谈美食养颜的帖子,从这篇帖子来的链接对美食网站排名帮助更大一些.

4、反向链接的链接文字,也就是锚文字,是影响网页排名的重要因素之一.

5、反向链接锚文本前后邻近的文字.有时候链接文字没有什么意义,比如常见的点击这里,链接文字前后的文字可以帮助判定链接目标页的内容.这里所说的前后,指的是HTML代码中的间隔,而不一定是页面显示出来的视觉间隔.

参考资料来源：百度百科-链接分析

参考资料来源：百度百科-外链

搜索引擎的产生和发展经历了哪几个阶段?试简述各阶段的特点。.

第一个阶段是，分类目录的阶段。

分类目录可以称之为“网址导航”，hao123和Yahoo是这个阶段的代表。通过人工的收集和整理，把属于各个门类的高质量网站进行罗列，减少了用户筛选网站的复杂度，直接让用户进行访问。

这是一种没有技术含量但却在互联网发展早期非常好用的方案。

第二个阶段是，文本检索的阶段。

文本检索的阶段采用了许多经典的信息检索模型，如布尔模型、向量空间模型或概率模型，用来计算用户输入的查询词(Query)与网页文本内容的相关程度。

相比于第一个阶段的分类目录方法，文本检索阶段向前跨越了“一大步”，奠定了整个搜索引擎的发展大方向。

在效果上，这一阶段的解决方案仍然“差强人意”。

第三个阶段是，链接分析的阶段。

这一阶段的搜索引擎在文本检索的基础上，深入挖掘和利用了网页中链接所隐含的信息。用现在的眼光看来，网页之间的链接关系代表了一种“推荐关系”，通过对链接的分析可以得到重要的网站。

这一阶段的典型代表就是Google所提出的PageRank链接分析技术，通过链接分析对网页重要性进行筛选，再结合文本检索阶段中的相关性，使得搜索质量有了质的飞跃。

第四个阶段是，以用户为中心的阶段。

“以用户为中心”并不是一句空话，而是最近这些年各大互联网公司一直在实践的方向。

随着搜索引擎技术的完善，一些问题逐渐浮出了水面。比如，同样一个查询词“苹果”，在果粉和果农心中的目的显然不同；再比如，同样一个用户的查询词，也会因为搜索行为的时间和地点的不同而产生变化。

为了提供更好的搜索体验和搜索质量，理解用户带来的信息至关重要。在这个阶段，机器学习技术不断的与搜索引擎技术相融合，并大大改善了搜索质量和搜索体验。

天猫运营主要是在学什么？

运营像一个运筹帷幄的统筹支配系统。就像一台计算机的CPU，就像一个人的大脑，而运营要做的就是调节好客服，推广，美工，库房，售前售后等部门的协调性的所在。

一个运营体系包括什么，个人简单归结为五个大点：

1丶两个端点：产品和顾客

2丶三个关键：流量（引流）丶转化（优化）丶用户粘性(营销）。

那么，你就可以这么理解运营，就是用来解决从上游产品，到下游客户之间问题一条流程线；或者说，是用来解决前期流量丶中期转化和后期用户粘性的一个数据分析系统。

/iknow-pic.cdn.bcebos.com/b90e7bec54e736d13faddd1896504fc2d5626967"target="_blank"title="点击查看大图"class="ikqb_img_alink"/iknow-pic.cdn.bcebos.com/b90e7bec54e736d13faddd1896504fc2d5626967?x-bce-process=image%2Fresize%2Cm_lfit%2Cw_600%2Ch_800%2Climit_1%2Fquality%2Cq_85%2Fformat%2Cf_auto"esrc=""/

扩展资料：

天猫运营具体的每天工作安排：

一、查看数据判断是否达标

运营上班的第一件事，就是看数据。按照之前计划，把每月的销售量或者销售额落实到每日，这时候要做一个简单的判断：销售达标还是不达标?判断之后，就会有一个整体的思维分析：达标的话做得好的地方在哪里?不达标的话又差在哪里?综合分析各种情况找出背后的原因。

二、自己的店铺分析

对于店铺分析，目前主要是看生意参谋，然后结合推广的日常记录和客服日常记录来综合分析。需要分析什么呢?

一般来说是三个核心：流量、转化率、客单价。客单价几乎不怎么变化，转化率在一定时间内也是比较均衡的，那最重要的事什么呢?分析访客数，访客流量来源在哪里?达标的话，是哪块流量增多了?投入的成本是多少?没达标是因为哪块流量减少了?为什么减少?这些都要做到心中有数。

三、查看对手店铺并分析

当看完自己以后，另外一些注意力需要关注对手店铺。通常会看排名前10的店铺，和我同一水平线上的店铺都看个遍。要了解其他店铺是否有新品上来，采用什么手段来推广，宝贝描述有什么新的变化，销售量是多少，卖家是怎么评价的??了解对手的数据，以此作为参考来调整安排自己店铺。

四、付费推广分析

前面从整体上对自己店铺和对手店铺做了分析，接着开始细化自己付费流量的合理性。比如直通车，可以挑选热销单品，分析它的点击率、平均点击花费、展现排名、转化率、成交额、投入产出比等等。

如果点击率偏低，该如何换图?分析词语的去留，怎么加新词，追加哪些词的价格，降低哪些词的价格，删除哪些词，观察哪些词等，运营一定要心里有谱，心中有数。

五、活动

活动一直都是引大流量的手段，并且是引流新顾客的利器，一定要尽可能地创造条件多多参与，早上通常要看看之前报名活动的进展情况如何。如果没有可参与的活动，那么自己也可以单独策划活动。

比如服装上新的卖家，可以在每次上新的前三日做一个折扣价，之后恢复原价，这个时候你就可以通过旺旺、QQ、邮箱、微信、手机等把活动信息传播出去。

六、检查

到这里，基本上上午的时间也就差不多了。但还差一步，需要检查下日常的细节工作。直通车费用是否用完，软件使用是否到期，是否有售后问题需要处理，站内信有什么新的信息等等，把这些事情都过一遍，你会省掉很多不必要的麻烦。

数据库的数据检索和 搜索引擎的信息检索的不同点是什么？需要解决的核心问题和核心技术有何不同？

信息检索不等于搜索引擎。

互联网的发展明显地促进了信息检索技术的发展和应用，一大批搜索引擎产品诞生，为网民提供了很好的快速信息获取和网络信息导航工具，但是将信息检索等同于使用搜索引擎就陷入了误区。搜索引擎技术中也普遍采用了全文信息检索技术，但互联网信息搜索和企业信息搜索是不同的。

一是数据量。传统信息检索系统一般索引库规模多在GB级，但互联网网页搜索需要处理几千万上亿的网页，搜索引擎的基本策略都是采用检索服务器群集，对大多数企业应用是不合适和不必要的，并不适用于企业应用。

二是内容相关性。信息太多，查准和排序就特别重要，Google等搜索引擎发展了网页链接分析技术，根据互联网上网页被连接次数作为重要性评判的依据。但企业网站内部的网页链接由网站内容采编发布系统决定，其链接次数存在偶然因素，不能作为判别重要性的依据。真正的企业应用的检索要求基于内容的相关性排序，就是说，和检索要求最相关的信息排在检索结果的前面，链接分析技术此种排序基本不起作用。

三是实时性。搜索引擎的索引生成和检索服务是分开的，周期性更新和同步数据，大的搜索引擎的更新周期需要以周乃至月度量；而企业信息检索需要实时反映内外信息变化，搜索引擎系统机制并不能适应企业中动态性数据增长和修改的要求。

四是安全性。互联网搜索引擎都基于文件系统，但企业应用中内容一般均会安全和集中地存放在数据仓库中以保证数据安全和管理的要求。

五是个性化和智能化。由于搜索引擎数据和客户规模的限制，相关反馈、知识检索、知识挖掘等计算密集的智能技术很难应用，而专门针对企业的信息检索应用能在智能化和个性走得更远。

（InformationRetrieval），通常指文本信息检索，包括信息的存储、组织、表现、查询、存取等各个方面，其核心为文本信息的索引和检索。从历史上看，信息检索经历了手工检索、计算机检索到目前网络化、智能化检索等多个发展阶段。

目前，信息检索已经发展到网络化和智能化的阶段。信息检索的对象从相对封闭、稳定一致、由独立数据库集中管理的信息内容扩展到开放、动态、更新快、分布广泛、管理松散的Web内容；信息检索的用户也由原来的情报专业人员扩展到包括商务人员、管理人员、教师学生、各专业人士等在内的普通大众，他们对信息检索从结果到方式提出了更高、更多样化的要求。适应网络化、智能化以及个性化的需要是目前信息检索技术发展的新趋势。

信息检索技术的热点

◆智能检索或知识检索

传统的全文检索技术基于关键词匹配进行检索，往往存在查不全、查不准、检索质量不高的现象，特别是在网络信息时代，利用关键词匹配很难满足人们检索的要求。智能检索利用分词词典、同义词典，同音词典改善检索效果，比如用户查询“计算机”，与“电脑”相关的信息也能检索出来；进一步还可在知识层面或者说概念层面上辅助查询，通过主题词典、上下位词典、相关同级词典，形成一个知识体系或概念网络，给予用户智能知识提示，最终帮助用户获得最佳的检索效果，比如用户可以进一步缩小查询范围至“微机”、“服务器”或扩大查询至“信息技术”或查询相关的“电子技术”、“软件”、“计算机应用”等范畴。另外，智能检索还包括歧义信息和检索处理，如“苹果”，究竟是指水果还是电脑品牌，“华人”与“中华人民共和国”的区分，将通过歧义知识描述库、全文索引、用户检索上下文分析以及用户相关性反馈等技术结合处理，高效、准确地反馈给用户最需要的信息。

◆知识挖掘

目前主要指文本挖掘技术的发展，目的是帮助人们更好的发现、组织、表示信息，提取知识，满足信息检索的高层次需要。知识挖掘包括摘要、分类（聚类）和相似性检索等方面。

自动摘要就是利用计算机自动地从原始文献中提取文摘。在信息检索中，自动摘要有助于用户快速评价检索结果的相关程度，在信息服务中，自动摘要有助于多种形式的内容分发，如发往PDA、手机等。相似性检索技术基于文档内容特征检索与其相似或相关的文档，是实现用户个性化相关反馈的基础，也可用于去重分析。自动分类可基于统计或规则，经过机器学习形成预定义分类树，再根据文档的内容特征将其归类；自动聚类则是根据文档内容的相关程度进行分组归并。自动分类（聚类）在信息组织、导航方面非常有用。

◆异构信息整合检索和全息检索

在信息检索分布化和网络化的趋势下，信息检索系统的开放性和集成性要求越来越高，需要能够检索和整合不同来源和结构的信息，这是异构信息检索技术发展的基点，包括支持各种格式化文件，如TEXT、HTML、XML、RTF、MSOffice、PDF、PS2/PS、MARC、ISO2709等处理和检索；支持多语种信息的检索；支持结构化数据、半结构化数据及非结构化数据的统一处理；和关系数据库检索的无缝集成以及其他开放检索接口的集成等。所谓“全息检索”的概念就是支持一切格式和方式的检索，从目前实践来讲，发展到异构信息整合检索的层面，基于自然语言理解的人机交互以及多媒体信息检索整合等方面尚有待取得进一步突破。

另外，从工程实践角度，综合采用内存和外部存储的多级缓存、分布式群集和负载均衡技术也是信息检索技术发展的重要方面。

随着互联网的普及和电子商务的发展，企业和个人可获取、需处理的信息量呈爆发式增长，而且其中绝大部分都是非结构化和半结构化数据。内容管理的重要性日益凸现，而信息检索作为内容管理的核心支撑技术，随着内容管理的发展和普及，亦将应用到各个领域，成为人们日常工作生活的密切伙伴。

信息检索起源于图书馆的参考咨询和文摘索引工作，从19世纪下半叶首先开始发展，至20世纪40年代，索引和检索成已为图书馆独立的工具和用户服务项目。

随着1946年世界上第一台电子计算机问世，计算机技术逐步走进信息检索领域，并与信息检索理论紧密结合起来；脱机批量情报检索系统、联机实时情报检索系统相继研制成功并商业化，20世纪60年代到80年代，在信息处理技术、通讯技术、计算机和数据库技术的推动下，信息检索在教育、军事和商业等各领域高速发展，得到了广泛的应用。Dialog国际联机情报检索系统是这一时期的信息检索领域的代表，至今仍是世界上最著名的系统之一。

搜索引擎工作流程

互联网是一个宝库，搜索引擎是打开宝库的一把钥匙。然而，绝大多数网民在搜索引擎的相关知识及使用技巧上能力不足。国外的一次调查结果显示，约有71%的人对搜索的结果感到不同程度的失望。作为互联网的第二大服务，这种状况应该改变。

互联网的迅速发展，导致了网上信息的爆炸性增长。全球目前的网页超过20亿，每天新增加730万网页。要在如此浩瀚的信息海洋里寻找信息，就像“大海捞针”一样困难。搜索引擎正是为了解决这个“迷航”问题而出现的技术。

搜索引擎的工作包括如下三个过程：

1.在互联中发现、搜集网页信息；

2.对信息进行提取和组织建立索引库；

3.再由检索器根据用户输入的查询关字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。

发现、搜集网页信息

需要有高性能的“网络蜘蛛”程序（Spider）去自动地在互联网中搜索信息。一个典型的网络蜘蛛工作的方式，是查看一个页面，并从中找到相关信息, 然后它再从该页面的所有链接中出发，继续寻找相关的信息，以此类推，直至穷尽。网络蜘蛛要求能够快速、全面。网络蜘蛛为实现其快速地浏览整个互联网，通常在技术上采用抢先式多线程技术实现在网上聚集信息。通过抢先式多线程的使用，你能索引一个基于URL链接的Web页面，启动一个新的线程跟随每个新的URL链接，索引一个新的URL起点。当然在服务器上所开的线程也不能无限膨胀，需要在服务器的正常运转和快速收集网页之间找一个平衡点。在算法上各个搜索引擎技术公司可能不尽相同，但目的都是快速浏览Web页和后续过程相配合。目前国内的搜索引擎技术公司中，比如百度公司的网络蜘蛛采用了可定制、高扩展性的调度算法使得搜索器能在极短的时间内收集到最大数量的互联网信息，并把所 获得的信息保存下来以备建立索引库和用户检索。

索引库的建立

关系到用户能否最迅速地找到最准确、最广泛的信息，同时索引库的建立也必须迅速，对网络蜘蛛抓来的网页信息极快地建立索引，保证信息的及时性。对网页采用基于网页内容分析和基于超链分析相结合的方法进行相关度评价，能够客观地对网页进行排序，从而极大限度地保证搜索出的结果与用户的查询串相一致。新浪搜索引擎对网站数据建立索引的过程中采取了按照关键词在网站标题、网站描述、网站URL等不同位置的出现或网站的质量等级等建立索引库，从而保证搜索出的结果与用户的查询串相一致。

本文来自CSDN博客，转载请标明出处：

搜索引擎技术发展史

从搜索引擎所采取的技术来说，可以将搜索引擎技术的发展分为4个时代：分类目录、文本检索、链接分析和用户中心。

这个时代也可以称为“导航时代”，Yahoo和hao123是这个时代的代表。通过人工收集整理，把各类别的高质量网站或者网页分门别类罗列，用户可以根据分级目录来查找高质量的网站。这种方式是纯人工的方式，并未采取什么高深的技术手段。

采取分类目录的方式，一般被收录的网站质量都较高，但是这种方式可扩展性不强，绝大部分网站不能被收录。

文本检索的一代采用经典的信息检索模型，比如布尔模型、向量空间模型或者概率模型，来计算用户查询关键词和网页文本内容的相关程度。网页之间有丰富的链接关系，而这一代搜索引擎并未使用这些信息。早期的很多搜索引擎比如Alta Vista、Excite等大都采取这种模式。

相比分类目录，这种方式可以收录大部分网页，并能够按照网页内容和用户查询的匹配程度进行排序。但是总体而言，搜索结果质量不是很好。

这一代的搜索引擎充分利用了网页之间的链接关系，并深入挖掘和利用了网页链接所代表的含义。通常而言，网页链接代表的一种推荐关系，所以通过链接分析可以在海量内容中找出重要的网页。这种重要性本质上是对网页流行程度的一种衡量，因为被推荐次数多的网页其实代表了其具有流行性。搜索引擎通过结合网页流行性和内容相似性来改善搜索质量。

Google率先提出并使用PageRank链接分析技术，并大获成功，这同时也引进了学术界和其他商业搜索引擎的关注。后来学术界陆续推出了很多改进的链接分析算法。目前几乎所有的商业搜索引擎都采取了链接分析技术。

采用链接分析能够有效改善搜索质量，但是这种搜索引擎并未考虑用户的个性化要求，所以只要输入的查询请求相同，所有用户都会获得相同的搜索结果。另外，很多网站拥有者为了获得更高的搜索排名，针对链接分析算法提出了不少链接作弊方案，这样导致搜索结果质量变差。

目前的搜索引擎大都可以归为第三代，即以理解用户需求为核心。不同用户即使输入同一个查询关键词，但其目的也有可能不一样。比如同样输入“苹果”作为查询词，一个追捧iPhone的时尚青年和一个果农的目的会有相当大的差距。即使是同一个用户，输入相同的查询词，也会因为所在的时间和场合不同，需求有所变化。而目前搜索引擎大都致力于解决如下问题，如何能够理解用户发出的某个很短小的查询词背后包含的真正需求，所以这一代搜索引擎称之为以用户为中心的一代。

为了能够获取用户的真实需求，目前搜索引擎大都做了很多技术方面的尝试。比如利用用户发送查询词时的时间和地理位置信息，利用用户过去发出的查询词及相应的点击记录、历史信息等技术手段，来试图理解用户此时此刻的真正需求。

百度和Google的搜索算法，技术有何差异

百度是中国的，谷歌是美国的。各有侧重不能不可比较。技术都是一样的侧重不同罢了。百度侧重的是中国民俗，谷歌是侧重美国民俗。因为国情国法不同所以无可能比较量级。【搜索引擎技术是硬件加软件。硬件是实际使用的机器，软件是程序编程】搜索产品搜索引擎产品其实包括很多种类，并不限于我们最熟悉的全网搜索引擎。简单分类罗列一下：*全网搜索：包括市场份额最高的几大搜索引擎巨头，Google,Yahoo,Bing。*中文搜索：在中文搜索市场中，百度一家独大，其它几家如搜狗、搜搜、有道，市场份额相对还比较小。*垂直搜索：在各自的垂直领域成为搜索入口的，购物的淘宝，美食的大众点评，旅游的去哪儿，等等。*问答搜索：专注于为问句式提供有效的答案，比如Ask.com；其它的如问答社区像Quora和国内的知乎，应该也会往这方面发展。*知识搜索：典型代表就是WolframAlpha，区别于提供搜索结果列表，它会针对查询提供更详细的整合信息。*云搜索平台：为其它产品和应用提供搜索服务托管平台(SaaS或是PaaS)，Amazon刚刚推出它的CloudSearch,IndexTank在被Linkedin收购之前也是做这项服务。*其它：比始DuckDuckGo，主打隐私保护，也有部分用户买帐。各种搜索产品在各自领域都需要解决特定的技术和业务问题，所以也可以建立相对通用搜索的优势，来得到自己的市场和用户。搜索技术搜索引擎所涉及和涵盖的技术范围非常广，涉及到了系统架构和算法设计等许多方面。可以说由于搜索引擎的出现，把互联网产品的技术水平提高到了一个新的高度；搜索引擎无论是在数据和系统规模，还是算法技术的研究应用深度上，都远超之前的简单互联网产品。列举一些搜索引擎所涉及到的技术点：*爬虫(Crawling)*索引结构(InvertedIndex)*检索模型(VSMTF-IDF)*搜索排序(RelevanceRankingEvaluation)*链接分析(LinkAnalysis)*分类(DocumentQueryClassification)*自然语言处理(NLP:Tokenization,Lemmatization,POSTagging,NER,etc.)*分布式系统(DistributedProcessingStorage)*等等虽然搜索引擎涉及的技术方方面面，但归结起来最关键的几点在于：*系统：大规模分布式系统，支撑大规模的数据处理容量和在线查询负载*数据：数据处理和挖掘能力*算法：搜索相关性排序，查询分析，分类，等等系统搜索引擎系统是一个由许多模块组成的复杂系统。核心模块通常包括：爬虫，索引，检索，排序。除了必需的核心模块之外，通常还需要一些支持辅助模块，常见的有链接分析，去重，反垃圾，查询分析，等等。[附图：搜索系统架构概念模型]*爬虫从互联网爬取原始网页数据，存储于文档服务器。*文档服务器存储原始网页数据，通宵是分布式Key-Value数据库，能根据URL/UID快速获取网页内容。*索引读取原始网页数据，解析网页，抽取有效字段，生成索引数据。索引数据的生成方式通常是增量的，分块/分片的，并会进行索引合并、优化和删除。生成的索引数据通常包括：字典数据，倒排表，正排表，文档属性等。生成的索引存储于索引服务器。*索引服务器存储索引数据，主要是倒排表。通常是分块、分片存储，并支持增量更新和删除。数据内容量非常大时，还根据类别、主题、时间、网页质量划分数据分区和分布，更好地服务在线查询。*检索读取倒排表索引，响应前端查询请求，返回相关文档列表数据。*排序对检索器返回的文档列表进行排序，基于文档和查询的相关性、文档的链接权重等属性。*链接分析收集各网页的链接数据和锚文本（AnchorText），以此计算各网页链接评分，最终会作为网页属性参与返回结果排序。*去重提取各网页的相关特征属性，计算相似网页组，提供离线索引和在线查询的去重服务。*反垃圾收集各网页和网站历史信息，提取垃圾网页特征，从而对在线索引中的网页进行判定，去除垃圾网页。*查询分析分析用户查询，生成结构化查询请求，指派到相应的类别、主题数据服务器进行查询。*页面描述/摘要为检索和排序完成的网页列表提供相应的描述和摘要。*前端接受用户请求，分发至相应服务器，返回查询结果[附图：爬虫系统架构]爬虫系统也是由多个模块构成：*URLScheduler存储和高度待爬取的网页地址。*Downloader根据指定的网页列表爬取网页内容，存储至文档服务器。*Processer对网页内容进行简单处理，提取一些原始属性，为爬取的后续操作服务。*TrafficController爬取流量控制，防止对目标网站在短时间内造成过大负载[附图：搜索系统架构实例：Google这是Google早期的一张系统架构图，可以看出Google系统的各模块基本和前面概念模型一致。所以一个完整的全网搜索系统的大致系统架构是类似的，区别和竞争力体现在细节实现和优化上。数据除了搜索引擎系统提供了系统支撑外，搜索结果质量很大程度上依赖于源数据的数量和质量，以及数据处理的能力。全网数据的主要来源通常是从互联网上进行自动爬取，从一些高质量的种子站点开始，并沿网页链接不断，收集巨量的网页数据；这通常能达到数据在数量的要求，但也不可避免混入了大量的低质量网页。除了自动爬取来的数据外，搜索引擎的数据来源还可以来自人工收集、合作伙伴提供、第三方数据源和API、以及购买；这些来源通常会有更好的质量保证，但在数量规模和覆盖率上会相对少一些，可以和爬取的数据形成有效的互补。收集到足量的原始数据后，需要进行各种数据处理操作，把原始数据转换成在线检索需要的数据。这个过程通常包括：网页分析，数据抽取，文本处理和分词，索引及合并；最终生成的数据会包括：词典，倒排表，正排表，文档权重和各种属性。最终生成的数据要布署上相应的在线检索服务器上，通常会进行数据分区和分片布署，数据内容更丰富时还可能根据内容分类和主题进行分别布署，比如新闻时效类的网页可能就会独立布署，针对性地响应时效类的查询[附图：索引数据：字典、倒排表、正排表]这张图来源于Google早期的索引数据结构，包括词典、倒排表、正排表。算法有了相当数量的高质量数据之后，搜索结果的质量改进就取决于搜索算法的准确性上。现在的搜索引擎通常通过向量空间模型（VSM=VectorSpaceModel）来计算查询和各文档之间的文本相似性；即把查询或文档抽象成一个词向量，然后再计算向量在向量空间中的夹角，可以用余弦公式得出，作为文本相似度的度量值。在基本的向量空间模型基础上通常会进一步加入词的权重值进行改进，通过经典的TF-IDF公式得出，即词频（TF）乘上逆文档频率（IDF）；其中TF=TermFrequency，即该词在所在文档中的出现次数；IDF=InvertDocumentFrequency，即包含该词的文档数除以总文档数，再取反，通常还会取对数来降维，这个值值越大表示这个词越能代表文档特征。除了通过向量空间模型得出的文本匹配评分外，每个文档还会有自己本身的质量评分，通常由网页链接数据计算得出，代表了该网页本身的流行度权重。最终的评分会以文本匹配的查询时动态评分和文档静态评分为基础计算得出；搜索引擎的评分计算都会考虑很多因素，但这两项通常是评分计算的基础。有了确定的排序算法后，另一个重要的任务就是评估搜索结果的质量。由于搜索结果的好与坏是一个比较主观的过程，所以进行定量的评估并不容易。常见的做法是通过事先选定一批查询，通过人工评估或是预先设定标准值的方式，逐个评估每个设定查询搜索结果，最终得到一个统计结果，作为搜索算法的评估度量。另一类做法是直接通过线上的用户点击数据来统计评估搜索结果质量，或是通过A/B测试来比较两种排序算法的点击效果来衡量。合理而有效的评估方法，是搜索算法可以不断改进和比较的前提。查询分析是另一个对搜索结果影响很大的方面，主要任务是把用户的查询文本转换成内部的结构化的搜索请求。涉及的处理可能包括基本的分词处理，专有名词的识别和提取，或是查询模式的识别，或是查询分类的识别。这些处理的准确性将能极大地改进搜索请求的方式，进一步影响搜索结果的相关性和质量。开源方案近年来在搜索公司内部搜索系统和技术的改进和发展的同时，一批开源的搜索系统和解决方案也逐渐发展和成熟起来。当然开源系统在功能全面性、复杂性和规模上都不能与专业的搜索引擎系统相比，但对于中小企业的搜索应用来说应该已经能很好地满足需求，而且也成功应用到了一些大规模的产品系统中（比如Twitter的搜索就使用和改进了Lucene）。现在比较常见的开源搜索解决方案有：*LuceneLucene自然是现在最流行，使用度最高的搜索开源方案。它用Java开发，以索引和检索库的方式提供，可以很容易地嵌入需要的应用中。*SolrSolrCloudSolr是Lucene的子项目，同属Apache软件基金会项目；它是基于Lucene之上实的一个完整的搜索服务应用，提供了大量的搜索定制功能，可以满足大部分的搜索产品需求。SolrCloud是Solr为了加强其分布式服务能力而开发的功能，目前还在开发阶段，将在Solr4.0发布。*ZoieSensei(Linkedin)Zoie是Linkedin公司在Lucene基础上实现的准实时索引库，通过加入额外的内存索引，来达到准实时索引的效果。Sensei是Linkedin公司在Zoie基础上实现的分布式搜索服务，通过索引分区来实现分布式搜索服务。*ElasticSearchElasticSearch也是刚推出不久的一个基于Lucene实现的分布式搜索服务，据说在分布式支持和易用性上都有不错的表现。因为还比较年轻，真实的应用应该还不多，需要观察。因为也是基于Lucene的分布式开源搜索框架，基本上会与SolrCloud和Sensei形成正面竞争关系。*其它开源产品除了Lucene家族以外，还有一些其它的开源产品，比如Sphinx和Xapian，也有不少的应用；但近年来的更新频率和社区活跃度都不太能和Lucene系的产品相比。*托管平台除了开源产品外，现在还出现了一些基于云计算和云服务的搜索服务，比如Amazon新近推了的CloudSearch，还有更早一些的IndexTank（已被Linkedin收购）。这类服务无需自己布置搜索系统，直接使用在线服务，按需付费，所以也将是开源产品的替代方案和竞争对手。附几张上面提到的开源系统的概念模型和架构图：[附图：Lucene概念模型][附图：Lucene工作流程][附图：Sensei系统架构][附图：SolrCloud系统架构]现状与未来：传统的搜索引擎经过了十几年的发展，目前在技术和产品上都已走向逐渐稳定和成熟，通用搜索的市场也基本进入饱和，不像早些年一直呈现高增长率。同时，在各个垂直领域，也出现了很多和产品结合的很好的垂直搜索产品，比如淘宝的购物搜索，大众点评的美食搜索，去哪儿和酷讯的旅游搜索等，也都在各自领域占据了相当大的市场，成为除了通用搜索引擎之外的重要的用户入口。在开源领域，各种开源产品和解决方案也逐渐发展成熟，通用搜索技术不再为大公司所专有，中小企业能够以较低的成本实现自己的搜索应用。现在搜索引擎产品之间的竞争的在数据、应用方式和产品形态上，在系统架构和基本算法上区分并不大。搜索引擎在未来发展上，一是搜索将不仅仅以独立产品的形式出现，的会作为搜索功能整合到的产品和应用中。在产品形态上，基于传统的搜索引擎，会演化出像推荐引擎，知识引擎，决策引擎等形式的产品，更好地满足和服务用户需求。而搜索引擎所涉及和发展起来的各种技术，会更广泛地应用到各种基它产品上，比如自然语言处理，推荐和广告，数据挖掘，等等。总之，搜索引擎对互联网技术和产品带来的影响是巨大的，未来也仍将有很大的发展和应用空间。