索引

1、Google搜索引擎简介a)Google搜索引擎由两个斯坦福大学博士生LarryPage与SergeyBrin于1998年9月发明。复杂的自动搜索方法可以避免任何人为感情因素。与其它搜索引擎不同，Google的结构设计即确保了它绝对诚实公正，任何人都无法用钱换取较高的排名。b)Google通过对30多亿网页进行整理，Google可为世界各地的用户提供适需的搜索结果，而且搜索时间通常不到半秒。现在，每天需要提供亿次查询服务，占全球搜索请求量的1/3;c)覆盖多个国家，支持多达种语言，包括简体中文和繁体中文。Google是由英文单词“googol”变化而来。“googol”是美国数学家EdwardKasner的侄子MiltonSirotta创造的一个词，表示1后边带有100个零的数字。Google使用这个词代表公司想征服网上无穷无尽资料的雄心。2、什么是Google关键字广告?Google关键词广告（AdWords）是基于关键字搜索的文字广告，根据客户购买的关键字，以纯文本方式将广告安置在相关搜索页面的右侧空白处，每个页面最多放置8个这样的文字链接。关于百度百度,领先的中文搜索引擎.每分每秒,百度以超过亿计的中文网页,全球独有的"超链分析"技术,亚秒级的迅捷速度,庞大的服务器群,接受来自全球各个国家的中文搜索请求.每一年,通过对数十亿次搜索的响应,数千万的网民从百度分享到最纯粹的搜索体验,徜徉信息之海.百度公司是中国互联网领先的软件技术提供商和平台运营商.中国提供搜索引擎的主要网站中,超过80%由百度提供.1999年底,百度成立于美国硅谷,它的创建者是在美国硅谷有多年成功经验的李彦宏先生及徐勇先生.2000年百度公司回国发展.百度的起名,来自于"众里寻她千百度"的灵感,它寄托着百度公司对自身技术的信心.百度公司自进入中国互联网及软件市场以来,就一直以开发真正符合中国人习惯的互联网核心技术为使命,依靠自身实力不断研发出拥有自主知识产权的可扩展的网络应用软件.百度的产品及服务是针对不同企业及各机构网络化的基本需求而设计的,主要产品线有:一,基于全球互联网的中文网页检索.这条产品线主要服务于门户网站,客户包括Sina,Sohu,Tom,263在线,21CN,上海热线,广州视窗等.二,企业级的信息检索解决方案,包括网事通系列软件及百度企业竞争情报系统.其中,网事通系列软件包括网站站内检索系统,行业垂直检索系统,新闻监控系统,企业垂直检索系统,实时信息系统及信息采集系统.目前,这些企业级的信息检索解决方案正服务于各个不同领域,包括电信企业,如广东电信,河北电信;金融企业,如中国人民银行,中国银行;传媒领域,如中央电视台,香港TVB,光明日报网;教育领域,如清华大学等.此外,百度还利用遍布在全国庞大的CDN网络提供的信息传递技术(即网站加速及网络缓存技术),它的使用者包括深圳商报,四川新闻网,中国基础教育网等.2001年10月百度依据李彦宏先生的第三定律和百度自身庞大的搜索用户群,适时地推出了搜索引擎竞价排名这一全新的商业模式.竞价排名,是指由用户(通常为企业)为自己的网页出资购买关键字排名,按点击计费的一种服务.通过竞价排名,搜索结果的顺序将根据竞价的多少由高到低排列,同时奉行不点击不收费的原则.目前,加入竞价排名推广阵营的网站包括各大中文门户网站,中国各地信息港以及百度提供技术支持的所有网站,来自于不同领域的数千家企业和个人主页参与了竞价排名.●关于百度搜索引擎百度搜索引擎使用了高性能的"网络蜘蛛"程序自动的在互联网中搜索信息,可定制,高扩展性的调度算法使得搜索器能在极短的时间内收集到最大数量的互联网信息.百度在中国各地和美国均设有服务器,搜索范围涵盖了中国大陆,香港,台湾,澳门,新加坡等华语地区以及北美,欧洲的部分站点.百度搜索引擎拥有目前世界上最大的中文信息库,总量达到6000万页以上,并且还在以每天几十万页的速度快速增长.百度一直以开发最符合中国人使用习惯的搜索引擎为己任,经过三年努力,百度搜索引擎已成为世界上最强大的中文搜索引擎.核心技术:超链分析超链分析技术,是新一代搜索引擎的关键技术,已为世界各大搜索引擎普遍采用,百度总裁李彦宏就是超链分析专利的唯一持有人.在学术界,一篇论文被引用得越多就说明其越好,学术价值就越高.超链分析就是通过分析链接网站的多少来评价被链接的网站质量,这保证了用户在百度搜索时,越受用户欢迎的内容排名越靠前.●更大,更新,更快百度在中文互联网拥有天然优势,支持搜索1亿3千万中文网页,是世界上最大的中文搜索引擎.并且,百度每天都在增加几十万新网页,对重要中文网页实现每天更新,用户通过百度搜索引擎可以搜到世界上最新最全的中文信息.百度在中国各地分布的服务器,能直接从最近的服务器上,把所搜索信息返回给当地用户,使用户享受极快的搜索传输速度.●为中文用户度身定做百度深刻理解中文用户搜索习惯,开发出关键词自动提示:用户输入拼音,就能获得中文关键词正确提示.百度还开发出中文搜索自动纠错;如果用户误输入错别字,可以自动给出正确关键词提示.百度快照是另一个广受用户欢迎的特色功能,解决了用户上网访问经常遇到死链接的问题:百度搜索引擎已先预览各网站,拍下网页的快照,为用户贮存大量应急网页.即使用户不能链接上所需网站时,百度为用户暂存的网页也可救急.而且通过百度快照寻找资料往往要比常规方法的速度快得多.百度还有其它多项体贴普通用户的功能,包括相关搜索,中文人名识别,简繁体中文自动转换,网页预览等.百度已增加了专业的MP3搜索,Flash搜索,新闻搜索,信息快递搜索,并正在快速发展其它用户喜欢的搜索功能.百度搜索引擎,将发展为最全面的搜索引擎,为所有中文用户打开互联网之门.●百度创建人李彦宏先生李彦宏,百度网络技术有限公司总裁.1991年毕业于北京大学信息管理专业,后赴美国布法罗纽约州立大学完成计算机科学硕士学位.在美国的8年间,李彦宏先生先后担任了道·琼斯公司高级顾问,《华尔街日报》网络版实时金融信息系统设计者,以及在国际知名互联网企业-INFOSEEK资深工程师,是新一代互联网技术领域的权威专家.他最先创建了ESP技术,并将它成功的应用于INFOSEEK/GO.COM的搜索引擎中.GO.COM的图像搜索引擎是他的另一项极其具有应用价值的技术创新.1996年,他首先解决了如何将基于网页质量的排序与基于相关性排序完美结合的问题,并因此获得美国专利.1999年底,携风险投资回国与好友徐勇共同创建百度网络技术有限公司.在他的带领下,百度公司一直依靠自身实力为广大网民提供优秀的搜索引擎,推出全新商业模式---搜索引擎竞价排名,为众多企业提供新时代最先进的网络营销工具以及拥有自主知识产权的企业级应用软件,同时为主要中文门户提供最先进的搜索引擎技术服务.百度在技术方面不断保持技术领先优势.相继发布mp3搜索,图片搜索,新闻搜索等个性化服务.2003年6月,据美国第三方权威统计机构alexa统计,在最受欢迎的中文网站中百度已经位居第四,表明百度已杀进国内网站4强,成为世界上最强大的中文搜索引擎和中国网民首选的搜索引擎.百度的出现,为中国互联网树起了民族技术的一面旗帜.2001年,李彦宏先生被评选为"中国十大创业新锐"之一.2001年,李彦宏先生捐赠清华大学助教工程2002年,李彦宏先生荣获首界"中国十大IT风云人物"称号.2003年,李彦宏先生荣获"北京市统战系统防治非典型肺炎工作先进个人"称号.2003年,李彦宏先生荣获"中关村科技园区第二届优秀优秀创业者"称号.徐勇先生徐勇,1982年就读北京大学生物系,1989年完成生物硕士学位后,获美国洛克菲勒基金会博士奖学金,赴美留学,于美国德州A&M大学完成博士学位,随后任加州大学伯克利分校博士后.在美国10年期间,徐勇先后任职于两家著名的跨国高新技术公司(QIAGEN,Inc.和Stratagene公司)的高级销售经理,并且获得过杰出销售奖.1998年,徐勇作为制片人之一拍摄了大型专题纪录片《走进硅谷》,客观以及全面的反映硅谷的发展过程,深度探求了硅谷成功背后的种种因素.在硅谷他多次应邀给来自中国大陆的高级政府官员介绍硅谷的风险投资机制和创业文化.1999年,徐勇与他人合作创立公司,这个网络电子商务公司在六个月内就实现了赢利.他与硅谷的众多商业团体都保持着密切的联系,并为许多新兴的高科技企业提供商业咨询.1999年底,徐勇与好友李彦宏回国创建了百度网络技术有限公司.

是的。Google Scholar是一个可以免费搜索学术文章的网络搜索引擎，由计算机专家Anurag Acharya开发。2004年11月，Google第一次发布了Google学术搜索的试用版，该项索引包括了世界上绝大部分出版的学术期刊。

· 通过全表扫描的方式访问数据； · 通过ROWID访问数据； · 通过索引的方式访问数据； · Oracle顺序读取表中所有的行，并逐条匹配WHERE限定条件。 · 采用多块读的方式进行全表扫描，可以有效提高系统的吞吐量，降低I/O次数。 · 即使创建索引，Oracle也会根据CBO的计算结果，决定是否使用索引。 注意事项： · 只有全表扫描时才可以使用多块读。该方式下，单个数据块仅访问一次。 · 对于数据量较大的表，不建议使用全表扫描进行访问。 · 当访问表中的数据量超过数据总量的5%—10%时，通常Oracle会采用全表扫描的方式进行访问。 · 并行查询可能会导致优化器选择全表扫描的方式。1.2ROWID访问表 · Rowid是数据存放在数据库中的物理地址，能够唯一标识表中的一条数据。 · Rowid指出了一条记录所在的数据文件、块号以及行号的位置，因此通过ROWID定位单行数据是最快的方法。 注意事项： · Rowid作为一个伪列，其数值并不存储在数据库中，当查询时才进行计算。 · Rowid除了在同一集簇中可能不唯一外，每条记录的Rowid唯一。1.3 INDEX访问表 · 通过索引查找相应数据行的Rowid，再根据Rowid查找表中实际数据的方式称为“索引查找”或者“索引扫描”。 · 一个Rowid对应一条数据行（根据Rowid查找结果，仅需要对Rowid相应数据的数据块进行一次I/O操作），因此该方式属于“单块读”。 · 对于索引，除了存储索引的数据外，还保存有该数据对应的Rowid信息。 · 索引扫描分为两步：1）扫描索引确定相应的Rowid信息。 2）根据Rowid从表中获得对应的数据。 注意事项： · 对于选择性高的数据行，索引的使用会提升查询的性能。但对于DML操作，尤其是批量数据的操作，可能会导致性能的降低。 · 全表扫描的效率不一定比索引扫描差，关键看数据在数据块上的具体分布。 索引是关系数据库中用于存放每一条记录的一种对象，主要目的是加快数据的读取速度和完整性检查。建立索引是一项技术性要求高的工作。一般在数据库设计阶段的与数据库结构一道考虑。应用系统的性能直接与索引的合理直接有关。 (1) 单列索引 单列索引是基于单个列所建立的索引。 (2) 复合索引 复合索引是基于两列或是多列的索引，在同一张表上可以有多个索引，但是要求列的组合必须不同。 (1) 重命名索引 (2) 合并索引 （表使用一段时间后在索引中会产生碎片，此时索引效率会降低，可以选择重建索引或者合并索引,合并索引方式更好些，无需额外存储空间，代价较低） (3) 重建索引 方式一：删除原来的索引，重新建立索引 当不需要时可以将索引删除以释放出硬盘空间。命令如下： 例如： 注：当表结构被删除时，有其相关的所有索引也随之被删除。 方式二： Alter index 索引名称 rebuild; · 通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。 · 索引可以大大加快数据的检索速度，这是创建索引的最主要的原因。 · 可以加速表和表之间的连接，特别是在实现数据的参考完整性方面特别有意义。 · 在使用分组和排序子句进行数据检索时，同样可以显著减少查询中分组和排序的时间。 · 通过使用索引，可以在查询的过程中，使用优化隐藏器，提高系统的性能。 · 索引的层次不要超过4层。 · 创建索引和维护索引要耗费时间，这种时间随着数据量的增加而增加。 · 除了数据表占数据空间之外，每一个索引还要占一定的物理空间，如果要建立聚簇索引，那么需要的空间就会更大。 · 当对表中的数据进行增加、删除和修改的时候，索引也要动态的维护，这样就降低了数据的维护速度。 · 更新数据的时候，系统必须要有额外的时间来同时对索引进行更新，以维持数据和索引的一致性。 1) 不恰当的索引不但于事无补，反而会降低系统性能。因为大量的索引在进行插入、修改和删除操作时比没有索引花费更多的系统时间。 1) 应该建索引的列 · 在经常需要搜索的列上，可以加快搜索的速度； · 在作为主键的列上，强制该列的唯一性和组织表中数据的排列结构； · 在经常用在连接的列上，这些列主要是一些外键，可以加快连接的速度； · 在经常需要根据范围进行搜索的列上创建索引，因为索引已经排序，其指定的范围是连续的； · 在经常需要排序的列上创建索引，因为索引已经排序，这样查询可以利用索引的排序，加快排序查询时间； · 在经常使用在WHERE子句中的列上面创建索引，加快条件的判断速度。 2) 不应该建索引的列 · 在大表上建立索引才有意义，小表无意义。 · 对于那些在查询中很少使用或者参考的列不应该创建索引。 · 对于那些只有很少数据值的列也不应该增加索引。比如性别，在查询的结果中，结果集的数据行占了表中数据行的很大比例，。增加索引，并不能明显加快检索速度。 · 对于那些定义为blob数据类型的列不应该增加索引。这是因为，这些列的数据量要么相当大，要么取值很少。 · 当修改性能远远大于检索性能时，不应该创建索引。 一个表中有几百万条数据，对某个字段加了索引，但是查询时性能并没有什么提高，这主要可能是oracle的索引限制造成的。Oracle的索引有一些索引限制，在这些索引限制发生的情况下，即使已经加了索引，oracle还是会执行一次全表扫描，查询的性能不会比不加索引有所提高，反而可能由于数据库维护索引的系统开销造成性能更差。 下面的查询即使在djlx列有索引，查询语句仍然执行一次全表扫描。 把上面的语句改成如下的查询语句，这样，在采用基于规则的优化器而不是基于代价的优化器（更智能）时，将会使用索引。 特别注意：通过把不等于操作符改成OR条件，就可以使用索引，避免全表扫描。 使用IS NULL或IS NOT NULL同样会限制索引的使用。因此在建表时，把需要索引的列设成NOT NULL。如果被索引的列在某些行中存在NULL值，就不会使用这个索引（除非索引是一个位图索引）。 如果不使用基于函数的索引，那么在SQL语句的WHERE子句中对存在索引的列使用函数时，会使优化器忽略掉这些索引。 下面的查询不会使用索引（只要它不是基于函数的索引） 也是比较难于发现的性能问题之一。比如：bdcs_qlr_xz中的zjh是NVARCHAR2类型,在zjh字段上有索引。如果使用下面的语句将执行全表扫描。 因为Oracle会自动把查询语句改为 特别注意：不匹配的数据类型之间比较会让Oracle自动限制索引的使用,即便对这个查询执行Explain Plan也不能让您明白为什么做了一次“全表扫描”。 (1) 索引无效 (2) 索引有效

rowid的效率更高

rowid--是行的唯一标识，这样查询时能快速准确定位到该行，不是主键，是系统默认有的主键的作用很明显，主键必须是唯一不能重复的，插入重复主键的记录是要报错的哟

rowid 没有索引。但是一个表中你建立了一个主键，那么这个主键默认就成为了一个索引。

1）create unique index "Index_1" on TEST_TABLE ( "EmployeeID" ASC, "CustomerID" DESC, "OrderID" ASC)/2）create index "Index_2" on TEST_TABLE ( "OrderDate" ASC, "RequiredDate" ASC, "ShippedDate" ASC)pctused 70compute statisticsparallel(2)/

SolrQuery solrQuery = new SolrQuery(); Map map = new HashMap(); map.put(FacetParams.FACET_DATE, "manufacturedate_dt"); map.put(FacetParams.FACET_DATE_START,"2004-01-01T00:00:00Z"); map.put(FacetParams.FACET_DATE_END,"2010-01-01...

在solr与tomcat整合文章中，我用的索引库是mycore，现在就以这个为例。首先要准备jar包：solr-dataimporthandler-4.8.1.jar、solr-dataimporthandler-extras-4.8.1.jar和mysql-connector-java-5.0.7-bin.jar这三个包到solr的tomcat的webappssolrWEB-INFlib下在这个文件夹的conf下配置两个文件，添加一个文件。先配置solrconfig.xml。在该文件下添加一个新节点。<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"><lst name="defaults"><str name="config">data-config.xml</str></lst></requestHandler>在solrconfig.xml的同目录下创建data-config.xml。配置：复制代码<dataConfig><dataSource type="JdbcDataSource"driver="com.mysql.jdbc.Driver"url="jdbc:mysql://localhost:3306/courseman"user="root"password="mysql" /><document><entity name="student"query="SELECT * FROM student"><field column="id" name="id" /><field column="name" name="name" /><field column="gender" name="gender" /><field column="major" name="major" /><field column="grade" name="grade" /></entity></document></dataConfig>复制代码schemal.xml的配置复制代码<?xml version="1.0" ?><!--Licensed to the Apache Software Foundation (ASF) under one or morecontributor license agreements. See the NOTICE file distributed withthis work for additional information regarding copyright ownership.The ASF licenses this file to You under the Apache License, Version 2.0(the "License"); you may not use this file except in compliance withthe License. You may obtain a copy of the License atUnless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License.--><schema name="example core one" version="1.1"><fieldtype name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/><fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/><fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/><!-- general --><field name="id" type="int" indexed="true" stored="true" /><field name="gender" type="string" indexed="true" stored="true" /><field name="name" type="string" indexed="true" stored="true" /><field name="major" type="string" indexed="true" stored="true" /><field name="grade" type="string" indexed="true" stored="true" /><field name="_version_" type="long" indexed="true" stored="true"/><!-- field to use to determine and enforce document uniqueness. --><uniqueKey>id</uniqueKey><!-- field for the QueryParser to use when an explicit fieldname is absent --><defaultSearchField>name</defaultSearchField><!-- SolrQueryParser configuration: defaultOperator="AND|OR" --><solrQueryParser defaultOperator="OR"/></schema>复制代码默认的文件不是这样的，稍微改动了一下。field 的type类型是根据fieldtype 的name定义的。class是solr自定义的不能更改。shcema.xml文件的field字段的属性介绍：（1）name：字段名称（2）type：字段类型（此处type不是java类型，而是下面定义的fieldType）（3）indexed：是否索引看true--solr会对这个字段进行索引，只有经过索引的字段才能被搜索、排序等；false--不索引（4）stored：是否存储看true--存储，当我们需要在页面显示此字段时，应设为true，否则false。（5）required：是否必须看true--此字段为必需，如果此字段的内容为空，会报异常；false--不是必需（6）multiValued：此字段是否可以保存多个值看（7）omitNorms：是否对此字段进行解析看有时候我们想通过某个字段的完全匹配来查询信息，那么设置 indexed="true"、omitNorms="true"。（8）default：设置默认值有这样一个FieldType描述：<fieldType name="text_general" positionIncrementGap="100"><analyzer type="index"><tokenizer/><filter ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" /><filter/></analyzer><analyzer type="query"><tokenizer/><filter ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" /><filter synonyms="synonyms.txt" ignoreCase="true" expand="true"/><filter/></analyzer></fieldType>属性说明：（1）name：类型名称，<field>中的type引用的就是这个name（2）class：solr自定义的类型（3）<analyzer type="index">定义建立索引时使用的分词器及过滤器（4）<analyzer type="query">定义搜索时所使用的分词器及过滤器（5）<tokenizer/>定义分词器（6）<filter/>定义过滤器uniqueKey属性<uniqueKey>id</uniqueKey>类似于数据表数据的id，solr索引库中最好定义一个用于标示document唯一性的字段，此字段主要用于删除document。defaultSearchField属性就是你在做query搜寻时若不指定特定栏位做检索时, Solr就会只查这个栏位.<defaultSearchField>default</defaultSearchField>copyField属性是用来复制你一个栏位里的值到另一栏位用. 如你可以将name里的东西copy到major里, 这样solr做检索时也会检索到name里的东西.<copyField source="name" dest="major"/>现在可以将数据库的数据导入solr了。点击Execute就可以了。

正向索引（正排索引） ：正排表是以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。 正排表结构如图1所示，这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护;因为索引是基于文档建立的，若是有新的文档加入，直接为该文档建立一个新的索引块，挂接在原来索引文件的后面。若是有文档删除，则直接找到该文档号文档对应的索引信息，将其直接删除。但是在查询的时候需对所有的文档进行扫描以确保没有遗漏，这样就使得检索时间大大延长，检索效率低下。 尽管 正排表的工作原理非常的简单 ，但是由于其检索效率太低，除非在特定情况下，否则实用性价值不大。 反向索引（倒排索引） ：倒排表以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。 由于每个字或词对应的文档数量在动态变化，所以倒排表的建立和维护都较为复杂，但是在查询的时候由于可以一次得到查询关键字所对应的所有文档，所以效率高于正排表。在全文检索中，检索的快速响应是一个最为关键的性能，而索引建立由于在后台进行，尽管效率相对低一些，但不会影响整个搜索引擎的效率。 倒排表的结构图如图2：

请查看Lucene3.5源码中 org.apache.lucene.index.IndexWriterConfig 的156行。

增量索引index定义配置如下#增量索引 index定义index delta:mysql{source = deltapath = /usr/local/coreseek/var/data/delta/charset_dictpath = /usr/local/mmseg3/etc/charset_type = zh_cn.utf-8}

在solr与tomcat整合文章中，我用的索引库是mycore，现在就以这个为例。首先要准备jar包：solr-dataimporthandler-4.8.1.jar、solr-dataimporthandler-extras-4.8.1.jar和mysql-connector-java-5.0.7-bin.jar这三个包到solr的tomcat的webappssolrWEB-INFlib下在这个文件夹的conf下配置两个文件，添加一个文件。先配置solrconfig.xml。在该文件下添加一个新节点。<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"><lst name="defaults"><str name="config">data-config.xml</str></lst></requestHandler>在solrconfig.xml的同目录下创建data-config.xml。配置：复制代码<dataConfig><dataSource type="JdbcDataSource"driver="com.mysql.jdbc.Driver"url="jdbc:mysql://localhost:3306/courseman"user="root"password="mysql" /><document><entity name="student"query="SELECT * FROM student"><field column="id" name="id" /><field column="name" name="name" /><field column="gender" name="gender" /><field column="major" name="major" /><field column="grade" name="grade" /></entity></document></dataConfig>复制代码schemal.xml的配置复制代码<?xml version="1.0" ?><!--Licensed to the Apache Software Foundation (ASF) under one or morecontributor license agreements. See the NOTICE file distributed withthis work for additional information regarding copyright ownership.The ASF licenses this file to You under the Apache License, Version 2.0(the "License"); you may not use this file except in compliance withthe License. You may obtain a copy of the License atUnless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License.--><schema name="example core one" version="1.1"><fieldtype name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/><fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/><fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/><!-- general --><field name="id" type="int" indexed="true" stored="true" /><field name="gender" type="string" indexed="true" stored="true" /><field name="name" type="string" indexed="true" stored="true" /><field name="major" type="string" indexed="true" stored="true" /><field name="grade" type="string" indexed="true" stored="true" /><field name="_version_" type="long" indexed="true" stored="true"/><!-- field to use to determine and enforce document uniqueness. --><uniqueKey>id</uniqueKey><!-- field for the QueryParser to use when an explicit fieldname is absent --><defaultSearchField>name</defaultSearchField><!-- SolrQueryParser configuration: defaultOperator="AND|OR" --><solrQueryParser defaultOperator="OR"/></schema>复制代码默认的文件不是这样的，稍微改动了一下。field 的type类型是根据fieldtype 的name定义的。class是solr自定义的不能更改。shcema.xml文件的field字段的属性介绍：（1）name：字段名称（2）type：字段类型（此处type不是java类型，而是下面定义的fieldType）（3）indexed：是否索引看true--solr会对这个字段进行索引，只有经过索引的字段才能被搜索、排序等；false--不索引（4）stored：是否存储看true--存储，当我们需要在页面显示此字段时，应设为true，否则false。（5）required：是否必须看true--此字段为必需，如果此字段的内容为空，会报异常；false--不是必需（6）multiValued：此字段是否可以保存多个值看（7）omitNorms：是否对此字段进行解析看有时候我们想通过某个字段的完全匹配来查询信息，那么设置 indexed="true"、omitNorms="true"。（8）default：设置默认值有这样一个FieldType描述：<fieldType name="text_general" positionIncrementGap="100"><analyzer type="index"><tokenizer/><filter ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" /><filter/></analyzer><analyzer type="query"><tokenizer/><filter ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" /><filter synonyms="synonyms.txt" ignoreCase="true" expand="true"/><filter/></analyzer></fieldType>属性说明：（1）name：类型名称，<field>中的type引用的就是这个name（2）class：solr自定义的类型（3）<analyzer type="index">定义建立索引时使用的分词器及过滤器（4）<analyzer type="query">定义搜索时所使用的分词器及过滤器（5）<tokenizer/>定义分词器（6）<filter/>定义过滤器uniqueKey属性<uniqueKey>id</uniqueKey>类似于数据表数据的id，solr索引库中最好定义一个用于标示document唯一性的字段，此字段主要用于删除document。defaultSearchField属性就是你在做query搜寻时若不指定特定栏位做检索时, Solr就会只查这个栏位.<defaultSearchField>default</defaultSearchField>copyField属性是用来复制你一个栏位里的值到另一栏位用. 如你可以将name里的东西copy到major里, 这样solr做检索时也会检索到name里的东西.<copyField source="name" dest="major"/>现在可以将数据库的数据导入solr了。点击Execute就可以了。

一、增量索引之删除　　昨天已经说过，增量索引其实就是SOLR对上次做过（增量或者全量）索引之后到这次做索引之间的这段时间数据库发生变化的数据进行创建索引，昨天我们说了增加一条数据或者修改一条数据之后创建增量索引，现在来说删除数据的增量索引。　　其实这里所说的删除是假删除，什么意思呢？就是并不是说在数据库中把某些数据给彻底删除掉，而是说给你不想创建索引的数据一个标识符，然后告诉solr，有这个标识符的数据你就不要给我创建索引了，我不需要，然后solr创建索引的时候就会忽视这些有特殊标识符的数据，大概的原理就是这样的，那么怎么实现的呢？下面来看：　　1.1数据库新增字段　　昨天做新增的增量索引的时候需要在数据库添加一个字段，今天做删除的，还是需要一个字段，然后用这个字段来标示数据是否需要创建索引，字段如下所示：　　　　字段名称大家可以自己看着定，类型给个int就行，至于长度也随意，我的是0表示需要创建索引的数据，1表示不需要创建索引的数据，也就是我所说的假删除的数据。　　1.2修改配置文件　　同样，需要将该字段配置到data-config.xml和schema.xml文件中，如下所示：　　data-config.xml　　　　注意圈起来的三个地方，首先肯定是需要把isdelete字段变成一个file标签，其次，需要query语句需要添加上where条件，查询出数据库中所有的需要创建索引的数据，然后再添加一个deletedPKQuery语句，这条语句和deltaQuery与deltaImportQuery语句一样，都是只有在做增量索引的时候起作用，deletedPKQuery是查询出所有假删除的数据的ID，然后由deltaImportQuery查询出这些ID对应的记录的全部数据，然后在已经创建的索引中删除掉这一部分索引。　　schema.xml　　schema.xml文件中倒是没有什么大的变化，只需要把isdelete字段添加进来即可：　　1.3查看效果按照上面的配置即可，然后我们来看一下效果，首先是数据库：还是昨天的17条数据。SOLR已经创建好的索引：索引也是17条，和数据库的数据是对应的，下面我把数据库中的其中两条数据的isdelet字段修改成1，然后创建一个增量索引，方法和昨天一样，我就不再截图了，首先还是修改数据库：把发哥跟梁朝伟的isdelete修改成1，执行增量索引后的结果如下：可以看到此时的索引少了2条，那到底少的是不是我变成1的两个人呢？我们可以查找一下，找不到的话就对了：可以看到此时查找周润发，但是只找到了星爷，这个原因还是分词器的问题，昨天已经说过了，下面再查一下梁朝伟：可以看到查找结果是空的。　　通过上面的两条查询，说明我们对假删除所做的增量索引时成功的。二、定时增量索引　　如果每次数据库变化两条数据我们就得到http://localhost:8080/solr这里做一次增量索引，那不是很麻烦吗？所以SOLR提供了定时任务的功能，当然你也可以自己集成，比如用sPRing的定时任务，或者集成Quartz这些，定时执行一下增量索引的URL，也是可以达到相同的目的的，但是我们今天说的并不是这个，下面开始详细说。　　首先，需要引入一个JAR包，这个JAR包我已经发在了第一篇文章最后的DEMO里面了，解压之后就可以看到，但是我要说一点的是，我发出的JAR包是修改过源码的JAR包，很多地方给出的JAR包是apache-solr-dataimportscheduler-1.0.jar这个JAR包，下载地址是http://code.google.com/p/solr-dataimport-scheduler/downloads/list，但是这个jar包放入tomcat下的solr项目的lib包后会出错，其实也不是出错，而是出现下面的问题：http请求一直返回415，提示不支持的媒体类型，这个问题上周六折腾了我一天的时间，快被郁闷死了，后来在网上查资料的时候看到了别人的一篇文章，也才得以解决，一会儿我会把那个文章地址也发出来，这是什么原因呢？原因就是这个jar包中的一个类在发送http请求时使用的是post方式，但是我们这里发送的请求却是get方式，所以才一直415，很蛋疼有没有，所以需要进入jar包，修改源码之后才能正常工作，我看的那篇文章地址是:http://blog.csdn.net/zwx19921215/article/details/43152307,里面讲的很详细，还有另外的一个问题，大家可以看一下，好了，把这个jar包引入solr的lib包之后进行下一步。　　第二步就是在solr的web.xml文件中添加如下代码：　　　　第三步，解压apache-solr-dataimportscheduler-1.0.jar文件，从解压出来的文件夹中找出dataimport.properties文件，然后复制该文件到你的SOLR_HOME目录下的conf文件夹中，注意，这个conf文件夹并不是SOLR_HOMEcollection1下的conf，而是SOLR_HOMEconf文件夹，以前是不存在的，需要你自己创建。　、　　第四步，打开dataimport.properties文件，修改该文件内容，修改后的文件内容如下所示：　　################################################## ## dataimport scheduler properties ## ################################################### to sync or not to sync# 1 - active; anything else - inactivesyncEnabled=1# which cores to schedule# in a multi-core environment you can decide which cores you want syncronized# leave empty or comment it out if using single-core deploymentsyncCores=collection1# solr server name or ip address# [defaults to localhost if empty]server=localhost# solr server port# [defaults to 80 if empty]port=8080# application name/context# [defaults to current ServletContextListener"s context (app) name]webapp=solr# URL params [mandatory]# remainder of URLparams=/dataimport?command=delta-import&clean=false&commit=true&wt=json&optimize=false # schedule interval# number of minutes between two runs# [defaults to 30 if empty]interval=1# 重做索引的时间间隔，单位分钟，默认7200，即1天; # 为空,为0,或者注释掉:表示永不重做索引reBuildIndexInterval=7200# 重做索引的参数reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true# 重做索引时间间隔的计时开始时间，第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000；# 两种格式：2012-04-11 03:10:00 或者 03:10:00，后一种会自动补全日期部分为服务启动时的日期reBuildIndexBeginTime=03:10:00　　注意：　　　　1.syncCores=collection1表示对collection1这个core定时创建索引，如果不设置的话，默认也是对collection1创建索引，如果用到了multicore，那么使用逗号隔开即可。　　　　2.server=localhost，port=8080改成你自己的容器地址和端口号即可；　　　　3.interval=1表示定时增量索引的时间间隔，单位是分钟；　　　　4.其他的按照上面的注释配置即可，也没什么难理解的；

防止网站被搜索引擎认定为SPAM的注意事项主要有以下几点：1、域名、IP地址的链接数量这种方式一般是查询网站是否专门提供链接服务的页面。如果这个页面导出链接数量太多时，那么搜索引擎可能会认定网站是SPAM。当然，导航网站并不在此列。如应对方法：在做友情链接的时候特别要注意，不要在已经被处罚的网站提供导出链接，也不要在一个页页超过太多的外部链接。2、关键词密度的判断其实，这个关键词的堆积是很容易被搜索引擎认定为SPAM的。首页将不被收录，而在内页没有堆积的反而都收录了。一般关键词的密度控制在7%以下最好。应对方法：将页面的关键词控制在3%-7%最合适。3、页面相似度分析当同个域名下面很多页面都是内容相似或者完全相同的，搜索引擎也会认定为网站属于SPAM。选择程序时最好选择那些发布重复标题会有提示的CMS或博客系统。比如：Dedecms在发布内容标题重复时会提示，phpwind在发布提交数次相同内容时也会有提示。应对方法：网站中的每个页面都要做到独一无二的内容，不要将一个页面分多个地址访问。4、出现网友反感内容或吹嘘性内容关键词之间相关性可以从训练SPAM样本和非SPAM样本得到。应对方法：避免出现例如“免费抽奖”、“免费中奖活动”、“SEO认证”、“免费手机铃声”等网友或搜索引擎反感的关键词。5、建立SPAM黑名单如一台服务器IP或者作弊域名被多次被搜索引擎记录，那么搜索引擎会直接将其放入黑名单或者待审核观察期的库中。所以，如果做友情链接时与这类被惩罚的互链时将受到连带的责任。应对方法：注册域名前，查询域名以前是否被注册过、惩罚过。选择服务器时，查询IP下面是否有域名被搜索引擎惩罚过。做友链时不要与SPAM过的网站互链。6、留言评论陷井原来自己建立了一些Blog，后来开放了文章评论留言等功能。这样当一些自动留言程序或垃圾外链被留言时记录下来，那么成为了一个“陷阱”，自身的Blog很有可能会将被降权。应对方法：如果网站有BLOG系统、留言本等功能，要注意一下留言的内容，检查一下链接是否有垃圾链。如果垃圾链过多，也可考虑关键外链评论，只开放内容评论，当然这样做的结果很多做SEO的站长就不再留言，博客人气可能会受到打击。

pivot_table可以实现Excel数据透视表的功能，但是经过pivot_table函数处理后的dataframe的列是多层索引，需要转化成单层索引，具体步骤如下： df_1为数据源，包含5列，amount列为数值列，用于聚合； 创建数据透视表，index=["group_series", "buy_no"]，columns=["xmonth"]，NA值用0填充，结果如下： 最终数据结果如下：

这里可能有你想要的答案这个意思

文本主题模型之潜在语义索引(LSI)在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。1. 文本主题模型的问题特点在数据分析中，我们经常会进行非监督学习的聚类算法，它可以对我们的特征数据进行非监督的聚类。而主题模型也是非监督的算法，目的是得到文本按照主题的概率分布。从这个方面来说，主题模型和普通的聚类算法非常的类似。但是两者其实还是有区别的。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离，曼哈顿距离的大小聚类等。而主题模型，顾名思义，就是对文字中隐含主题的一种建模方法。比如从“人民的名义”和“达康书记”这两个词我们很容易发现对应的文本有很大的主题相关度，但是如果通过词特征来聚类的话则很难找出，因为聚类方法不能考虑到到隐含的主题这一块。那么如何找到隐含的主题呢？这个一个大问题。常用的方法一般都是基于统计学的生成方法。即假设以一定的概率选择了一个主题，然后以一定的概率选择当前主题的词。最后这些词组成了我们当前的文本。所有词的统计概率分布可以从语料库获得，具体如何以“一定的概率选择”，这就是各种具体的主题模型算法的任务了。当然还有一些不是基于统计的方法，比如我们下面讲到的LSI。2. 潜在语义索引(LSI)概述潜在语义索引(Latent Semantic Indexing,以下简称LSI)，有的文章也叫Latent Semantic Analysis（LSA）。其实是一个东西，后面我们统称LSI，它是一种简单实用的主题模型。LSI是基于奇异值分解（SVD）的方法来得到文本的主题的。而SVD及其应用我们在前面的文章也多次讲到，比如：奇异值分解(SVD)原理与在降维中的应用和矩阵分解在协同过滤推荐算法中的应用。如果大家对SVD还不熟悉，建议复习奇异值分解(SVD)原理与在降维中的应用后再读下面的内容。这里我们简要回顾下SVD：对于一个m×n的矩阵A，可以分解为下面三个矩阵：Am×n=Um×mΣm×nVn×nT有时为了降低矩阵的维度到k，SVD的分解可以近似的写为：Am×n≈Um×kΣk×kVk×nT如果把上式用到我们的主题模型，则SVD可以这样解释：我们输入的有m个文本，每个文本有n个词。而Aij则对应第i个文本的第j个词的特征值，这里最常用的是基于预处理后的标准化TF-IDF值。k是我们假设的主题数，一般要比文本数少。SVD分解后，Uil对应第i个文本和第l个主题的相关度。Vjm对应第j个词和第m个词义的相关度。Σlm对应第l个主题和第m个词义的相关度。也可以反过来解释：我们输入的有m个词，对应n个文本。而Aij则对应第i个词档的第j个文本的特征值，这里最常用的是基于预处理后的标准化TF-IDF值。k是我们假设的主题数，一般要比文本数少。SVD分解后，Uil对应第i个词和第l个词义的相关度。Vjm对应第j个文本和第m个主题的相关度。Σlm对应第l个词义和第m个主题的相关度。这样我们通过一次SVD，就可以得到文档和主题的相关度，词和词义的相关度以及词义和主题的相关度。3. LSI简单实例这里举一个简单的LSI实例，假设我们有下面这个有10个词三个文本的词频TF对应矩阵如下：这里我们没有使用预处理，也没有使用TF-IDF，在实际应用中最好使用预处理后的TF-IDF值矩阵作为输入。我们假定对应的主题数为2，则通过SVD降维后得到的三矩阵为：从矩阵Uk我们可以看到词和词义之间的相关性。而从Vk可以看到3个文本和两个主题的相关性。大家可以看到里面有负数，所以这样得到的相关度比较难解释。4. LSI用于文本相似度计算在上面我们通过LSI得到的文本主题矩阵可以用于文本相似度计算。而计算方法一般是通过余弦相似度。比如对于上面的三文档两主题的例子。我们可以计算第一个文本和第二个文本的余弦相似度如下 ：sim(d1,d2)=(?0.4945)?(?0.6458)+(0.6492)?(?0.7194)(?0.4945)2+0.64922(?0.6458)2+(?0.7194)25. LSI主题模型总结LSI是最早出现的主题模型了，它的算法原理很简单，一次奇异值分解就可以得到主题模型，同时解决词义的问题，非常漂亮。但是LSI有很多不足，导致它在当前实际的主题模型中已基本不再使用。主要的问题有：1） SVD计算非常的耗时，尤其是我们的文本处理，词和文本数都是非常大的，对于这样的高维度矩阵做奇异值分解是非常难的。2） 主题值的选取对结果的影响非常大，很难选择合适的k值。3） LSI得到的不是一个概率模型，缺乏统计基础，结果难以直观的解释。对于问题1），主题模型非负矩阵分解（NMF）可以解决矩阵分解的速度问题。对于问题2），这是老大难了，大部分主题模型的主题的个数选取一般都是凭经验的，较新的层次狄利克雷过程（HDP）可以自动选择主题个数。对于问题3），牛人们整出了pLSI(也叫pLSA)和隐含狄利克雷分布(LDA)这类基于概率分布的主题模型来替代基于矩阵分解的主题模型。回到LSI本身，对于一些规模较小的问题，如果想快速粗粒度的找出一些主题分布的关系，则LSI是比较好的一个选择，其他时候，如果你需要使用主题模型，推荐使用LDA和HDP。

欧姆龙plc读取从站的sdo索引方法。1、建立变量，新建的变量在指令中需要用到。2、打开编程软件，在工具箱中的communication下找到EC_CoESDOREAD指令并调用。3、设置要访问的从站的节点地址。4、SDO参数，SDO参数需要额外添加程序对Index、Subindex、IsCompleteAccess三个地址写相应的值。5、打开编程软件，在工具箱中的communication下找到EC_CoESDOWTIR指令并调用。6、编程完后编译没有错误将程序传送到CPU。

b[b.["state"]=="ohio"].index

结构复合索引文件存在于Dbase,Foxbase,Foxpro系统软件环境下；CorelDRAW压缩绘图文件。一般建立了索引的表（*.dbf）都会产生一个同名的CDX文件。当创建表索引时，VF 自动创建结构 .cdx 文件来存储该索引。VF 把结构 .cdx 文件看作是，表固有部分，当打开和关闭表时，自动打开和关闭结构 .cdx 文件。并且当添加、改变或删除表记录时自动维护结构 .cdx 索引。.cdx 文件始终具有与表(.dbf)文件名相同的基本名。.cdx 文件可以在同一文件中包含多个索引。

1、MySQL支持的索引结构有四种：B+树，R树，HASH，FULLTEXT。B树是一种多叉的AVL树。B-Tree减少了AVL数的高度，增加了每个节点的KEY数量。2、其余节点用来索引，而B-树是每个索引节点都会有Data域。这就决定了B+树更适合用来存储外部数据，也就是所谓的磁盘数据。3、mysql的数据结构用的是b+而不是b红黑树等数据结构也可以用来实现索引，但是文件系统及数据库系统普遍采用B-/+Tree作为索引结构，这一节将结合计算机组成原理相关知识讨论B-/+Tree作为索引的理论基础。

在开发过程中， 常常只记得某个构建名字，而不记得其具体的配置信息及可用版本等，这个时候可以通过nexus的构建搜索功能查询得到适用的构建；搜索构建的前提是构建在仓库中已经建立索引，没有建立索引或者索引不存在的情况下是搜索不到构建信息的；Nexus默认是不下载远程仓库的索引的，如果想在Nexus中搜索远程仓库中的构建需要先下载远程仓库的索引。如果通过nexus搜不到某个的构件，那说明这个构件不在当前nexus所登记的仓库中，可能需要添加额外的代理仓库或手工上传某个构件。

于易水送人一绝

我用的是java的，你需要考虑是索引创建的优化手段，具体有：优化创建索引性能：这方面的优化途径比较有限，IndexWriter提供了一些接口可以控制建立索引的操作，另外我们可以先将索引写入RAMDirectory，再批量写入FSDirectory，不管怎样，目的都是尽量少的文件IO，因为创建索引的最大瓶颈在于磁盘IO。另外选择一个较好的分析器也能提高一些性能。1.1 通过设置IndexWriter的参数优化索引建立setMaxBufferedDocs(int maxBufferedDocs)控制写入一个新的segment前内存中保存的document的数目，设置较大的数目可以加快建索引速度，默认为10。setMaxMergeDocs(int maxMergeDocs)控制一个segment中可以保存的最大document数目，值较小有利于追加索引的速度，默认Integer.MAX_VALUE，无需修改。setMergeFactor(int mergeFactor)控制多个segment合并的频率，值较大时建立索引速度较快，默认是10，可以在建立索引时设置为100。1.2 通过RAMDirectory缓写提高性能我们可以先把索引写入RAMDirectory，达到一定数量时再批量写进FSDirectory，减少磁盘IO次数。FSDirectory fsDir = FSDirectory.getDirectory("/data/index", true);RAMDirectory ramDir = new RAMDirectory();IndexWriter fsWriter = new IndexWriter(fsDir, new StandardAnalyzer(), true);IndexWriter ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true);while (there are documents to index){... create Document ...ramWriter.addDocument(doc);if (condition for flushing memory to disk has been met){fsWriter.addIndexes(new Directory[] { ramDir });ramWriter.close();ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true);}}1.3 选择较好的分析器这个优化主要是对磁盘空间的优化，可以将索引文件减小将近一半，相同测试数据下由600M减少到380M。但是对时间并没有什么帮助，甚至会需要更长时间，因为较好的分析器需要匹配词库，会消耗更多cpu，测试数据用StandardAnalyzer耗时133分钟；用MMAnalyzer耗时150分钟。希望对你有帮助。

把锁文件删除就可以了

针对你问的这些，您可以这样做：如果是linux服务器的话，可以考虑用mount方式把ftp挂载到本地路径上。具体java操作文件的API保存不变。希望我的回答能够帮助的到您

lucene jar包版本问题，Lucene版本变化很大的，如果你用的新版本jar，而程序中却用了以前版本的方法，很容易出错！！

你用Lucene建立索引的时候IndexWriter writer = new IndexWriter(indexdir,new StandardAnalyzer(), true);第三个参数当为TRUE时是会删除同一个目录下的索引的，这是在初次创建索引时使用以后每次增量索引直接设置为FALSE即可，这样直接将后面新建立的索引添加到索引文件中，不会覆盖原来建立的索引。当删除索引时我们可以找到对应的索引ID，然后删除索引，将删除掉索引文件中的该条记录，同时在同目录下生成一个删除索引的记录问价，为-DEL文件，便于后面恢复删除的索引。以上解答希望你能理解，建个简单的索引试试就可以知道的

可以的，模糊查询和分词没有直接关系的。如果不分词，那么一句话就是一个域，可以使用FuzzyQuery或QueryParser查询。在使用QueryParser的时候，如果第一个字符就想使用通配符，那么需要使用setAllowLeadingWildcard(true)来开启。最后，模糊查询效率较低，结合自己的需求使用吧。

首先，应该知道lucene检索的是索引文件，而索引文件则是依据于数据库创建而成的。那么问题来了，你想怎么去创建索引呢？一般来说，这个得看需求了，最主要是考虑对数据的实时性要求高不高、数据量大不大？额，就假设数据量比较大吧，毕竟数据量太小也没必要使用lucene。1、数据实时性要求不高。可定时增量更新索引，以天或几个小时为单位。2.数据实时性要求较高。可在数据入库时，立即进行索引更新操作。那么问题又来了数据量比较大的时候，更新一次索引是比较慢的。所以，还得继续考虑缓存策略问题，将新增数据保存在缓存中，选择合适的时间进行提交。

反正我项目是保存在本地，好像也可以保存在内存的

就报错来看，还没有用到Lucene就出错了，意思是只到第一行就虚拟机内存溢出了，可以考虑把源文件进行切割，如把10M的文本切成5个1M的，建议你试一下给一个可以切分文件的程序，可把它作为预处理的一部分public static void splitToSmallFiles(File file, String outputpath) throws IOException {int filePointer = 0;int MAX_SIZE = 10240000;BufferedWriter writer = null;BufferedReader reader = new BufferedReader(new FileReader(file));StringBuffer buffer = new StringBuffer();String line = reader.readLine();while (line != null) {buffer.append(line).append("\r");if (buffer.toString().getBytes().length >= MAX_SIZE){writer = new BufferedWriter(new FileWriter(outputpath + "output" + filePointer + ".txt"));writer.write(buffer.toString());writer.close();filePointer++;buffer = new StringBuffer();}line = reader.readLine();}writer = new BufferedWriter(new FileWriter(outputpath + "output" + filePointer + ".txt"));writer.write(buffer.toString());writer.close();}

我感觉应该是fileReader这个函数出错了，如果fileDir目录下有子目录，或者这个目录下有比较大的文件，获取内容就会失败，这样就不会执行ndexWriter.close();这句。程序中应该加一些异常判断和保护就可以了。

IndexReader提供了两种方法：reader.DeleteDocument(int docNum)reader.DeleteDocuments(Term term)前者是根据文档的编号来删除该文档，docNum是该文档进入索引时Lucene的编号，是按照顺序编的；后者是删除满足某一个条件的多个文档。在执行了DeleteDocument或者DeleteDocuments方法后，系统会生成一个*.del的文件，该文件中记录了删除的文档，但并未从物理上删除这些文档。此时，这些文档是受保护的，当使用Document doc = reader.Document(i)来访问这些受保护的文档时，Lucene会报“Attempt to access a deleted document”异常。如果一次需要删除多个文档时，可以用两种方法来解决：1. 删除一个文档后，用IndexWriter的Optimize方法来优化索引，这样我们就可以继续删除另一个文档。2. 先扫描整个索引文件，记录下需要删除的文档在索引中的编号。

你用Lucene建立索引的时候IndexWriter writer = new IndexWriter(indexdir,new StandardAnalyzer(), true);第三个参数当为TRUE时是会删除同一个目录下的索引的，这是在初次创建索引时使用以后每次增量索引直接设置为FALSE即可，这样直接将后面新建立的索引添加到索引文件中，不会覆盖原来建立的索引。当删除索引时我们可以找到对应的索引ID，然后删除索引，将删除掉索引文件中的该条记录，同时在同目录下生成一个删除索引的记录问价，为-DEL文件，便于后面恢复删除的索引。以上解答希望你能理解，建个简单的索引试试就可以知道的

个人认为，第一种方法相对靠谱一点。毕竟你的目的是可以检索到附件。优化建议：提取摘要。索引全部附件不太可取，这对硬件的压力也很大。可以选择新增一个域，用来保存附件的摘要。从那行代码来看，附件应该都是文档类吧。lucene的Highlighter貌似有这个功能，也可以考虑用其它方式实现。摘要+附件名，附件检索的目的完全可以达到了。增加相关域，根据对附件的检索需求，可以使用tika读取更多的相关信息，比如：附件名、附件大小、作者、时间、附件摘要，等相关信息。加上这些内容，一般的需求都能满足了。

获取Lucene中的主要的索引文件关键字方法：1．索引块文件这个文件包含了索引中的索引块信息，这个文件包含了每个索引块的名字以及大小等信息。2．域信息文件我们知道，索引中的文档由一个或者多个域组成，这个文件包含了每个索引块中的域的信息。3．索引项信息文件这是索引文件里面最核心的一个文件，它存储了所有的索引项的值以及相关信息，并且以索引项来排序。4．频率文件5．位置文件这个文件包含了索引项在每个文档中出现的位置信息，可以利用这些信息来参与对索引结果的排序。

看来楼主是刚接触lucene。lucene在磁盘上建立的索引，就是数据内容的本身，索引一旦建立，就和数据库没有任何关系了。按楼主的说法就是：已经包含了全部的内容。lucene的数据是不是缓存到本地，这个问题要看自己的设置。在建立索引的时候，有两种方式，一个是在内存中建立索引，一个是在本地磁盘建立索引。第一种方式，当电脑重启之后就会消失。第二种方式是在本地磁盘建立了文件，可以被长期保留。

报什么异常,能贴出来么？

ucene中分词和索引的区别如下：1、分词器，对文本资源进行切分，将字符文本串按照一定的规则切分为一个个可以进行索引的最小单位（关键词），以便检索时使用。2、索引文件结构索引库是一组索引文件的集合。索引文件的检索：索引表规模相对较小，文档集合规模较大。进行检索时，先从检索索引表开始，然后找到相对应的文档。如果查询中仅包含一个关键词，则在索引表中找到该关键词，并取出它所对应的文档就可以了。如果查询中包含多个关键词，则需要将各个关键字检索出的文档记录进行合并。索引文件的维护：维护索引常使用三个操作：插入、删除和更新文档。但是更新操作需要较高的代价，因为文档修改后（即使是很小的修改），也可以造成文档中的很多的关键词的位置发生了变化，这时需要频繁的读取和修改记录，这种代价是相当高的。因此，一般不进行更新操作，而是使用“先删除，后创建”的方式代替更新操作。代码如下：

Lucene搜索时都是搜索的索引库，并不搜索原文档。在索引时，Lucene首先将文档内容进行分词，然后做成倒排索引，搜索是搜索该倒排索引。建立索引时，可以针对每个字段(域)进行不同的索引设置，可设置是否分词?是否存储?以及使用到的分词器。此处设置的是否存储是指该字段(域)是否作为一个整体保留(不分词)。例如:文档一:”巴西世界杯很好看!“在索引时，如果是分词索引，则:巴西/世界杯/很/好看如果搜索世界杯，则文档一就会被搜索出来，在索引中保存的是巴西/世界杯/很/好看这样的分词。如果索引时除了分词之外还存储该字段(域)，则:巴西/世界杯/很/好看/巴西世界杯很好看可以看出，索引中将文档一的所有内容作为一个分词，搜索时必须输入整个字段内容才会搜索到就想到这么多了，希望你能明白。

很多人会抱怨 Lucene 在数据量增加到一定规模的时候，性能会出现明显下降，对于并发用户访问的支持能力也比较弱。其实在工程师所遇到的绝大多数环境下 Lucene 的性能问题，往往是因为系统没有经过良好的调优。而非简单的 Lucene 设计缺陷所造成。 当前使用 Lucene 的知名网站包括，Stack Exchange，旗下全球最大的事实性问答网站 StackOverFlow.com . 基于Lucene 文档 “How to make indexing faster”，我们可以看到如下经验可能可以应用于 Lucene 优化。 确定的确需要进行索引性能调优很多场景之下，性能问题其实表现为整体数据架构设计的问题，而不仅仅是通过索引所可以解决的。在决定进行索引性能调优之前，可能需要首先判断，是否数据架构上出现了情况。 确定在使用最新版本的LuceneLucene也是在不断发展之中。新版本的Lucene通常性能都会有些改善。 使用更快的硬件，例如，改善IO系统性能通常硬件性能的改善对于系统整体性能提升是立竿见影的。例如，通过SSD硬盘（Solid-State Disk，固态硬盘）取代通常的 SATA 或者 SAS 硬盘，将可以获得明显的系统性能提升。 在建立索引过程中，使用单例的 Writer基于内存执行 Flush 而不是基于 document count在Lucene 2.3 及其以上系统中，IndexWriter可以基于内存执行Flush操作。调用 writer.setRAMBufferSizeMB() 可以设置Buffer大小。 尽量多使用内存内存越多，Lucene应对海量数据的时候性能明显加强。 关闭复合文件格式（Compound file format）调用setUseCompoundFile(false)，可以关闭。建立复合文件，将可能使得索引建立时间被拉长，有可能达到7%-33%。而关闭复合文件格式，将可能大大增加文件数量，而由于减少了文件合并操作，索引性能被明显增强。 重用文档与字段实例这是在 Lucene 2.3 之后才有的一个新技术。在之前如果要修改某个记录，需要删除掉索引中的文档，然后重新添加。而新的方法通过 setValue 实现。这将有助于更有效的减少GC开销而改善性能。 在存储字段数据以及执行 term vectors 的时候，使用同样的字段顺序添加文档这样将有助于保证合并操作的性能。 在打开 IndexWriter 的时候，设置 autoCommit = false同传统的数据库操作一样，批量提交事务性能总是比每个操作一个事务的性能能好很多。 同样，对于实时性要求不是很强的系统。通过标记，并定时进行索引和优化，也将比随时进行索引操作性能能改善很多。 不要使用太多的小字段，如果字段过多，尝试将字段合并到一个更大的字段中，以便于查询和索引适当增加 mergeFactor，但是不要增加的太多。关闭所有不需要的特性使用更快的 Analyzer特别是对于中文分词而言，分词器对于性能的影响更加明显。 加快文档的构造速度通常，从数据库，文件系统，或者网络爬行过程中，都可能因为上游程序处理的性能而影响 Lucene 文档建立的速度。 除非真的需要改善索引性能，通常不要特别进行优化对于一个实例的 IndexWriter 可以使用多线程或者并发技术使用Java Profiler分析 Lucene 和调用程序的性能，并由此改善性能Index into separate indices then merge.If you have a very large amount of content to index then you can break your content into N "silos", index each silo on a separate machine, then use the writer.addIndexesNoOptimize to merge them all into one final index.

如果是遨游浏览器用必应，必须设置如下的网址： http://www.bing.com/search?q=%us&setmarket=zh-CN&setlang=zh-cn

微软CEO史蒂夫·鲍尔默5月29日公布了新搜索引擎Bing，而由微软公司同期推出的全新中文搜索品牌“必应”的发布与微软全球搜索品牌Bing同步，预计下周三在全球发布。自6月2日起，中国用户将可以通过 http://bing.com.cn访问必应。

用ListBox的Insert方法Insert有两个参数，第一个就是索引，第二个就是你要插入的Item

理论上是这样子的，做不能说有了索引就一定能解决你的问题

lb.ToolTip.IndexOf("-")是7lb.ToolTip.Substring(8, 14),也就是要从第8个字符开始,截取14个字符,而第8个字符后面总共才7个字符.所以出错了. 我猜想,你直接这样就可以了:string max = (lb.ToolTip.Substring(lb.ToolTip.IndexOf("-") + 1); //结果为1500000

SEO（SearchEngineOptimization）搜索引擎优化的英文缩写，是指通过采用易于搜索引擎索引的合理手段，使网站各项基本要素适合搜索引擎的检索原则并且对用户更友好（SearchEngineFriendly），从而更容易被搜索引擎收录及优先排序从属于SEM（网络营销）。SEO的中文意思是搜索引擎优化。通俗理解是：通过总结搜索引擎的排名规律，对网站进行合理优化，使你的网站在百度和Google的排名提高，让搜索引擎给你带来客户。考试知识结构如下一、搜索引擎基础知识1.了解搜索引擎背景2.了解自然搜索3.熟悉解付费收录与付费放置4.了解主流搜索引擎5.掌握搜索引擎工作（meta标签，关键词密度，链接流行度，相关性PR值概念等）考试要求：了解搜索引擎的背景，了解当前主流的搜索引擎，掌握自然搜索与付费服务的区别，理解当前搜索引擎关注的一些因素。二、蜘蛛的工作1.Indexingprocess（索引过程）2.Queryprocess（查询过程）3.搜索引擎机器人工作原理4.蜘蛛从哪里开始（目录等）5.蜘蛛造访（服务器日志判断）6.搜索引擎对网页的抓取排序索引工作7.搜索引擎相关度算法分析8.了解网站的搜索引擎表现9.网站最优化结构分析10.搜索引擎快照11.网站浏览视觉原理和搜索引擎优化12.根据搜索引擎的发展添加新的内容13.掌握百度、谷歌蜘蛛工作过程考试要求：掌握收录处理模型，掌握查询处理模型，掌握主流搜索引擎蜘蛛的工作过程，熟悉在网站日志中查看蜘蛛痕迹。三、URL地址与域名注册1.地址的重要性2.动态地址与静态地址3.正则表达式4.URL重写5．域名注册（Godaddy，hostmonster等知名服务商）6.独立IP与共享IP7.域名映射8.日志与其他相关操作考试要求：理解URL地址的重要性，了解域名的重要性，能够熟练进行地址重写，能够熟练操作域名注册、映射以及查看服务器日志等相关工作。四、站内优化1.影响排名主要因素1)空间策略2)域名选择与url优化3)网站框架4)处理CSS外置5)动态网页静态化处理6)图片优化7)flash因素2.关键词分析与研究1)网站的主题与关键词的定位2)常用的关键词分析工具3)衡量关键词的竞争强度4)网页关键词布局策略5)长尾关键词分析让长尾关键词无限放大6)高流量关键词预测及新闻捕捉3.页面结构与内容优化1)明确网页的主题2)用户视觉原理与网页结构布局优化3)关键词的采用和突出4)中文分词技术的讲解与利用5)关键词整体布局6)搜索引擎喜欢什么我们做什么考试要求：了解影响网站排名的主要因素特点，掌握关健词的分析方法，掌握页面结构与内容优化方法。五、常见的黑帽SEO1.外部链接的非法操作2.关键词非法操作3.Cloaking操作5.惩罚后基于IP的推广考试要求：了解常见的SEO非法操作，在实际应用过程中避免黑帽SEO。六、SEO实践考试部分1.站点建设与站内优化2.外链建立3.博客维护4.流量分析5.推广策略考试要求：通过给定项目案例，完成案例分析，并根据要求完成案例的项目推广工作。

百度搜索引擎： domain: 域名地址，如：domain:www.baidu.com

快速从一个大数据集中找出某个字段等于确定值的记录。vb内部排序7大算法：1、冒泡排序2、直接选择排序(StraightSelectSort)（BubbleSort）3、直接插入排序(StraightInsertionSort)4、希尔排序(ShellSort)5、快速排序(QuickSort)6、归并排序(MergeSort)7、堆排序(HeapSort)。索引是一种利用某种规则的数据结构与实际数据的关系加快数据查找的功能；索引数据节点中有着实际文件的位置，因为索引是根据特定的规则和算法构建的,在查找的时候遵循索引的规则可以快速查找到对应数据的节点，从而达到快速查找数据的效果；其实宏观来说索引其实是一种概念而不是具体的某项技术，只是我们在某个技术中运用得比较广泛和鲜明（比如说数据库）渐渐的有了特定领域的标签，其实在生活中索引的使用无处不在，比如说：书本里的目录；读书时的座位号，考试编号都有类似索引的功能。

大众的孩子伤不起啊

Google搜索引擎原理http://www.chinaz.com/Webbiz/Seo/0Q9144502007.html看看吧 很详细的

同问 seo搜索引擎优化什么意思? 检举|2012-06-21 19:34 提问者： 耿向朝 |浏览次数：723次满意回答2012-06-21 19:43SEO（Search Engine Optimization）搜索引擎优化的英文缩写， 是指通过采用易于搜索引擎索引的合理手段，使网站各项基本要素适合搜索引擎检索原则并且对用户更友好（Search Engine Friendly），从而更容易被搜索引擎收录及优先排序从属于SEM（搜索引擎营销）。SEO的中文意思是搜索引擎优化。通俗理解是：通过总结搜索引擎的排名规律，对网站进行合理优化，使你的网站在百度和Google的排名提高，让搜索引擎给你带来客户。深刻理解是：通过SEO这样一套基于搜索引擎的营销思路，为网站提供生态式的自我营销解决方案，让网站在行业内占据领先地位，从而获得品牌收益。释义搜索引擎定位（Search Engine Positioning)和搜索引擎排名（ Search Engine Ranking）是较为流行的搜索引擎优化，(简称SEO)方式，主要目的是增加特定关键字的曝光率以增加网站的能见度，进而增加销售的机会。分为站外SEO和站内SEO两种。SEO的主要工作是通过了解各类搜索引擎如何抓取互联网页面、如何进行索引以及如何确定其对某一特定关键词的搜索结果排名等技术，来对网页进行相关的优化，使其提高搜索引擎排名，从而提高网站访问量，最终提升网站的销售能力或宣传能力的技术。

seo是免费获得被动精准流量的最好方法 能让你的关键词排到好的位置 从而带来流量进一步营销1）、关键词分析（也叫关键词定位）：这是进行SEO优化最重要的一环，关键词分析包括：关键词关注量分析、竞争对手分析、关键词与网站相关性分析、关键词布置、关键词排名预测。2）、网站架构分析：网站结构符合搜索引擎的爬虫喜好则有利于SEO优化。网站架构分析包括：剔除网站架构不良设计、实现树状目录结构、网站导航与链接优化，网站设计的语言最好采好DIV+CSS样式，代码很有层次和简洁。3）、与搜索引擎对话：向各大搜索引擎登陆入口提交尚未收录站点。在搜索引擎看SEO的效果，通过site:你的域名，知道站点的收录和更新情况。通过 domain:你的域名或者link:你的域名，知道站点的反向链接情况。更好的实现与搜索引擎对话，建议采用Google网站管理员工具。4）、网站目录和页面优化：SEO不止是让网站首页在搜索引擎有好的排名，更重要的是让网站的每个页面都带来流量，长尾关键词采用内页优化。5）、内容发布和链接布置：搜索引擎喜欢有规律的网站内容更新，所以合理安排网站内容发布日程，每天更新的时间段，发布文章内容的原创性高，是SEO优化的重要技巧之一。链接布置则把整个网站有机地串联起来，让搜索引擎明白每个网页的重要性和关键词，实施的参考是第一点的关键词布置。友情链接和站外链链的战役也是这个时候展开。6）、高质量的友情链接：建立高质量的友情链接，对于SEO优化来说，可以提高网站PR值以及网站的更新率，都是非常关键性的问题。7）、建立网站地图SiteMap：根据自己的网站结构，制作网站地图，让你的网站对搜索引擎更加友好化。让搜索引擎能过SiteMap就可以访问整个站点上的所有网页和栏目。8）、网站流量分析：网站流量分析从SEO结果上指导下一步的SEO策略，同时对网站的用户体验优化也有指导意义。

　　SCI EI ISTP ISR SSCI简介　　《科学引文索引》（SCI）　　《科学引文索引》（Science Citation Index,简称SCI）是美国科学情报研究所（Institute Scientific Information，简称ISI，http://www.isinet.com）出版的一种世界著名的综合性科技引文检索刊物。该刊于1963年创刊，原为年刊，1966年改为季刊，1979年改为双月刊。多年来，SCI数据库不断发展，已经成为当代世界最重要的大型数据库，被列在国际著名检索系统之首。成为目前国际上最具权威性的、基础研究和应用基础研究成果评价的重要工具。一个国家、一个科研机构、一所高校、一种期刊乃至一个研究人员被SCI收录的数量及被引用次数，反映出这个国家、机构、高校、期刊及个人的研究水平与学术水平，尤其是基础研究的水平。　　SCI报道的核心内容不是原始文献，而是原始文献所附的参考文献。它通过先期的文献被当前文献的引用，来说明文献之间的相关性及先前文献对当前文献的影响力。主要由“引文索引”（Citation Index），“来源索引”（Source Index），“轮排主题索引”（Permuterm Subject Index）等部分组成。它收录全世界出版的数学、理物、化学、农业、林业、医学、生物、环境、材料、工程技术、行为科学等自然科学领域的核心期刊约3500余种，扩展版收录期刊5800余种。其中物理、化学和生物学方面的文献量较大。　　SCI有自己严格的选刊标准和评估程序，依次每年对入选的期刊进行评价和调整，从而做到其收录的文献能全面反映全世界最重要、最有影响力的研究成果。收录的文献类型包括：期刊、会议录、图书、科技报告和专利文献。　　SCI每年还出版“期刊引用报告”（Journal Citation Reports简称JCR）。JCR对包括SCI收录的3500种核心期刊在内的4700种期刊之间的引用和被引用数据进行统计、运算，并按每种期刊定义的“影响因子”（Impact Factor）等评价指数加以报道。一种期刊的影响因子，指该刊前二年发表的文献在当年的平均被引用次数。一种刊物的影响因子越高，即刊载的文献被引用率越高，说明这些文献报道的研究成果影响力越大，反映该刊物的学术水平高。论文作者可根据期刊的影响因子排名决定投稿方向。　　《工程索引》（EI）　　《工程索引》（The Engineering Index，简称EI）创刊于1884年，是美国工程信息公司(Engineering information Inc.)出版的著名工程技术类综合性检索工具。EI每月出版1期，文摘1.3万至1.4万条；每期附有主题索引与作者索引；每年还另外出版年卷本和年度索引，年度索引还增加了作者单位索引。出版形式有印刷版（期刊形式）、电子版（磁带）及缩微胶片。EI选用世界上工程技术类几十个国家和地区15个语种的3500余种期刊和1000余种会议录、科技报告、标准、图书等出版物。年报道文献量16万余条。收录文献几乎涉及工程技术各个领域。例如：动力、电工、电子、自动控制、矿冶、金属工艺、机械制造、土建、水利等。它具有综合性强、资料来源广、地理覆盖面广、报道量大、报道质量高、权威性强等特点。　　EI把它收录的论文分为两个档次　　1 、EI Compendex 标引文摘　　它收录论文的题录、摘要，并以主题词、分类号进行标引深加工。有没有主题词和分类号是判断论文，是否被EI正式收录的唯一标志。2 、EI Page One题录　　主要以题录形式报到。有的也带有摘要，但未进行深加工，没有主题词和分类号。所以Page One 带有文摘不一定算做正式进入EI。　　EI 对稿件内容和学术水平的要求　　1、 具有较高的学术水平的工程论文, 包括的学科有:　　—— 机械工程、机电工程、船舶工程、制造技术等；　　——矿业、冶金、材料工程、金属材料、有色金属、陶瓷、塑料及聚合物工程等；　　—— 土木工程、建筑工程、结构工程、海洋工程、水利工程等；　　——电气工程、电厂、电子工程、通讯、自动控制、计算机、计算技术、软件、航空航天技术等；　　——化学工程、石油化工、燃烧技术、生物技术、轻工纺织、食品工业；　　——工程管理。　　2、 国家自然科学基金资助项目、科技攻关项目、"八六三"高技术项目等。　　3、 论文达到国际先进水平, 成果有创新。　　EI不收录纯基础理论方面的论文。　　美国科学情报研究所（ISI）还编辑出版以下几种重要的引文工具：　　《科技会议录索引》（Index to Scientific & Technical Proceedings，简称ISTP）创刊于1978年，由美国科学情报研究所编辑出版。该索引收录生命科学、物理与化学科学、农业、生物和环境科学、工程技术和应用科学等学科的会议文献，包括一般性会议、座谈会、研究会、讨论会、发表会等。其中工程技术与应用科学类文献约占35%，其他涉及学科基本与SCI相同。　　ISTP收录论文的多少与科技人员参加的重要国际学术会议多少或提交、发表论文的多少有关。我国科技人员在国外举办的国际会议上发表的论文占被收录论文总数的64.44%。　　在ISTP、 EI、 SCI这三大检索系统中，SCI最能反映基础学科研究水平和论文质量，该检索系统收录的科技期刊比较全面，可以说它是集中各个学科高质优秀论文的精粹，该检索系统历来成为世界科技界密切注视的中心和焦点。ISTP、EI这两个检索系统评定科技论文和科技期刊的质量标准方面相比之下较为宽松。　　《科学评论索引》（ISR）　　《科学评论索引》（Index to Scientific Reviews 简称ISR）创刊于1974年，由美国科学情报研究所编辑出版，收录世界各国2700余种科技期刊及300余种专著丛刊中有价值的评述论文。高质量的评述文章能够提供本学科或某个领域的研究发展概况、研究热点、主攻方向等重要信息，是极为珍贵的参考资料。　　《社会科学引文索引》（SSCI）　　《社会科学引文索引》（Social Science Citation Index，简称SSCI ，http://sunweb.isinet.com）为美国科学情报研究所建立的综合性社科文献数据库，涉及经济、法律、管理、心理学、区域研究、社会学、信息科学等。收录50个语种的1700多种重要的国际性期刊，累计约350万条记录。　　类似资料很多，最佳可以查阅到很多

onSlideChangeEnd:function(swiper){ alert(swiper.activeIndex);}注：是属性activeIndex，不是activeLoopIndex。

百度的百度识图http://image.baidu.com/?fr=shitu

作者 | 利兄判断一个人有没有自主解决问题的能力，有一个好方法：那就是在提问题前，会不会先用搜索引擎进行搜索。在一些PPT交流群里，被提问最多的就是office2013的安装问题？这个问题在网上都有上千种解决方法，只要会使用搜索引擎，就可以轻松解决这一问题。 互联网是一个巨大的资源宝库，但正由于它太过于“丰富”，而很多人又不会一些基本的搜索技巧，所以导致很多人搜索不到想要的资源。 搜索能力，已经成为了互联网时代不可缺少的能力之一，我们必须要掌握一些基本的搜索技巧，才能做到遇事“不求人”。 如果你正在做PPT，通过网络，找到了一张很匹配PPT的主题图片，但是图片太过于模糊，或者有水印，很难被使用。这个时候，你就需要使用这样一个技巧，那就是以图搜图。 百度、谷歌等搜索引擎都有这一个功能，下面我就以百度为例，操作一下。我们导入一张带水印的“致匠心”的图片，用百度识图的工具，找到不同大小和清晰度的图片 我们在搜索资源时，要注意关键词的正确使用，很多人在搜索资源时，喜欢“直来直去”，也就是想要什么就用什么进行搜索，这样的关键词搜索方式，效果未必好。 我们在搜索资源时，要有一种联想思维，中文查找不到的情况下，用英文试试，有时候英文使用更广，一个词语查不到时，可以用联想方法，使用类似的词语。 比如说，搜索「商务」，百度图库给的结果： 搜索「business」，百度图库给的结果是不一样的。 如果我们给商务加一个关键词，搜索「商务合作」，百度图库给的结果就更精确一点了，这就是关键词作用。 如果一些比较抽象的概念，我们也可以通过联想的方式，具体化，比如说“科技”“成功””商务”等词语，我们就可以转换一下概念。 “科技”可以用“宇宙星辰“来代替。 “成功”可以用“山峰”“山顶”来代替。 “商务”可以用“城市建筑”“商务人士”来代替。 科技感 成功 我们通常在使用搜索引擎查找资源时，都是直接输入关键词，然后按enter键。但是互联网资源太丰富，这种大范围的查找方式，太费时间和精力。所以我们要使用一些更加精确的搜索方式，这就是高级搜索指令，它可以让我们的搜索更加精确，也更有效率。 以下是一些常用的高级搜索指令： 双引号，完全匹配搜索 在搜索引擎中输入关键词的时候，给关键词加上双引号（""）,这样搜索出来的结果就会包含引号中所有词，词的顺序也是按照我们输入的顺序来的。 加号（+）包含搜索，减号（-）排除搜索 搜索的时候，如果我们想要搜索结果中包含特定词，可以在关键词后面直接加上加号，这样就可以得到包含这个特定词的搜索结果。 比如： 我们可以在搜索栏输入“PPT使用技巧 + 字体”得到跟字体相关的PPT技巧。 在搜索的时候，如果我们想排除搜索结果中的某些干扰项，可以在搜索关键词后面先敲一个空格，再加上减号以及想要排除的关键词。 比如：想用关键词“A”搜索，但是想排除掉“B”的干扰，就可以在搜索栏输入“A -B”即可。 Filetype:搜索特定格式的文件 如果我们想用搜索引擎查找某个特定格式的文件，就可以输入「搜索内容 filetype:格式」。比如我们搜索「广告提案 filetype:PPT 」 ，得到的就是包含有广告提案这个关键词的所有PPT文件。 intitle:标题关键词搜索 在关键词前面加「intitle:」进行搜索的话，返回结果的页面标题中都包含这个关键词。 以上并不是全部，有兴趣的可以去搜索「高级搜索指令」 如果我们想搜索图片、电影、音乐或者PPT模版，又不想通过搜索网页大面积的搜索，这个时候，你就需要使用更具针对性的搜索方式——网盘搜索 我们总是将我们的喜欢的资源放在网盘上，电影、电子书、PPT文件、图片等，所以网盘资源是一个很强大的资源库。网盘搜索引擎就是专注于全网网盘资源的一个检索网站。 这里我推荐两个网盘资源的搜索引擎—西林街和胖次网盘，有兴趣去试试就知道了。 搜索能力，已经成为了互联网时代必不可少的能力之一。 既然需要，为什么不去掌握它。

搜索引擎对图片的抓取 不能。 搜索引擎抓取图片的原理是什么? 你可以去安可培训官网看看，他们可以教会你大量的知识 搜安可培训 如何搜索引擎自动抓取网站图片 搜索引擎是指百度谷歌之类的？那是不能抓取网站图片的吧！用迅雷的下载所有链接可以下载网站上的图片。还有一些其他的可以分析网站的软件可以抓取。 搜索引擎对图片的关注度有哪些？ 每个连接都是经过搜索引擎的一套算法得出的顺序，根据流量 连接速度之类的因素组成 专门搜索图片的搜索引擎 :pic./ 全球最专业的原创图片搜索引擎 :cphoto./ 中国搜图网 如何屏蔽搜索引擎抓取 第一种、robots.txt方法 搜索引擎默认的遵守robots.txt协议，创建robots.txt文本文件放至网站根目录下，编辑代码如下: User-agent:* Disallow: 通过代码，即可告诉搜索引擎不要抓取采取收录本网站。 第二种、网页代码 在网站首页代码<head>与</head>之间，加入<metaname="robots"content="noarchive">代码，此标记禁止搜索引擎抓取网站并显示网页快照。 如何禁止百度搜索引擎收录抓取网页 1、编辑robots.txt文件，设计标记为: User-agent:Baiduspider Disallow:/ 2、在网站首页代码<head>与</head>之间，加入<metaname="Baiduspider"content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。 3、联系百度管理人员，用网站联系人信箱发电邮，如实说明删除网页快照的情况，经百度核实后，网页停止收录抓取。 4、登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧，发个帖子，表明删除网页收录网站快照的原因，当百度管理人员，看到会给予处理。 如何禁止Google搜索引擎收录抓取网页 1、编辑robots.txt文件，设计标记为: User-agent:googlebot Disallow:/ 2、在网站首页代码<head>与</head>之间，加入<metaname="googlebot"content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。 韩国可以搜索图片的搜索引擎？ :search.naver./search.naver?where=nexearch&query=%C7%D1%B0%E6& *** =tab_hty 提高网页被搜索引擎抓取？ 讲一个被很多SEO们误解的重要概念。很久以前，搜索引擎的爬虫（机器人）大部分时间都会递归地抓取某个网站（通过你提交的网站首页网址，然后通过网页上发现的链接抓取这些链接所指向的网页，周而复始）。但现在不是那么回事了，就像下面的图一样，搜索引擎的爬虫抓取时会有多个进入点，并且每个进入点都同样重要，然后再从这些进入点向外扩散，进行抓取。 那我们看看有什么方能提高网页被搜索引擎抓取、索引和排名的方法： 站点不向任何搜索引擎提交，搜索引擎会来抓取吗？ 百度会收取的··百度不定期的会进行这一工作，不过不会那么简单。 当然天下没免费的午餐，通常想推广自己的网站都要到知名的名站上“放血”打广告链接。 搜索引擎到底会不会抓取图片，js，fhash内容 网页组成内容无非就是文字，图片，js，动画flash，视频元素，早在几年前，在搜索引擎发展初级阶段的时候，搜索引擎的抓取内容方式是及其原始和简陋的，而且只能抓取网页的title等页头部分。 当时站长群也很少，而且做一个关键词也非常容易，主要随便修改一下网页的标题就可以达到很好的排名，随着搜索引擎数据发掘技术的发展，搜索引擎慢慢会尝试去抓取更多的东西，比如网页的其他文字内容，并且不再将网页标题作为唯一的排名标准，并且加入了很多其他的算法来给一个网站在搜索引擎上综合的排名。 目前来说，百度能够很好的识别和把握中文内容，不然也不会对外号称自己是全球第一大中文搜索引擎，对图片能够有一定程度的识别，而对flas *** 和视频抓取技术还比不上google；谷歌虽然不主张站长使用动画来作为网站主要展示内容的方式，但是经过大家试验，一些简单的flas *** 内的问题google能够很好的识别，并将该元素内抓取的内容作为网站综合排名的依据，而百度似乎还是停留在文字和图片基础上。 谷歌对于一些单色背景图片能够很好的识别，比如黑色背景上打上白色的字，谷歌的识别几乎达到了100%。

A 的行 i 和列 j 中的元素通过 A(i,j) 表示。例如，A(4,2) 表示第四行和第二列中的数字。在幻方矩阵中，A(4,2) 为 15。因此，要计算 A 第四列中的元素的总和，此外，还可以使用单一下标 A(k) 引用矩阵的元素。单一下标是引用行和列向量的常见方法。因此，在幻方矩阵中，A(8) 是另一种引用存储在 A(4,2) 中的值 15 的方法。

先用用IR打开再转到PS上编辑吧

第一步：将表迁移到目标表空间第二步：重新生成索引：

121搜搜也是一款比较好的搜索引擎，它与众多知名搜索引擎不同的是，他充分考虑到了用户的体验、

默认主页是MSN主页，默认搜索引擎是bing搜索引擎。Microsoft Edge（简称ME浏览器）是由微软开发的基于 Chromium 开源项目及其他 开源软件的网页浏览器。2015年4月30日，微软在旧金山举行的Build 2015开发者大会上宣布——Windows 10内置代号为“Project Spartan”的新浏览器被正式命名为“Microsoft Edge”，其内置于Windows 10版本中。2018年3月，微软宣布Edge登陆iPad和Android平板。这意味着Edge浏览器已经覆盖了桌面平台和移动平台。用户被允许在Google Play和App Store上下载Edge。2018年12月，微软正式确认，新的Edge浏览器将从EdgeHTML内核迁移为Chromium内核，同时还会登陆到Windows 7、Windows 8、Windows 8.1和macOS平台。简介：Edge浏览器的一些功能细节包括：支持内置Cortana（微软小娜）语音功能；内置了阅读器（可打开PDF文件）、笔记和分享功能；设计注重实用和极简主义；渲染引擎被称为EdgeHTML。区别于IE的主要功能为，Edge将支持现代浏览器功能，比如扩展。微软周三首次展示了Edge浏览器的扩展功能，这同时也向外界表明：微软浏览器远远落后于竞争对手的浏览器Chrome和Firefox。但贝尔菲奥雷声称，Edge非常易于构建应用程序和扩展——一款Chrome浏览器应用“几乎用不着改动”、只是简单微调后，便可实现轻松运行在Edge浏览器上。

同意楼上的说法

搜索引擎基本工作原理 了解搜索引擎的工作原理对我们日常搜索应用和网站提交推广都会有很大帮助。 ■ 全文搜索引擎 搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。 ■ 目录索引 与全文搜索引擎相比，目录索引有许多不同之处。 首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。 其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其象Yahoo!这样的超级索引，登录更是困难。（由于登录Yahoo!的难度最大，而它又是商家网络营销必争之地，所以我们会在后面用专门的篇幅介绍登录Yahoo雅虎的技巧） 此外，在登录搜索引擎时，我们一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。 最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。 目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。 目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而象 Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注）。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。

按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类： 1．目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。 2．机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。这类搜索引擎的代表是：AltaVista、Northern Light、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为："天网"、悠游、OpenFind等。 3．元搜索引擎：这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。这类搜索引擎的代表是WebCrawler、InfoMarket等。 …… 主 要 技 术 一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。 1.搜索器 搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。目前有两种搜集信息的策略： ● 从一个起始URL集合开始，顺着这些URL中的超链（Hyperlink），以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL，但常常是一些非常流行、包含很多链接的站点（如Yahoo！）。 ● 将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。 搜索器搜集的信息类型多种多样，包括HTML、XML、Newsgroup文章、FTP文件、字处理文档、多媒体信息。 搜索器的实现常常用分布式、并行计算技术，以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。 2.索引器 索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。 索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，如作者名、URL、更新时间、编码、长度、链接流行度（Link Popularity）等等；内容索引项是用来反映文档内容的，如关键词及其权重、短语、单字等等。内容索引项可以分为单索引项和多索引项（或称短语索引项）两种。单索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切分。 在搜索引擎中，一般要给单索引项赋与一个权值，以表示该索引项对文档的区分度，同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短语索引项的提取方法有统计法、概率法和语言学法。 索引表一般使用某种形式的倒排表（Inversion List），即由索引项查找相应的文档。索引表也可能要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻或接近关系（proximity）。 索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时，必须实现即时索引（Instant Indexing），否则不能够跟上信息量急剧增加的速度。索引算法对索引器的性能（如大规模峰值查询时的响应速度）有很大的影响。一个搜索引擎的有效性在很大程度上取决于索引的质量。 3.检索器 检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。 检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。 4.用户接口 用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。 用户输入接口可以分为简单接口和复杂接口两种。 简单接口只提供用户输入查询串的文本框；复杂接口可以让用户对查询进行限制，如逻辑运算（与、或、非；+、-）、相近关系（相邻、NEAR）、域名范围（如.edu、.com）、出现位置（如标题、内容）、信息时间、长度等等。目前一些公司和机构正在考虑制定查询选项的标准。 http://www.userver.cn/n1246c142.aspx

搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。大致过程如下：1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（spider）。爬虫Spider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。3、提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。

分类: 电脑/网络 >> 互联网 解析: 搜索引擎的工作原理 可以分为三个部分 1、抓取网页 每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。 2、处理网页 搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。其他还包括去除重复网页、分析超链接、计算网页的重要度。 3、提供检索服务 用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。

搜索引擎的基本工作原理不包括保存信息。搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。

在浩如烟海的Internet上，特别是其上的Web（World Wide Web万维网）上，不会搜索，就不会上网。网虫朋友们，你了解搜索引擎吗？它们是怎么工作的？你都使用哪些搜索引擎？今天我就和大家聊聊搜索引擎的话题。 一、搜索引擎的分类 获得网站网页资料，能够建立数据库并提供查询的系统，我们都可以把它叫做搜索引擎。按照工作原理的不同，可以把它们分为两个基本类别：全文搜索引擎（FullText Search Engine）和分类目录Directory）。 全文搜索引擎的数据库是依靠一个叫“网络机器人（Spider）”或叫“网络蜘蛛（crawlers）”的软件，通过网络上的各种链接自动获取大量网页信息内容，并按以定的规则分析整理形成的。Google、百度都是比较典型的全文搜索引擎系统。 分类目录则是通过人工的方式收集整理网站资料形成数据库的，比如雅虎中国以及国内的搜狐、新浪、网易分类目录。另外，在网上的一些导航站点，也可以归属为原始的分类目录，比如“网址之家”（http://www.hao123.com/）。 全文搜索引擎和分类目录在使用上各有长短。全文搜索引擎因为依靠软件进行，所以数据库的容量非常庞大，但是，它的查询结果往往不够准确；分类目录依靠人工收集和整理网站，能够提供更为准确的查询结果，但收集的内容却非常有限。为了取长补短，现在的很多搜索引擎，都同时提供这两类查询，一般对全文搜索引擎的查询称为搜索“所有网站”或“全部网站”，比如Google的全文搜索（http://www.google.com/intl/zh-CN/）；把对分类目录的查询称为搜索“分类目录”或搜索“分类网站”，比如新浪搜索（http://dir.sina.com.cn/）和雅虎中国搜索（http://cn.search.yahoo.com/dirsrch/）。 在网上，对这两类搜索引擎进行整合，还产生了其它的搜索服务，在这里，我们权且也把它们称作搜索引擎，主要有这两类： ⒈元搜索引擎(META Search Engine)。这类搜索引擎一般都没有自己网络机器人及数据库，它们的搜索结果是通过调用、控制和优化其它多个独立搜索引擎的搜索结果并以统一的格式在同一界面集中显示。元搜索引擎虽没有“网络机器人”或“网络蜘蛛”，也无独立的索引数据库，但在检索请求提交、检索接口代理和检索结果显示等方面，均有自己研发的特色元搜索技术。比如“metaFisher元搜索引擎”（http://www.hsfz.net/fish/），它就调用和整合了Google、Yahoo、AlltheWeb、百度和OpenFind等多家搜索引擎的数据。 ⒉集成搜索引擎（All－in－One Search Page）。集成搜索引擎是通过网络技术，在一个网页上链接很多个独立搜索引擎，查询时，点选或指定搜索引擎，一次输入，多个搜索引擎同时查询，搜索结果由各搜索引擎分别以不同页面显示，比如“网际瑞士军刀”（http://free.okey.net/%7Efree/search1.htm）。 二、搜索引擎的工作原理 全文搜索引擎的“网络机器人”或“网络蜘蛛”是一种网络上的软件，它遍历Web空间，能够扫描一定IP地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到另一个网站采集网页资料。它为保证采集的资料最新，还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页，还要有其它程序进行分析，根据一定的相关度算法进行大量的计算建立网页索引，才能添加到索引数据库中。我们平时看到的全文搜索引擎，实际上只是一个搜索引擎系统的检索界面，当你输入关键词进行查询时，搜索引擎会从庞大的数据库中找到符合该关键词的所有相关网页的索引，并按一定的排名规则呈现给我们。不同的搜索引擎，网页索引数据库不同，排名规则也不尽相同，所以，当我们以同一关键词用不同的搜索引擎查询时，搜索结果也就不尽相同。 和全文搜索引擎一样，分类目录的整个工作过程也同样分为收集信息、分析信息和查询信息三部分，只不过分类目录的收集、分析信息两部分主要依靠人工完成。分类目录一般都有专门的编辑人员，负责收集网站的信息。随着收录站点的增多，现在一般都是由站点管理者递交自己的网站信息给分类目录，然后由分类目录的编辑人员审核递交的网站，以决定是否收录该站点。如果该站点审核通过，分类目录的编辑人员还需要分析该站点的内容，并将该站点放在相应的类别和目录中。所有这些收录的站点同样被存放在一个“索引数据库”中。用户在查询信息时，可以选择按照关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟全文搜索引擎一样，也是根据信息关联程度排列网站。需要注意的是，分类目录的关键词查询只能在网站的名称、网址、简介等内容中进行，它的查询结果也只是被收录网站首页的URL地址，而不是具体的页面。分类目录就像一个电话号码薄一样，按照各个网站的性质，把其网址分门别类排在一起，大类下面套着小类，一直到各个网站的详细地址，一般还会提供各个网站的内容简介，用户不使用关键词也可进行查询，只要找到相关目录，就完全可以找到相关的网站（注意：是相关的网站，而不是这个网站上某个网页的内容，某一目录中网站的排名一般是按照标题字母的先后顺序或者收录的时间顺序决定的）。 一个好的搜索引擎，不仅数据库容量要大，更新频率、检索速度要快，支持对多语言的搜索，而且随着数据库容量的不断膨胀，还要能从庞大的资料库中精确地找到正确的资料。 ⒈提高搜索引擎对用户检索提问的理解。为了提高搜索引擎对用户检索提问的理解，就必须有一个好的检索提问语言。为了克服关键词检索和目录查询的缺点，现在已经出现了自然语言智能答询。用户可以输入简单的疑问句，比如“如何能杀死计算机中的病毒”，搜索引擎在对提问进行结构和内容的分析之后，或直接给出提问的答案，或引导用户从几个可选择的问题中进行再选择。自然语言的优势在于，一是使网络交流更加人性化，二是使查询变得更加方便、直接、有效。就以上面的例子来讲，如果用关键词查询，多半人会用“病毒”这个词来检索，结果中必然会包括各类病毒的介绍，病毒是怎样产生的等等许多无用信息，而用“如何能杀死计算机中的病毒”检索，搜索引擎会将怎样杀死病毒的信息提供给用户，提高了检索效率。 ⒉垂直主题搜索引擎有着极大的发展空间。网上的信息浩如烟海，网络资源以惊人的速度增长，一个搜索引擎很难收集全所有主题的网络信息，即使信息主题收集得比较全面，由于主题范围太宽，很难将各主题都做得精确而又专业，使得检索结果垃圾太多。这样以来，垂直主题的搜索引擎以其高度的目标化和专业化在各类搜索引擎中占据了一席之地。目前，一些主要的搜索引擎，都提供了新闻、Mp3、图片、Flash等的搜索，加强了检索的针对性。 ⒊元搜索引擎，能够提供全面且较为准确的查询结果。现在的许多搜索引擎，其收集信息的范围、索引方法、排名规则等都各不相同，每个搜索引擎平均只能涉及到整个Web资源的30－50%，这样导致同一个搜索请求在不同搜索引擎中获得的查询结果的重复率不足34%，而每一个搜索引擎的查准率不到45%。元搜索引擎(META Search Engine)是将用户提交的检索请求发送到多个独立的搜索引擎上去搜索，并将检索结果集中统一处理，以统一的格式提供给用户，因此有搜索引擎之上的搜索引擎之称。它的主要精力放在提高搜索速度、智能化处理搜索结果、个性化搜索功能的设置和用户检索界面的友好性上，查全率和查准率都比较高。 四、主要的搜索引擎介绍 这里介绍的是在国内外影响比较大的主要的一些搜索引擎和分类目录站点，由于现在的站点一般都同时提供全文搜索和分类目录两种服务，所以我们按照其自有的技术进行分类和介绍。 一主要的全文搜索引擎 ⒈Google（http://www.google.com/）。Google成立于1997年，几年间迅速发展成为世界范围内规模最大的搜索引擎。Google数据库现存有42.8亿个Web文件，每天处理的搜索请求已达2亿次，而且这一数字还在不断增长。Google借用Dmoz（http://dmoz.org/）的分类目录提供“网页目录”查询（http://www.google.com/dirhp?hl=zh-CN&tab=wd&ie=UTF-8&oe=UTF-8&q=），但默认网站排列顺序并非按照字母顺序，而是根据网站PageRank的分值高低排列。 ⒉百度（http://www.baidu.com/）。百度是国内最早的商业化（早期为其它门户网站提供搜索服务，现在的竞价排名更是日进斗金）全文搜索引擎，拥有自己的网络机器人和索引数据库，专注于中文的搜索引擎市场，除有网页搜索外，百度还有新闻、MP3、图片等搜索，并在2003年底推出“贴吧”、按地域搜索等功能。 ⒊中国搜索（http://www.huicong.com/）。中国搜索的前身是慧聪搜索，原慧聪搜索在联合中国网等30多家知名网站的基础上，2002年9月25日，正式组建了中国搜索联盟，经过一年多的发展，联盟成员就已达630多家，成为中国互联网一支重要的力量。由于发展迅速，慧聪集团借上市之机，将慧聪搜索更名为中国搜索，全力发展其在搜索引擎方面的业务，以打造中文搜索领域的全新品牌。 二主要分类目录 ⒈雅虎中国分类目录（http://cn.yahoo.com/）。雅虎中国的分类目录是最早的分类目录，现有14个主类目，包括“商业与经济”、“艺术与人文”等，可以逐层进入进行检索，也可以利用关键词对“分类网站”进行搜索（http://m6.search.cnb.yahoo.com/dirsrch/）。此外，雅虎中国也可以对“所有网站”进行关键词搜索（http://cn.search.yahoo.com/websrch/），早期，他的搜索结果使用Google的数据，2004年2月正式推出自己的全文搜索引擎，并结束了与Google的合作。 ⒉新浪分类目录（http://dir.sina.com.cn/）。新浪的分类目录目前共有18个大类目，用户可按目录逐级向下浏览，直到找到所需网站。就好像用户到图书馆找书一样，按照类别大小，层层查找，最终找到需要的网站或内容。通过和其它全文搜索引擎的合作，现在，也可以使用关键词对新浪的“分类网站”或“全部网站”进行搜索。 ⒊搜狐分类目录（http://dir.sohu.com/）。搜狐分类目录把网站作为收录对象，具体的方法就是将每个网站首页的URL地址提供给搜索用户，并且将网站的题名和整个网站的内容简单描述一下，但是并不揭示网站中每个网页的信息内容。除此之外，也可以使用关键词对搜狐的“分类目录”或所有网站进行搜索。 ⒋网易分类目录（http://search.163.com/）。网易的分类目录采用“开放式目录”管理方式，在功能齐全的分布式编辑和管理系统的支持下，现有5000多位各界专业人士参与可浏览分类目录的编辑工作，极大地适应了互联网信息爆炸式增长的趋势。在加强与其它搜索引擎合作的基础上，新版搜索引擎支持使用关键词对所有网站进行检索。 实际上，搜索引擎的众多技术都是高度保密的，以是仅仅是笔者的一些愚见，不足之处，还请众大虾批评指正。

■ 全文搜索引擎 在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户■ 目录索引与全文搜索引擎相比，目录索引有许多不同之处。 首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。 其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其象Yahoo!这样的超级索引，登录更是困难。（由于登录Yahoo!的难度最大，而它又是商家网络营销必争之地，所以我们会在后面用专门的篇幅介绍登录Yahoo雅虎的技巧）。此外，在登录搜索引擎时，我们一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。 最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。 目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。 目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而象 Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。

搜索引擎的英文为search engine。搜索引擎是一个对互联网信息资源进行搜索整理和分类，并储存在网络数据库中供用户查询的系统，包括信息搜集、信息分类、用户查询三部分。从使用者的角度看，搜索引擎提供一个包含搜索框的页面，在搜索框输入词语，通过浏览器提交给搜索引擎后，搜索引擎就会返回跟用户输入的内容相关的信息列表。其实，搜索引擎涉及多领域的理论和技术：数字图书馆、数据库、信息检索、信息提取、人工智能、机器学习、自然语言处理、计算机语言学、统计数据分析、数据挖掘、计算机网络、分布式处理等，具有综合性和挑战性。搜索引擎的用途，对普通网民而言，搜索引擎则仅仅是一种查询工具，作为工具，使用者要了解搜索引擎的功用、性能，探讨并掌握其使用方法和技巧。对商家来说，搜索引擎是一种赢利的产品或服务，而作为产品，搜索引擎商要研制、改进和创新其搜索技术；作为服务，搜索引擎营销商要研究搜索引擎优化和推广。利用搜索引擎的目的不同，构成了搜索引擎研究的不同群体和对搜索引擎不同角度不同侧重的研究。搜索引擎的工作原理包括如下三个过程：首先在互联中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。3、提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。

搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。真正意义上的搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。 现在的搜索引擎已普遍使用超链分析技术，除了分析索引网页本身的内容，还分析索引所有指向该网页的链接的URL、AnchorText、甚至链接周围的文字。所以，有时候，即使某个网页A中并没有某个词比如“恶魔撒旦”，但如果有别的网页B用链接“恶魔撒旦”指向这个网页A，那么用户搜索“恶魔撒旦”时也能找到网页A。而且，如果有越多网页（C、D、E、F……）用名为“恶魔撒旦”的链接指向这个网页A，或者给出这个链接的源网页（B、C、D、E、F……）越优秀，那么网页A在用户搜索“恶魔撒旦”时也会被认为更相关，排序也会越靠前。 搜索引擎的原理，可以看做三步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索排序。 从互联网上抓取网页利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。建立索引数据库由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。在索引数据库中搜索排序当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。 搜索引擎的Spider一般要定期重新访问所有网页（各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率），更新网页索引数据库，以反映出网页内容的更新情况，增加新的网页信息，去除死链接，并根据网页内容和链接关系的变化重新排序。这样，网页的具体内容和变化情况就会反映到用户查询的结果中。 互联网虽然只有一个，但各搜索引擎的能力和偏好不同，所以抓取的网页各不相同，排序算法也各不相同。大型搜索引擎的数据库储存了互联网上几亿至几十亿的网页索引，数据量达到几千G甚至几万G。但即使最大的搜索引擎建立超过二十亿网页的索引数据库，也只能占到互联网上普通网页的不到30%，不同搜索引擎之间的网页数据重叠率一般在70%以下。我们使用不同搜索引擎的重要原因，就是因为它们能分别搜索到不同的内容。而互联网上有更大量的内容，是搜索引擎无法抓取索引的，也是我们无法用搜索引擎搜索到的。 你心里应该有这个概念：搜索引擎只能搜到它网页索引数据库里储存的内容。你也应该有这个概念：如果搜索引擎的网页索引数据库里应该有而你没有搜出来，那是你的能力问题，学习搜索技巧可以大幅度提高你的搜索能力。

在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置、频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。

全文搜索引擎一般采用搜索器、索引器、检索器和用户接口等四个部分原理来采集信息1.搜索器搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。2.索引器索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关；内容索引项是用来反映文档内容的，如关键词及其权重、短语、单字等等。3.检索器检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。4.用户接口用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。

蜘蛛爬行抓取页面，预处理，去重，收录，释放得到排名

在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间(比如Google一般是28天)，搜索引擎主动派出"蜘蛛"程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内(2天到数月不等)定向向你的网站派出"蜘蛛"程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法--通常根据网页中关键词的匹配程度，出现的位置、频次，链接质量等--计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。

搜索引擎的工作原理是什么及发展历史搜索引擎是应用在网络上方便的检索信息而产生的。所有搜索引擎的祖先是1990年由加拿大蒙特利尔大学的学生Alan发明的，虽然当时万维网还没出现，但是在网络中传输文件已经相当频繁了，由于大量的文件散步在各个分散的FTP主机中，查询起来非常不便于是Alan等想到了开发一个可以用文件名查找文件的系统，于是便有了ARCHIE,这就是最早的搜索引擎雏形。 搜索引擎的工作原理主要就是四个步骤：爬行，抓取，检索，显示。搜索引擎放出蜘蛛在互联网上爬行，目的是为了发现新的网站和最新的网页内容，从而经过搜索引擎特定程序分析后决定是否抓取这些信息，抓取后然后将其放到索引数据库中，顾客在搜索引擎网站上检索信息时，就会在结果页上出现与检索词相关的信息，并根据与检索词的相关度进行拍序，这就是搜索引擎的工作原理和步骤。了解搜索引擎工作原理是从事SEO人员需具备的基本知识。网络推广 网络营销培训 网络营销课程 网络推广方法