搜索引擎是根据用户需求，运用特定策略从互联网海量数据中提取对用户有价值内容的一种技术。对资源生产方而言可以简化为三步：从互联网抓取网页、建立索引数据库、将索引库中数据展现给用户。
网站抓取：在互联网中发现、搜集网页信息；
建立索引：对信息进行提取和组织建立索引库；
结果呈现：用户输入的查询关键字，在索引库中快速检出文档进行文档与查询的相关度评价，对将要输出的结果进行排序并将查询结果返回给用户。
一.网站抓取
Spider抓取系统作为整个搜索系统中的上游，主要负责互联网信息的搜集、更新环节，它像蜘蛛一样在网络间爬来爬去，因此通常会被叫做Spider。例如我们常用的几家通用搜索引擎蜘蛛被叫做：Baiduspider、Googlebot、Sogou Web Spider等。
Spider抓取系统是搜索引擎数据来源的重要保证，它从一些重要的种子URL开始通过页面上的超链接关系不断的发现新URL并抓取，尽最大可能抓取到更多的有价值网页。对于类似百度这样的大型Spider系统，因为每时每刻都存在网页被修改、删除或出现新的超链接的可能，因此还要对Spider过去抓取过的页面保持更新。
当Baiduspider无法正常抓取时，会出现 抓取异常 。对于大量内容无法正常抓取的网站，搜索引擎会认为网站存在 用户体验 上的缺陷并降低对网站的评价，抓取、索引、权重上都会受到一定程度的负面影响，最终影响到网站从百度获取的流量；
抓取过程中Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整 抓取频次 。如果搜索引擎对站点抓取超过服务压力，网站可以通过抓取频次工具进行调节。如果有不想被搜索引擎抓取的部分或者指定搜索引擎只抓取特定的部分，可以进行Robots设置；同时为了提升 百度蜘蛛 抓取数据的效率，我们可以通过收录工具将资源主动提交给百度；
二.建库索引
前面Spider进行了一轮筛选之后，数据量依然巨大。这时候由索引系统对收集回来的网页进行分析，提取相关网页信息，根据一定的相关度算法进行大量复杂计算得到页面内容中及超链中每一个关键词的相关度或重要性信息，然后利用这些相关信息建立网页索引数据库，将有价值的资源保存下来。
2.1新站的站长常常会遇到整站未被索引的情况，这种怎么解决？
站点内容页面需要经过搜索引擎的抓取和层层筛选后方可在搜索结果中展现给用户。Baiduspider抓了多少页面并不是最重要的，重要的是有多少页面被建索引库即我们常说的“建库”。众所周知搜索引擎的索引库是分层级的，优质的网页会被分配到重要索引库，普通网页会待在普通库，再差一些的网页会被分配到低级库，低级库展现的机会较小。
2.2那么哪些网页可以进入优质索引库呢？
其实总的原则就是一个：对用户的价值。包括不限于：
1、领域垂直聚焦：当内容生产者在输出内容时，涉及的领域不应该过杂，不应该浪费精力去生产堆砌不熟悉的内容。应在专业领域内生产专业的内容，聚焦并把最擅长的内容做好，有利于持续满足用户的同类型需求。
2、内容质量高：表述清晰阅读顺畅 ，文笔用词用句舒适，行文严谨考究，能体现这个行业的专业性，实操性强。
3、高价值原创：百度把原创定义为需花费一定成本、大量经验积累提取后形成的文章。
4、体验舒适使用流畅：排版布局合理，考虑用户体验，不能阻塞用户的顺畅浏览，减少不必要的阅读权限设置等。
具体更多的内容可以参照优质内容规范以及百度APP移动搜索 落地页 体验白皮书5.0
同时互联网上有一部分网站根本没有被百度索引，可能存在以下原因：
1、重复内容的网页：互联网上已有的内容，百度没有必要再索引
2、主体内容空短的网页
3、违规作弊站点等
最后我们可以通过索引量工具查看站点中有多少页面可以作为搜索候选结果，就是一个网站的索引量数据。
三、结果呈现
用户输入关键词进行检索，百度搜索引擎在排序环节需要做两方面的事情，第一是把相关的网页从索引库中提取出来，第二是把提取出来的网页按照不同维度的得分进行综合排序。“不同维度”包括不限于以下几个维度，具体可以通过优质内容规范了解；
1、相关性：网页内容与用户检索需求的匹配程度
2、权威性：用户喜欢有一定权威性网站提供的内容，相应的百度搜索引擎也更相信优质权威站点提供的内容
3、时效性：时效性结果指的是新出现的网页且网页内承载了新鲜的内容。目前时效性结果在搜索引擎中日趋重要
4、内容质量高：表述清晰阅读顺畅 ，文笔用词用句舒适，行文严谨考究，能体现这个行业的专业性，实操性强
以上便是百度搜索引擎决定搜索结果排序时考虑的一些原则，同时我们可以通过资源平台-【搜索服务】下工具，如站点子链，站点属性，及网站改版等工具提升网站的展示效果。
百度搜索原理？
搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。 真正意义上的搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。 当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。 在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。 现在的搜索引擎已普遍使用超链分析技术，除了分析索引网页本身的内容，还分析索引所有指向该网页的链接的URL、AnchorText、甚至链接周围的文字。 所以，有时候，即使某个网页A中并没有某个词比如“恶魔撒旦”，但如果有别的网页B用链接“恶魔撒旦”指向这个网页A，那么用户搜索“恶魔撒旦”时也能找到网页A。 而且，如果有越多网页（C、D、E、F……）用名为“恶魔撒旦”的链接指向这个网页A，或者给出这个链接的源网页（B、C、D、E、F……）越优秀，那么网页A在用户搜索“恶魔撒旦”时也会被认为更相关，排序也会越靠前。 搜索引擎的原理，可以看做三步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索排序。 从互联网上抓取网页 利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。 建立索引数据库 由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。 在索引数据库中搜索排序 当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。 因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。 最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。 搜索引擎的Spider一般要定期重新访问所有网页（各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率），更新网页索引数据库，以反映出网页内容的更新情况，增加新的网页信息，去除死链接，并根据网页内容和链接关系的变化重新排序。 这样，网页的具体内容和变化情况就会反映到用户查询的结果中。 互联网虽然只有一个，但各搜索引擎的能力和偏好不同，所以抓取的网页各不相同，排序算法也各不相同。 大型搜索引擎的数据库储存了互联网上几亿至几十亿的网页索引，数据量达到几千G甚至几万G。 但即使最大的搜索引擎建立超过二十亿网页的索引数据库，也只能占到互联网上普通网页的不到30%，不同搜索引擎之间的网页数据重叠率一般在70%以下。 我们使用不同搜索引擎的重要原因，就是因为它们能分别搜索到不同的内容。 而互联网上有更大量的内容，是搜索引擎无法抓取索引的，也是我们无法用搜索引擎搜索到的。 你心里应该有这个概念：搜索引擎只能搜到它网页索引数据库里储存的内容。 你也应该有这个概念：如果搜索引擎的网页索引数据库里应该有而你没有搜出来，那是你的能力问题，学习搜索技巧可以大幅度提高你的搜索能力。
怎么查看自己百度博客的权重？
输入你博客的关键词，查看你博客的关键词在网络的排名情况，如在网络首页是相当的不错了。
Baidu搜索引擎的原理和特点是什么
搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，并将处理后的信息显示给用户，是为用户提供检索服务的系统。 【工作原理】1、抓取网页 每个独立的搜索引擎都有自己的网页抓取程序（spider）。 Spider顺着网页中的超链接，连续地抓取网页。 被抓取的网页被称之为网页快照。 由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。 2、处理网页 搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。 其中，最重要的就是提取关键词，建立索引文件。 其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。 3、提供检索服务 用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。
