获取索引
搜索引擎使用复杂的数学算法来解释用户搜索的网站。在此图中，如果每个气泡代表一个网站，则有时称为蜘蛛的程序会检查哪些站点链接至其他站点，并用箭头表示这些链接。推测获得更多入站链接或更强链接的网站更重要，并且用户正在搜索什么。在此示例中，由于网站B是众多入站链接的收件人，因此它在网络搜索中的排名更高。链接“通过”，因此即使站点C只有一个入站链接，它也具有来自高度受欢迎的站点（B）的入站链接，而站点E没有。注意：百分比取整。
领先的搜索引擎，例如Google，Bing和Yahoo !！，请使用搜寻器查找其算法搜索结果的页面。从其他搜索引擎索引页面链接的页面无需提交，因为它们是自动找到的。在雅虎 目录和DMOZ这两个主要目录分别于2014年和2017年关闭，都需要人工提交和人工编辑审查。 Google提供了Google Search Console，为此提供了XML Sitemap可以免费创建和提交feed，以确保找到所有页面，尤其是除了URL提交控制台之外，还可以通过自动跟随链接来发现无法找到的页面。 Yahoo! 以前运营付费提交服务，保证爬网的每次点击费用; 但是，这种做法在2009年停止了。
搜索引擎爬网程序在爬网网站时可能会考虑许多不同的因素。并非每个页面都被搜索引擎索引。页面与站点根目录的距离也可能是页面是否被爬网的因素。
如今，大多数人都在使用移动设备在Google上进行搜索。 2016年11月，谷歌宣布对爬网网站的方式进行了重大更改，并开始将其索引设置为移动优先，这意味着给定网站的移动版本将成为Google对其索引中包含内容的起点。在2019年5月，Google将其抓取工具的渲染引擎更新为最新版本的Chromium（发布时为74）。Google表示，他们会定期将Chromium渲染引擎更新为最新版本。从2019年12月开始，Google开始更新其搜寻器的User-Agent字符串，以反映其渲染服务使用的最新Chrome版本。延迟是为了让网站管理员有时间更新其代码，以响应特定的漫游器用户代理字符串。Google进行了评估，并感到影响很小。
防止爬行
为了避免搜索索引中出现不需要的内容，网站管理员可以指示蜘蛛不要通过域根目录中的标准robots.txt文件对某些文件或目录进行爬网。此外，通过使用特定于机器人的元标记（通常），可以将页面从搜索引擎的数据库中明确排除。当搜索引擎访问网站时，位于根目录中的robots.txt是第一个抓取的文件。然后，robots.txt文件将被解析，并将指示漫游器有关哪些网页将不被爬网。由于搜索引擎搜寻器可能会保留此文件的缓存副本，因此它有时可能会爬网，网站管理员不希望对其进行爬网。通常阻止爬网的页面包括登录特定页面（例如购物车）和用户特定内容（例如内部搜索的搜索结果）。2007年3月，Google警告网站管理员，他们应防止将内部搜索结果编入索引，因为这些页面被视为搜索垃圾邮件。
白帽与黑帽技术
SEO技术可分为两大类：搜索引擎公司建议将其作为良好设计的一部分的技术（“白帽”）和搜索引擎不认可的技术（“黑帽”）。搜索引擎试图最大程度地减少后者的影响，其中包括垃圾邮件散布。行业评论员已将这些方法分类，并且采用这些方法的从业人员为白帽SEO或黑帽SEO。[52]白帽往往会产生持续很长时间的结果，而黑帽则预计，一旦搜索引擎发现他们的所作所为，它们的站点最终可能会被暂时或永久禁止。#p#分页标题#e#
