在wordpress网站优化过程中的robots.txt爬虫协议。

爬虫协议Robots.txt是在网站上找到的第一个文件搜索蜘蛛。它告诉搜索引擎可以抓取哪些页面以及哪些页面无法抓取。

wordpress网站优化之robots.txt爬虫协议的写法

当我们在我们的网站上有错误页面时,或者某些页面不希望蜘蛛抓取时,合理配置的机器人协议可以使蜘蛛更有效,更快速地抓取需要抓取的内容。当搜索引擎蜘蛛进入网站时,首先要确定网站根目录目录下是否有robots.txt文件。如果存在,则根据文件的规范对内容进行爬网;如果该文件不存在,则根据默认规则对网站中的所有页面进行爬网。 。因此,本文介绍了一些机器人的语法和常见示例。

网站设置robots.txt的好处:禁止搜索引擎包含页面的一部分;引导蜘蛛爬行站点地图;可以在一定程度上保护网站安全;节省流量等。

Robots基本语法:

1、定义搜索引擎:User-agent。

2、Disallow 禁止爬取。

3、Allow 允许。默认情况下,都是允许的。

例如:禁止admin文件夹下的所有文件,除了.html的网页。如果用Disallow一个一个的禁止,太浪费时间了。

此时用Allow就解决这个问题:

4、$ 结束符。

例:允许所有的以.html结尾的文件。不管前面有多长的URL,只要以.html结尾都允许

5、* 通配符符号0或多个任意字符。

例:屏蔽所有的动态URL

6、Sitemap 声明网站地图。

7、#: 注释符。

8、版本号

注:

常用Robots.txt 文件举例

例1、禁止所有搜索引擎访问网站的任何部分

例2、禁止访问某些目录。注意的是对每一个目录必须分开声明。

例3、禁止某个搜索引擎抓取网站上的所有图片

User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

本文来自投稿,不代表科技代码立场,如若转载,请注明出处https://www.cwhello.com/45043.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
上一篇 2022年6月28日 23:29
下一篇 2022年6月28日 23:29

相关推荐

  • SEO如何用网站吸引潜在客户。

    随着搜索引擎优化越来越重要的业务所有者,当试图通过快速搜索引擎优化网站分析赢得潜在客户时,立即开始。 在一个网站的页面搜索引擎优化工作可能是令人厌倦的,有时是一个永无止境的艰巨任务,企业主知道这一点...

    2022年6月30日
    0117
  • 分享如何避免SEO优化浪费时间。

    在做网站seo优化的过程中,我们知道建立网站与SEO优化,都是需要花费大量的时间,而对于一些中小企业而言,由于人员的紧张,实际上,每个人的工作量还是蛮多的,这就要求我们在做相关业务的时候,尽量避免浪费时...

    2023年6月22日
    00
  • 中小型企业网站,为什么一定要做SEO优化。

    随着互联网的普及,国内的互联网用户不断增加,依赖传统营销的企业开始关注互联网营销,从在线渠道获得更多的流量用户和转换,SEO优化搜索引擎是如何实现的?许多传统企业的老板对SEO不太了解,因为很难正确利用S...

    2022年7月1日
    0125
  • 小编分享如何撰写seo软文。

    学习一些软文的写作技巧有助于提升网站软文的质量是非常有帮助的。接下来云裂变小编就与大分享一些网站推广之软文写作技巧。 一、软文类型 1、今日头条一篇优质的新闻媒体软文可以提高企业知名度,能够让读者在不...

    2023年6月6日
    00
  • 根据全网营销外包公司经验,分享8点营销推广误区。

    全网营销外包公司都有哪些网络推广技巧?伴随着信息化时代的到来,百度推广已经成为了现在企业网络营销的。但是全网营销外包公司在做百度推广时,往往会遇到一些不可预计的问题。接下来全网营销外包公司就给大家...

    2023年2月16日
    00
  • 最适合初学者的WordPress SEO实践

    初学者到SEO面临很多挑战。在开始时有很多事情要做和学习,这使得无法区分重要和应该首先完成的任务以及可以在以后实施的最不重要的任务。 确实,网上有很多关于\'WordPress SEO\'的信息。 问题在于,如果您不熟...

    2019年8月8日 SEO操作
    0337
  • seo优化成本是多少?网站经过seo优化能获得什么。

    SEO在中文中是指SEO,旨在为网站提供生态的自我营销解决方案。SEO可以从狭义或广义上解释。网站优化是对网站在程序、域名、内容、版块、布局等方面进行优化调整,使之适合搜索引擎检索,满足搜索引擎排名指标,从...

    2023年2月25日
    00
  • 五点告诉你什么样的网站才能讨得百度的欢心。

      与跟搜索引擎谈恋爱,这是个好形象的比喻。事实上,SEO就是这样一个工作,SEOer面对的是搜索引擎,要知晓她喜欢什么样的反感什么样,还有她有一些什么原则你不能去触碰,就像一个女孩儿,只要让她高兴,就可...

    2022年3月12日
    0184

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息