网站优化中robots与nofollow的作用是什么?

今天就来谈谈优化:robots作用是什么与nofollow有哪些区别,先来说第一个问题robots作用是什么。
网站优化中robots与nofollow的作用是什么?
robots
robots一般用于站长限制搜索引擎访问页面,所以说robots是网站跟搜索引擎爬虫间的协议,一般站长通过txt文本方式告诉搜索引擎爬虫被允许的权限,一般只要在根域名目录下,未设置目录访问权限的文件爬虫都可以抓取的到,如果网站跟搜索引擎之间没有协议,将使不可预知的大量信息泄露到网上,这不是双方愿意看到的。
robots作用是什么:
1.如果网站改版了,整个文件夹都没有了的时候,这个情况下就要考虑屏蔽掉整个文件夹。我们可以运用robots来对这整个的文件夹进行屏蔽,例如网站里的ab文件夹因改版全都给删掉了,这个时候就可以这样子设置:
User-agent: *
Disallow: /ab/
2.可以利用各种通配符对网站进行相对应的调配,例如我不想网站抓取我的所有图片,这个时候就可以运用$来进行设置。一般我们常见的图片的格式是BMP�.jpg-w600、GIF、JPEG等格式。这个时候设置就是:
User-agent: *
Disallow: /.bmp$
Disallow: /.jpg-w600$
Disallow: /.gif-w600$
Disallow: /.jpeg-w600$
3.如果你只想某一个搜索引擎抓取你的信息,这个时候就可以用robots进行设置,例如:我只想我的网站被百度这个收录,而不想被别的搜索引擎收录。就可以利用robots进行设置。
User-agent: Baiduspider
Allow:
User-agent: *
Disallow: /
4.还可以利用*来屏蔽掉相关的URL,有些网站不允许搜索引擎抓取动态地址的时候可以利用这个*通配符来进行匹配设置。一般情况下动态URL的有一个特点就是有“?”这个时候我们就可以利用这个特性来进行匹配的屏蔽:
User-agent: *
Disallow: /*?*
5.屏蔽所有的搜索引擎抓取信息,如果你的网站只是你的私密性的网站,不想太多的人知道的话,可以利用robots屏蔽掉所有的搜索引擎,例如你写的私人博客。你就可以把搜索引擎全都屏蔽掉。
robots与nofollow有哪些区别
robots文件是在根目录中的一个txt文本文件,里面用代码语句告诉蜘蛛什么可以抓取,什么不能抓取,从一开始就告诉了蜘蛛:“我有些东西不能让你看,请你自动绕开。”而nofollow属性的链接,意思是告诉蜘蛛这个链接你可以看看,但是跟我网站无关,不要给这个链接权重,这是比较直观的说法。
说得更通俗点robots一开始就告诉蜘蛛我们什么链接不要去抓取,而对于nofollow标签来说,他无法节省我们的蜘蛛资源,连接中加了nofollow标签,蜘蛛还是会抓取这个链接,只是不传递权重,也就是我们的网站不对这个链接传递权重。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/39808.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
优化家优化家订阅用户
上一篇 2022年6月2日 21:32
下一篇 2022年6月2日 21:32

相关推荐

  • 锚文本外链如何制作。

         我们都知道网站SEO少不了外链制作,外链的表现形式有很多种,一般常见的有锚文本外链、纯文本外链和图片外链。今天就来和大家讨论一下外链锚文本应该如何制作。      锚文本外…

    2022年3月12日 SEO操作
    0418
  • 百度与谷歌排名的差别是什么。

      最近用seo三人行的工具分析了一个词的竞争难度以及每个外链传递权重的比率,然后买了一些权重传递比率比较高的外链,过了一段时间发现百度与谷歌给的排名是完全不一样的。那么百度与谷歌的排名差别在哪里呢? …

    2022年3月12日
    0185
  • SEO要这样做,我和我的小伙伴都惊呆了。

      SEO到底应该如何去做?问这个问题其实跟没问一样,正所谓1000个观众眼里有1000个哈姆雷特,那么笔者眼中的SEO应该从哪开始又到哪结束呢?    SEO之前:构思    构思的含义很广,需要构思的东西也…

    2022年3月12日
    0160
  • 如何提高百度权重呢?

    怎么样才干进步百度权重?依照查找引擎优化的查找习气做,一起哈尔滨SEO要做到以下九项百度查找引擎要求:1.确保网站每一个标题的唯一性也是网站优化者有必要重视的,只要唯一性才干给你的网站带来权重。2.为了能加…

    2022年5月31日
    0279
  • 网站优化下拉框与相关搜索关键词的方法

    我们想要做好百度推广,就必须根据百度对外展现出来的数据对网站内容进行更新。因为只有这样,才会让百度和用户都渐渐喜欢上我们的网站。那么,什么是百度对外展现的数据呢?一个是百度下拉框,一个是百度相关搜索…

    2022年6月2日
    0280
  • 什么是降权。

      降权一般是指网站在搜索引擎当中的评分被降低,也可以看成网站被搜索引擎处罚了。 那么怎样才会产生网站被降权的情况?    一般情况下,利用搜索引擎缺陷,用不自然手法恶意排名,导致搜索引擎显示排名…

    2022年3月12日
    0359
  • 百度排名优化站长的赚钱模式?

    赚钱模式是每个seo站长想要进行的过程,但是往往在发展的过程中并不是那么的顺利,你会发现的是自己很多的时候都是找不到一个好的方法来进行这个事情,你会发现自己不知道如何面对自己的牌,那么这个时候百度排名优…

    2022年5月30日
    0193
  • 新网站和老网站四个层面分析

    经常在搜外问答、知乎、百度知道和站长论坛上看到问起:接手了一个网站,应该怎样做好SEO优化。针对普遍存在的这个问题,根据自身的经验写出相关的操作方法,希望可以帮助SEO从业者做好SEO优化工作。 现如今很多经…

    2022年5月28日
    0276

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息