通用WordPress程序网站Robots.txt文件设置文档参考
ssr
撰写于 2022年 02月 26 日

对于才开始学习网站建设的朋友来说,我们追求的只要能把网站搭建起来,能够在自己的博客、网站上更新内容就足矣。但是在网站运营中,尤其是在很多同行竞争中,如何才能让自己的网站具有特色且拥有人气,不仅仅需要在网站内容中需要有自己的原创、思想,更有需要在网站技术范畴需要适当的提高用户、搜索引擎的体验。
比如我们的网站是否有sitemap地图文件、是否有robots.txt文件屏蔽一些不需要让蜘蛛爬行的目录等设置,今天老蒋看到在知更鸟博客分享的针对WORDPRESS网站程序根目录的ROBOTS.TXT文件。


User-agent:
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /
/comment-page-
Disallow: /
?replytocom=
Disallow: /category/
/page/
Disallow: /tag//page/
Disallow: /
/trackback
Disallow: /feed
Disallow: //feed
Disallow: /comments/feed
Disallow: /?s=

Disallow: //?s=\<br> Disallow: /attachment/
Sitemap: http://www.itbulu.com/sitemap.xml

我们可以复制上面的内容,在根目录创建或者已有的robots.txt文件覆盖。把最后一行的地图文件路径修改成我们自己的路径。

通用WordPress程序网站Robots.txt文件设置文档参考

对于才开始学习网站建设的朋友来说,我们追求的只要能把网站搭建起来,能够在自己的博客、网站上更新内容就足矣。但是在网站运营中,尤其是在很多同行竞争中,如何才能让自己的网站具有特色且拥有人气,不仅仅需要在网站内容中需要有自己的原创、思想,更有需要在网站技术范畴需要适当的提高用户、搜索引擎的体验。
比如我们的网站是否有sitemap地图文件、是否有robots.txt文件屏蔽一些不需要让蜘蛛爬行的目录等设置,今天老蒋看到在知更鸟博客分享的针对WORDPRESS网站程序根目录的ROBOTS.TXT文件。


User-agent:
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /
/comment-page-
Disallow: /
?replytocom=
Disallow: /category/
/page/
Disallow: /tag//page/
Disallow: /
/trackback
Disallow: /feed
Disallow: //feed
Disallow: /comments/feed
Disallow: /?s=

Disallow: //?s=\<br> Disallow: /attachment/
Sitemap: http://www.itbulu.com/sitemap.xml

我们可以复制上面的内容,在根目录创建或者已有的robots.txt文件覆盖。把最后一行的地图文件路径修改成我们自己的路径。

赞 (0)

猜您想看

评论区(暂无评论)

这里空空如也,快来评论吧~

我要评论