WordPress修改程序自带的robots.txt文件的方法

在网站运营过程当中，根据自身的业务需求，经常有以一些页面不希望被搜索引擎抓取，即被搜索引擎收录，在程序中经常会通过robots.txt文件来设置，今天我们来说说WordPress如何修改他的robots.txt文件。首先需要说明的是WordPress的网站根目录下是没有robots.txt文件的，他是通过wordpress 提供的 robots_txt 钩子生成虚似的 robots.txt 文件 URL（类似于伪静态）实现的，只不过不是在网站根目录的，所以我们需要找到相应的设置文件。

WordPress 是默认自带 robots.txt 文件其实写进了网站根目录 wp-includes 目录下的 functions.php 文件中，位置大约在 1671-1692 行，每位站长的 wordpress 版本不同，位置会有所偏差，作者用的是 6.1 版本，新手可以搜索关键词 robots 来定位代码所在位置，如下图：

找到位置后，我们只需要将不希望给抓取的地址添加在下边就可以。一段时间以后，你会发现，原来被搜索引擎抓取的地址，会消失，说明你的设置起了作用。