网站基本设置

• 标题、关键词、描述
• 图片描述

网站地图SiteMap

使用@minirizhi.com魔改@老高的BaiduSubmit插件，可生成SiteMap.xml

Robots.txt

robots文件写法

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图

本站robots.txt

User-agent: *
Disallow: 
Disallow: /config.inc.php
Disallow: /admin/
Disallow: /var/
Disallow: /install/
Disallow: /install.php
Sitemap: https://blog.chengcj.com/sitemap.xml

站长平台配置

以百度站长平台为例：
登录百度站长平台-链接提交

选择自动提交-sitemap（填入网站sitemap.xml地址）

点击左边栏“Robots”标签

检测并更新robots文件

百度主动提交

将百度站长平台自动提交-主动推动（实时）-接口地址填入BaiduSubmit插件中

可查看自动提交记录及各搜索引擎蜘蛛抓取记录

AMP、MIP自动提交

AMP（Accelerated Mobile Pages），是谷歌的一项开放源代码计划，可在移动设备上快速加载的轻便型网页，旨在使网页在移动设备上快速加载并且看起来非常美观。

MIP(Mobile Instant Page - 移动网页加速器)，是一套应用于移动网页的开放性技术标准。通过提供MIP-HTML规范、MIP-JS运行环境以及MIP-Cache页面缓存系统，实现移动网页加速。

熊掌号，是百度熊掌号是内容和服务提供者入驻百度生态的实名账号。通过历史内容接口，每天可提交最多500万条有价值的内容，所提交内容会进入百度搜索统一处理流程。

提醒

请在做好网站永久连接和伪静态后再进行SEO操作，避免文章链接变动导致搜索引擎黑洞

robots.txt文件请谨慎填写，避免自我屏蔽蜘蛛抓取

下载地址

BaiduSubmit插件