1. 把收录这个词拆开看它只是搜索引擎流水线上的一个工位群里隔三差五就有人甩过来一句话我的网站收录了没紧接着再补一张截图站内查询出来只有三条结果然后开始焦虑——是不是被降权了、是不是被惩罚了、是不是服务器有问题。每次看到这种问法我都得先让对方停一下因为在没搞清楚网站收录到底处在搜索引擎哪一道工序之前任何判断都是瞎猜。搜索引擎处理一个网页是条流水线不是一次性的判定。这条线大致分四段发现并抓取Crawl→ 解析并建索引Index→ 收录进结果库 → 针对具体查询排序Rank并展示。我们平时嘴上说的收录严格来讲指的是第三段——网页已经进到搜索引擎的结果库里头能被站内查询指令捞出来。但很多人把收录和有排名有流量混成一个概念这才是所有误解的源头。打个图书馆的比方就好理解了。抓取相当于采购员跑到书店把书搬回来建索引相当于编目员给书贴分类号、写摘要、录进检索系统收录相当于这本书真的上了架、能在馆藏目录里查到排名则是读者搜近代建筑史的时候馆员按相关度给你排一个先后顺序。书搬回来了但编目没做完你在目录里查不到书上了架但读者搜的主题跟这本书关系不大它照样排在第十页。这四件事互相牵连但绝不是一回事。1.1 抓取、索引、收录、排名四个环节各自在卡什么抓取环节卡的是能不能来和愿不愿意来。搜索引擎的爬虫资源是有限的业内通常叫抓取预算说白了就是它每天愿意在你这个站上花多少时间和请求数。站点响应慢、层级深、死链多、大量参数 URL都会让爬虫把预算浪费在垃圾页面上真正的优质页面反而排不上号。索引环节卡的是值不值得存。爬虫把 HTML 拿回去之后要做正文抽取、去模板、去导航、识别重复内容、判断页面主题然后决定这个页面有没有资格进索引库。这里最常见的拦路虎是薄内容有效信息太少、高度重复同一个小区的房源页只有标题不同正文一模一样以及主体内容依赖 JS 渲染而爬虫拿不到。收录环节卡的是进库之后有没有被保留。有些页面确实进过索引但后续评估下来质量不达标会被静默地筛掉你从站内查询里看着像是掉了实际是根本没被当成有效结果保留。排名环节卡的东西最多——相关性、内容深度、站点整体质量、用户点击行为、页面体验属于另一个话题。我在实际排查里最常纠正的一句话就是收录是排名的必要条件但远远不是充分条件。收录了没排名是常态没收录还有排名基本不可能。1.2 为什么收录了和能搜到经常对不上这是新手最容易懵的一点。用站内查询指令能查到某个页面但你拿页面核心关键词去搜翻遍前十页都找不到它。这不矛盾因为两者的判定口径完全不同站内查询更像是在索引库里点名只要这个 URL 在库中就会列出来而正常搜索结果要经过相关性排序和一轮质量筛选一些被判定为低价值的页面会以补充结果的形式沉底甚至完全不出现。还有一种情况是收录了但被折叠。同一个站点下大量结构相似的页面分页、筛选、标签聚合页搜索引擎会把它们聚成一簇只挑一两个代表出来其余的虽然在库里但基本没有曝光机会。所以你看到收录量涨了三千流量纹丝不动一点都不奇怪——涨的可能全是这类没有独立检索价值的聚合页。2. 收录到底有什么用它既是入口也是一份体检报告如果只把收录理解成能不能被搜到那价值就被看窄了一半。我这些年做站点诊断越来越把收录数据当成一个前置指标来看它的意义有两层一层是对外的一层是对内的。对外这一层很直白。对绝大多数以自然搜索为流量来源的站点来说收录是获客链条上的第一道闸门。用户的问题变成一串关键词搜索引擎从索引库里挑答案你的页面不在库里就等于没参加这场比赛。尤其是做长尾词的站点——几百上千个细分需求词每个词月搜索量只有几十次靠的就是量取胜。这种打法对收录率的敏感度极高收录率掉十个点流量差不多就是线性下滑。对内这一层更有意思。收录数据相当于给站点做的一次常规体检它能提前暴露出很多你自己没意识到的问题新发布的页面三天内收录比例骤降往往意味着站点结构或者内链出了问题某个栏目的收录率长期低于全站均值通常是这个栏目的模板太重、正文占比太低收录量突然大幅波动得先从服务端状态码和 robots 规则查起。流量下滑是结果收录异常是征兆先看征兆能省很多时间。2.1 收录率比收录总量更值得盯我的站收录了五万条这句话本身没有信息量得看分母。站内一共多少可索引 URL五万除以总页面数是 80% 还是 8%含义天差地别。我一般建议按栏目拆分统计收录率因为全站平均值会掩盖结构性问题。拿一个做本地生活信息的站点举例总页面十二万整体收录率 40%看着还行拆开一看商户详情页收录率 92%资讯栏目 65%而标签聚合页只有 3%。问题一下就聚焦了——聚合页大量生成、内容重复度高、没有独立检索价值白白占用抓取预算。处理方式也很直接给低价值聚合页加规范标签或者干脆限制索引把预算让给详情页。这类调整做完通常两到四周能看到详情页收录速度明显变快。2.2 哪些情况下收录数量真的没那么重要也得说句公道话不是所有站点都要死磕收录数。几种典型情况单页应用或工具型站点全站就三五个页面收录数天然就是个位数重点在于这几个页面能不能稳定排住主要靠私域和社交流量转化的站点搜索只是补充渠道投入产出比不高付费投放为主的落地页很多落地页本身就不希望被自然搜索收录反而是主动屏蔽的有大量登录后内容的站点这部分内容本来就不该进索引收录数低是正常状态。所以看到收录数少先问一句这些页面本来该不该被收录答案如果是不该那这不是问题是配置正确。3. 查收录的三种口径站内指令、站长平台、服务器日志想知道收录情况方法不止一种而且三种方法给出的数字经常对不上。这不是谁错了是统计口径不同。搞不清口径差异就容易自己吓自己。站内查询指令在搜索框里输入site:加域名是最常用的优点是快、免费、谁都能用。缺点是它给的是估算值而且会做去重和折叠处理分页翻到后面结果会重复甚至截断。今天查是 1200明天查是 900很多时候不是真掉了 300 条是指令本身的抽样波动。我的用法是只看趋势和量级不看绝对值连续观察两三周看曲线是平的还是往下走。各家搜索引擎的官方站长平台提供的索引量数据口径相对稳定因为它统计的是索引库里的真实条数波动小、可比性强。缺点是更新有延迟通常滞后一两天而且只统计你自己验证过的站点。这个数据适合做长期趋势监控。服务器访问日志是最接近真相的一手数据。日志里能看到爬虫的 UA、访问的 URL、返回的状态码、访问频次。它能回答很多站长平台回答不了的问题爬虫到底来没来、一天来多少次、主要抓哪些目录、有多少请求打在了 404 和 301 上。缺点是需要点技术门槛日志文件也大得做点简单的统计处理。查询方式数据性质更新频率适合场景主要坑点站内查询指令估算值、有折叠实时但不稳定快速看量级与趋势绝对值不可信别拿日环比说事站长平台索引量索引库真实条数滞后 1-2 天长期趋势监控需站点验证不含未验证子域服务器日志原始请求记录实时排查抓取异常需过滤爬虫 UA数据量大3.1 抽样验证比看总量更靠谱的做法总量数据只能告诉你大概怎么样想定位具体问题还得抽样。我的习惯是每次从站点地图里随机抽 30 到 50 个 URL逐个用站内指令查一遍记录三个状态已收录、未收录、查不到但提交过。然后把未收录的那批按栏目归类看看是不是集中在某几个模板或者某几个发布时间段。抽样有个细节要注意不要只抽首页和热门页。这两个位置的页面收录率高得离谱抽了也没有代表性。要按 URL 结构分层抽——列表页一层、详情页一层、聚合页一层各抽十几个这样出来的结论才有指导意义。我吃过这个亏早年只看首页和栏目页觉得收录挺好结果详情页收录率只有三成白白浪费了两个月。3.2 判断收录质量别只数条数收录量之外我还会看三个更细的指标新页面首收录时长从发布到能被站内查询到平均多少天、有效索引占比能靠目标关键词搜到的页面占总收录的比例、抓取频次分布爬虫每天抓取的页面里新页面和旧页面的比例。第一个指标反映站点的抓取响应速度第二个反映收录的含金量第三个反映抓取预算有没有花在刀刃上。旧页面被反复抓、新页面排不上队说明站点更新机制有问题得从站点地图的lastmod准确度和内链新鲜度上找原因。4. 页面不被收录的完整排查链路这是最费时间也最见功力的部分。很多人一遇到不收录就直接改内容、堆关键词大概率改错方向。正确的做法是从最外层往里一层层剥每层都有明确的验证手段剥到哪层发现问题就停在哪层别越级操作。4.1 第一层爬虫到底来过没有先看日志。从访问日志里过滤出爬虫 UA统计最近七天的请求数、请求的 URL 分布、状态码分布。如果一条都没有那问题在发现环节——站点可能压根没被收录过、没有外部链接指向、站点地图没提交、或者 robots.txt 里不小心写了全站禁止。这种情况改内容毫无意义。如果日志里有请求但量极小比如一天只有两三次全打在首页那问题在抓取预算或者站点吸引力——可能是站点权重太低、内链结构太深、或者页面加载太慢。这时候该做的是优化站点结构和加载速度而不是写新文章。4.2 第二层来了但抓不到卡在技术层面日志里有请求但状态码一片 4xx、5xx或者大量 302 跳转那基本可以定位了。常见几种robots.txt 误屏蔽。改版或者迁移的时候测试环境的Disallow: /被带到线上了这种事故我见过不止一次而且往往要一两周才被发现。检查方式很直接打开你的域名/robots.txt看一眼就行三十秒的事。页面级 noindex 没摘掉。模板里为了屏蔽某个栏目加的meta namerobots contentnoindex后来栏目改用途了标签忘了删。状态码异常。页面返回 200 但内容是空的或者返回 503 长期不恢复爬虫会认为站点不稳定主动降低抓取频次。规范化标签指向错误。页面 A 的canonical指向了页面 B那 A 就永远不会被单独收录。这在带参数的商品页、分页列表里特别常见。# 一个典型的事故现场迁移后 robots.txt 忘了改 User-agent: * Disallow: / # 正确写法应该只屏蔽确实不需要抓取的目录 User-agent: * Disallow: /admin/ Disallow: /search/ Sitemap: https://example.com/sitemap.xml4.3 第三层抓到了但内容没通过评估技术层面全绿日志显示爬虫正常抓取、返回 200、内容完整但就是不收录。这一层最麻烦因为它没有明确报错只能靠对比分析。我的做法是找同站已经被收录的页面做对照逐项比正文长度、信息密度、是否有独特数据、模板重复比例、发布时间、内链数量。差异往往很明显——被收录的页面有具体的参数、价格、流程说明没被收录的页面通篇是我们致力于为客户提供优质服务这类可以套在任何行业的句子。这种页面在算法眼里就是没有信息增量。另一个高频原因是批量生成。用模板批量套出几千个页面每个页面只替换了城市名其余 95% 内容一致。这种页面即使被抓取也会在索引阶段被大量筛掉。解决办法不是加大提交量而是要么给每个页面补充真实差异化内容要么主动收敛页面数量把资源集中到能做出差异的那部分。4.4 第四层进了库但被静默筛掉还有一种情况页面明明收录过站内指令能查到过一段时间再查没有了但日志显示爬虫还在抓。这不是被删除而是索引库做了清理。常见触发点是内容质量评估下降、站点整体质量下滑、或者页面长期零点击。这一层能做的有限但有两件事有效一是把页面内容做实质性升级补充数据、更新时效、增加结构化信息二是给它增加有价值的内部链接让它重新获得抓取和评估的机会。单纯改个发布时间、换个标题基本没用。症状最可能的原因验证方式处理方向日志无爬虫记录未被发现 / robots 全站屏蔽查 robots.txt、查外链提交站点地图、修规则有请求但全是 4xx/5xx链接失效、服务端异常日志状态码统计修链接、修服务端抓取正常但不收录内容薄、模板重复与已收录页面对比补内容增量或收敛页面收录后消失索引库清理对比历史收录记录内容升级 内链补强5. 让页面顺利被收录从站点骨架到内容颗粒度的实操排查清楚之后就是优化。这块我按先骨架、再内容、后节奏的顺序来讲因为顺序反了会做很多无用功。骨架不通内容再好也送不进去内容不行骨架再顺也只是让垃圾页进库更快。5.1 站点骨架让爬虫少走冤枉路几个硬性要求都是我踩过坑之后固定下来的做法层级控制在三层以内。首页 → 栏目页 → 详情页点三下能到。超过三层的页面抓取频次断崖式下降。如果业务上确实需要更深用相关推荐热门列表这类横向链接把深层页面拉上来。用真正的a标签做内链。用 JS 的onclick跳转、用div加样式模拟链接爬虫大概率识别不到。这一点在做了大量前端交互的站点上特别容易出问题表现形式是用户能点进去爬虫发现不了。列表页做好分页的可抓取性。分页链接必须是 HTML 里的真实链接别做成点击加载更多然后靠接口拉数据。如果一定要用无限滚动至少保留一套可被抓取的分页 URL 作为兜底。首屏内容别全压给 JS。服务端渲染或者预渲染能省掉大量麻烦。我遇到过整站用客户端渲染、爬虫拿到的 HTML 里只有一个空div的站点收录量长期是个位数换成服务端渲染之后两周内收录正常。5.2 站点地图的正确用法不是越多越好站点地图sitemap的作用是帮爬虫发现页面不是提交了就一定收录。几个实操要点只放返回 200 的规范 URL。别把 301、404、带参数的重复 URL 塞进去塞得越多这份文件的可信度越低。lastmod必须真实。每次发布都无脑刷成当前时间爬虫很快就会忽略这个字段等于白写。单文件控制在 5 万条 / 50MB 以内超了就分片并在索引文件里列全。按栏目拆分。详情页一个文件、列表页一个文件这样从站长平台的反馈里能直接看出哪个栏目抓取情况差。5.3 内容颗粒度什么样的页面算有信息增量这是最虚但也最关键的一块。我的判断标准很土把页面里所有可以替换成同行的句子删掉看看还剩多少字。剩下的如果不足三成这页面基本没有独立价值。具体能补的增量有这几类一是具体数据比如规格、价格区间、耗时、成功率这类信息同行往往不愿意写二是流程细节把我们提供优质服务换成第一步填表、第二步三个工作日内响应、第三步……三是真实案例哪怕是脱敏后的、虚构代称的案例也比空泛描述强四是结构化信息问答、步骤、参数表既方便用户扫读也方便搜索引擎理解。还有一点容易被忽略同一个页面不要反复重写标题就当作更新。搜索引擎对内容实质变化的判断比想象中准改标题换首段这种操作基本无效。要更新就往里加真东西。5.4 新站与新页面的节奏控制新站最容易犯的错是一次性上线几万个页面。抓取预算就那么多摊到每个页面上就是零结果全都进不了库。我的建议是分批放量第一周放 200 到 500 个质量最高的页面观察收录情况和抓取频次稳定之后再按周递增。这个节奏没有统一标准得看日志反馈来调。老站新增栏目也一样。先把栏目首页和十几篇标杆内容做出来等这批被收录、有了抓取记录再批量填充。这个先做样板间的思路比一次性铺开效率高得多。6. 收录了却没流量问题多半不在收录这一层收录正常、日志正常、页面也在库里就是不进流量。这种情况我一般会直接跳过收录往下面三层找原因因为继续在收录上折腾是无效劳动。6.1 关键词与搜索意图的错位最常见的错位是页面在答非所问。用户搜XX怎么办想要的是解决步骤你的页面写了一千字介绍这个问题的背景和成因步骤只有两句。这种页面即使内容质量不差也很难排上去因为它没满足意图。还有一种错位是词汇层面自说自话。行业内叫某某系统用户搜的是某某软件某某工具两边对不上。解决办法不是硬堆关键词而是去搜索框下面看联想词、看相关搜索用用户的说法组织标题和小标题。6.2 标题与摘要的点击率问题排名在第五到第十位曝光量其实不小但点击率低实际流量就上不去。这时候该改的是标题和描述把核心信息前置、加上具体数字或限定条件、避免通篇是品牌名。我做过一轮对比同样的排名位置把标题从XX公司官方网站改成XX怎么选三个参数和两个常见坑点击率能差出三四倍。6.3 同质化竞争下得靠深度而不是数量有些词前面全是大型站点靠常规内容很难挤进去。这种情况我的策略是换维度不去抢大词去抢这个词下面的细分场景词。大词竞争不过但大词 特定场景 特定人群这种长尾组合往往是空白的。一个页面覆盖一个细分场景几十个页面叠起来总流量反而比死磕一个大词更稳。7. 几个流传很广的说法我逐一验证后的结论做这行久了会发现一些说法被反复传播但经不起推敲。挑几个最常见的说说。收录越多权重越高。这条基本是倒因为果。真实情况是站点质量高所以收录多、排名好而不是收录多导致质量高。靠批量生成垃圾页面把收录量堆到十万结果通常是整站被拉低连原本正常的页面都受影响。我见过最极端的案例是一个站点从八千页扩到二十万页收录确实涨了自然流量反而腰斩。真要给个方向我更倾向收敛——砍掉低价值页面保留能打的往往比扩张更有效。页面删了收录会掉所以不敢删。该删就删。对于那些确实没有价值、又占着抓取预算的页面正确做法是有替代内容的用 301 指过去彻底没用的返回 410 或者保留 404。放着不管、任由它长期存在比删掉更伤。删完之后收录数下降是正常现象看流量有没有掉才是关键。疯狂提交就能加速收录。主动提交只是告知不是命令。同一批 URL 反复提交、把没做完的页面提前提交反而会消耗站点在搜索引擎那边的信任度。我的做法是页面内容完整上线、自检无问题之后再提交一次提交一批控制频率。原创就一定收录。原创是必要条件不是充分条件。原创但没有任何搜索需求、原创但内容空洞、原创但技术上抓不到三种情况都不会收录。判断一个页面值不值得做先问有没有人这样搜再问我能不能答得比别人具体。每天更新就一定被青睐。更新频率跟收录、排名之间没有直接因果关系。稳定的更新节奏确实有助于抓取频次的维持但为了更新而更新、每天发三篇水文效果远不如一周打磨一篇真正解决问题的内容。收录了就等于有排名。前面已经说过这里再强调一次因为这是新手最普遍的误判。收录只是入场券能不能排上去取决于内容对该查询的相关性、深度、站点整体质量、页面体验等等。把收录当成终点就会一直困惑为什么明明收录了却没流量。最后分享一个我自己长期在用的笨办法建一张表每周固定记录几个数——总索引量、本周新增页面数、新增页面的首收录天数、抽样 30 个 URL 的收录率、日志里爬虫的日均请求数。就这五个字段记录三个月站点的健康状态基本一目了然。哪一周数据往下拐往回翻两周的操作记录八成能找到原因。比起临时抱佛脚去查各种工具这张表给我的判断依据要实在得多。收录这件事本质上没什么玄学它就是站点质量和技术配置在外面的一个投影投影歪了往里找原因就对了。