AI 引擎要引用你，得先抓到你；要抓到你，得先知道你这个网址存在。 这两步经常被当成一件事，于是出现一种很典型的困惑：站点地图交了、主动推送也做了、robots.txt 也放行了，AI 爬虫就是不来。

原因通常不在抓取环节，而在它前面那一步——发现。爬虫拿到一个 URL 的渠道只有三条，你把哪条打通了，决定了哪些引擎能找到你。

一、三条发现链路

链路怎么起作用对谁有效见效速度
① 外部链接别的网站上有指向你的链接，爬虫沿着链接走过来几乎所有引擎慢，但一旦成立最稳
② 站点地图与主动推送你把 URL 清单直接交给引擎只对吃这一口的引擎快，但覆盖窄
③ 既有搜索索引AI 侧从自家搜索索引里取候选网页该厂商同时有搜索引擎时取决于你的搜索收录

三条不是并列关系。② 和 ③ 都有明确的适用边界，只有 ① 对所有引擎都成立。

二、实测：同一家的两个爬虫，一个吃 sitemap，一个不吃

领航鲸把自己的官网当客户查了一遍。2026-08-01 至 08-22、21 天、23 万行服务器日志，其中有两条结果把这件事说得很清楚：

GPTBot——抓了 /sitemap.xml 11 次，站点地图里 26 条 URL 全部抓到，覆盖 26/26。这是链路 ② 走通的样子。

OAI-SearchBot——同样是 OpenAI 的爬虫，21 天里每天都来、一天没断，33 次请求全部是 /robots.txt，一个内容页都没抓，覆盖 0/26。

同一个厂商、同一个站点、同一份 robots.txt，差别在于：GPTBot 把站点地图当入口，OAI-SearchBot 不把站点地图当入口。它是检索侧的索引爬虫，主要靠链路 ① 和 ③ 拿 URL。这个站两条都是空的，于是它能做的只剩下定期确认一下规则有没有改。

「我提交了站点地图」不等于「所有引擎都能发现我」。 这是链路 ② 的边界。

三、实测：推送成功，不等于会来抓

同一个站点还做了两件更主动的事：

  • 百度主动推送：站点地图里 26 条 URL 全部推送成功。这里有个容易踩的坑——百度 API 提交的配额是每天 10 条，而且超额是整批拒绝，不是推到用完为止。一次提交 26 条会全部被拒；
  • IndexNow（Bing / Yandex / Naver 共用）：26 条 URL 一次性提交完成，全部返回 202 成功。

结果：百度在这 21 天里只抓过 4 个页面，站点 23 篇文章一篇没碰。

这不是说推送没用。推送保证的是「引擎知道有这个地址」，它不保证「引擎认为这个地址值得抓」。后面那个判断，引擎要看别的信号——而最主要的信号就是链路 ①。

三条通道各自的配额、坑与正确用法，见主动推送与 IndexNow 能做什么，不能做什么。

四、为什么外链在 AI 时代反而更重要

有一种流行说法是「AI 时代不看外链了，看内容质量」。从这次实测看，恰恰相反。

传统搜索里，外链是排名权重的一部分——你有没有位置，看权重。AI 引擎的检索侧多数不直接沿用网页排名那套权重，但它们仍然需要外链，只是用途换了：外链是发现渠道，也是可信度的旁证。

  • 没有外链，OAI-SearchBot 这类爬虫根本拿不到你的 URL，内容写得再好也进不了候选集；
  • 有外链，你就出现在别人的页面上。AI 抓那个页面的时候会连你一起读到——这本身就是一次曝光，哪怕它没点进你的站；
  • 一个被行业媒体、百科、问答社区反复提到的品牌，在模型眼里的可信度信号，和一个只有自家官网提到自己的品牌，完全不是一回事。

顺带说一个常被误解的点：rel="nofollow" 影响的是权重传递，不影响这个网址出现在那个页面上被读到。 知乎、公众号、各类社区的外链多数带 nofollow，做传统 SEO 时它们的价值确实打折，但作为「让爬虫知道你存在」和「让 AI 读到你的品牌名」的渠道，它们照样成立。

五、一份不越线的外链清单

先说不做的。买链接、链轮、批量目录站提交、PBN——这些在传统 SEO 里就已经是高风险动作，在 AI 引擎这边收益更低，因为模型对信源质量的判断不依赖链接数量。相关风险见黑帽 GEO 的三条红线。

再说做的。判断一个渠道值不值得投入，只用一条标准：那个页面本身会不会被 AI 爬虫抓到。 一个连 Googlebot 都不去的站点，你在上面留一百个链接也没有用。

按投入产出排序：

  1. 行业媒体与垂直站的署名投稿。 这些站本身被引擎抓得勤，一篇署名文章带来的是「被抓 + 被引用」双份收益。成本是内容，不是钱；
  2. 百科类词条与企业信息平台。 百度百科、维基百科、以及工商信息类平台，是 AI 引擎回答企业类问题时的高频信源。词条的口径还会直接影响 AI 怎么描述你，见品牌事实卡；
  3. 可被引用的资产。 数据报告、行业调研、开源工具、公开清单——别人引用你是因为你手上有他没有的东西。这条最慢，但产生的是别人主动给的链接，质量最高；
  4. 问答社区与专业内容平台。 知乎、公众号、专业社区。带 nofollow 不影响发现与曝光；
  5. 合作方与客户的官网互链。 合作伙伴页、客户案例页、供应商名录——真实存在的商业关系，本来就该在网上有痕迹；
  6. 行业协会、展会、名录页。 一次性投入，长期有效。

再补一条不属于外链但同一目的的：如果你有多个自有站点，让它们互相链接。 这不算外链（同一主体），但对「爬虫能不能走到这个新域名」是有效的，成本接近零。

六、怎么验证它起没起作用

不用等排名，看日志就行。做完外链之后盯两个数字：

  1. 站外来源（referer）。访问日志里去掉自家域名，剩下的就是真外链带来的访问。领航鲸官网这 21 天的这个数字是：知乎 7 次、百度搜索 2 次——基本为零，和上面 OAI-SearchBot 的表现完全对得上；
  2. 新爬虫的首次到访。原本没来过的爬虫开始出现，说明它从某个地方拿到了你的 URL。

具体查法见爬虫到访观测 2026-08 期里的第七节。

七、按顺序做

如果三条链路你一条都没打通，顺序是这样的：

  1. 先把 robots.txt 和站点地图弄对。这是地基，成本一小时，见AI 爬虫 robots.txt 配置清单；
  2. 接搜索引擎站长平台。Google Search Console、Bing 站长、百度搜索资源平台。它们同时打通链路 ② 和 ③，而且能让你看到真实收录量，不用靠日志倒推；
  3. 然后才是外链。前两步是一次性的，这一步是长期的；
  4. 每周看一次爬虫日志，确认哪条链路真的在起作用。

顺序反了会很难受：外链做在前面，爬虫来了发现 robots.txt 挡着，白费。

常见疑问

问：外链和 GEO 到底什么关系？

外链是 AI 爬虫发现你的主要渠道，也是模型判断品牌可信度的旁证。它不像传统 SEO 那样直接换算成排名权重，但「没有外链就发现不了你」这一条在 AI 引擎这边更硬——因为有相当一部分 AI 爬虫根本不读站点地图。

问：站点地图提交了为什么还不够？

因为不是所有爬虫都把站点地图当入口。实测数据里，GPTBot 吃站点地图、抓满 26/26，同一家的 OAI-SearchBot 一次都没抓站点地图、内容页覆盖 0/26。

问：主动推送和 IndexNow 有用吗？

有用，但它解决的是「告诉引擎有这个地址」，不解决「引擎愿不愿意来抓」。实测里 26 条 URL 全部推送成功，百度在随后 21 天里仍然只抓了 4 个页面。另外百度 API 提交每天只有 10 条配额，超额整批拒绝，一次推太多会全军覆没。

问：nofollow 的链接还值得做吗？

值得。nofollow 影响的是权重传递，不影响这个网址出现在那个页面上被爬虫读到，也不影响 AI 在抓那个页面时把你的品牌名一起读进去。

问：买外链行不行？

不建议。传统 SEO 里就是高风险动作，在 AI 引擎这边收益还更低——模型判断信源质量不靠链接数量。真实的行业曝光比买来的链接便宜，也更耐久。

问：多久能见效？

链路 ② 是天级的，链路 ① 通常按月看。判断标准不是排名，是日志里有没有新爬虫首次到访、站外来源有没有从零变成几十。

---

想知道 AI 爬虫现在能不能发现你的官网？免费诊断一次，我们会读你站点的可抓取性与发现链路并给出清单。

延伸阅读：爬虫到访观测 2026-08 期、主动推送与 IndexNow 能做什么，不能做什么、AI 爬虫 robots.txt 配置清单、怎样写出 AI 愿意引用的内容。

参考资料：Google《抓取工具与提取工具一览》、Google《Qualify your outbound links》、IndexNow 官方文档、百度搜索资源平台《链接提交》。