Search
< 所有主题

WordPress 主题开发：自动生成 llms.txt 让 AI 抓取网站内容

浏览量: 14
 

1. 为什么要创建 llms.txt？

随着 AI 搜索的普及，许多搜索引擎（如 OpenAI、DeepSeek、Claude、Google-Extended 等）已经开始使用 AI 爬虫抓取网页内容，以便为用户提供直接的 AI 生成回答。如果你的 WordPress 网站希望被 AI 更好地理解和引用，就需要提供一个 llms.txt 文件，类似 robots.txt，用于向 AI 说明哪些内容可以被抓取、哪些内容需要限制。

创建 llms.txt 的好处

  1. 提高 AI 可见性：正确设置 llms.txt，让 AI 知道可以访问哪些页面，有助于网站内容被 AI 搜索推荐。
  2. 控制数据共享范围：避免 AI 爬取私密页面，如后台管理、用户信息等。
  3. SEO 友好：AI 可能会优先引用设置清晰、结构化的网站内容，提高站点权威性。
  4. 可灵活更新：AI 发展迅速，新爬虫不断涌现，llms.txt 允许动态调整 AI 访问权限。

2. 如何在 WordPress 主题中生成 llms.txt？

我们可以通过 WordPress 主题的 functions.php 代码动态生成 llms.txt，并支持市面上主流的 AI 爬虫，如：

  • OpenAI (ChatGPT)
  • DeepSeek
  • Claude (Anthropic)
  • Google-Extended (Google AI)
  • Perplexity AI
  • You.com AI
  • Mistral AI
  • Gemini (Google Bard)
  • Microsoft Copilot

代码实现

在你的 WordPress 主题的 functions.php 文件中添加以下代码：

// 生成 llms.txt 内容
function generate_llms_txt() {
    header("Content-Type: text/plain");

    $rules = [
        "User-Agent: OpenAI\nAllow: /",
        "User-Agent: DeepSeek\nAllow: /",
        "User-Agent: ClaudeBot\nAllow: /",
        "User-Agent: Google-Extended\nAllow: /",
        "User-Agent: PerplexityBot\nAllow: /",
        "User-Agent: YouBot\nAllow: /",
        "User-Agent: MistralAI\nAllow: /",
        "User-Agent: GeminiAI\nAllow: /",
        "User-Agent: BingCopilot\nAllow: /",
        "User-Agent: *\nAllow: /"
    ];

    echo implode("\n\n", $rules);
    exit;
}
// 添加 URL 规则，让 WordPress 解析 llms.txt
function add_llms_txt_rewrite_rule() {
    add_rewrite_rule('^llms\.txt$', 'index.php?llms_txt=1', 'top');
}
// 让 WordPress 识别 llms.txt 请求
function llms_txt_query_vars($vars) {
    $vars[] = 'llms_txt';
    return $vars;
}
// 处理 llms.txt 请求
function handle_llms_txt_request() {
    if (get_query_var('llms_txt') == 1) {
        generate_llms_txt();
    }
}
// 挂载到 WordPress 钩子
add_action('init', 'add_llms_txt_rewrite_rule');
add_filter('query_vars', 'llms_txt_query_vars');
add_action('template_redirect', 'handle_llms_txt_request');
全选代码
Copy

3. 如何手动添加新 AI 爬虫？

未来可能会有更多 AI 搜索爬虫出现，你可以手动修改 functions.php 文件，更新 $rules 数组，在其中添加新的 AI 爬虫 User-Agent 规则。例如，假设未来有一个新的 AI 爬虫 SuperAI，你可以这样修改代码：

$rules[] = "User-Agent: SuperAI\nAllow: /";
全选代码
复制

修改完毕后，保存 functions.php，并刷新固定链接（WordPress 后台 → 设置 → 固定链接 → 保存更改）以确保新规则生效。

4. 测试 llms.txt 是否生效

完成设置后，在浏览器中访问：

https://yourdomain.com/llms.txt
全选代码
复制

如果页面显示了 AI 访问规则（如 User-Agent: OpenAI 等），说明 llms.txt 生成成功。

总结

  • llms.txt 可用于指引 AI 爬虫抓取你的 WordPress 网站内容，提升 AI 搜索可见性。
  • 通过 functions.php 代码，可动态生成 llms.txt 并支持各种 AI 搜索引擎。
  • 新 AI 爬虫不断涌现，你可以手动更新 llms.txt 规则，确保内容能被 AI 正确抓取。

这套方法可以帮助你的 WordPress 网站适应 AI 搜索环境，提高内容的 AI 友好度和影响力

目录