Robots

自动创建 robots.txt 文件的插件

配置参数

此插件允许自动创建 robots.txt 文件，用于配置哪些搜索引擎（和其他机器人，如 AI 数据抓取器）可以访问该网站。

要使用此插件，请将其导入到你的 _config.ts 文件中：

import lume from "lume/mod.ts";
import robots from "lume/plugins/robots.ts";

const site = lume();

site.use(robots(/* 选项 */));

export default site;

该插件接受一个数组，其中包含允许和禁止的机器人列表。例如：

// 显式允许 Google 和 Bing 访问
site.use(robots({
  allow: ["Googlebot", "Bingbot"],
}));

请注意，此配置仅显式授予这些机器人权限，但不会阻止其他机器人扫描该网站。如果你只想授予这些机器人权限，请将 * 值添加到 disallow 中：

// 仅允许 Google 和 Bing 访问
site.use(robots({
  allow: ["Googlebot", "Bingbot"],
  disallow: "*",
}));

rule 选项包含一个规则数组，用于更具体的配置。例如：

// 拒绝所有用户代理访问 /admin 文件夹
site.use(robots({
  rules: [
    {
      userAgent: "*",
      disallow: "/admin",
    },
  ],
}));

你可以在 Dark Visitors 查看完整的机器人列表。