Zum Inhalt springen

Alle Site-Dateien für Astro

robots.txt, llms.txt, sitemap.xml, rss.xml, security.txt und humans.txt – aus einer einzigen typisierten Konfiguration. Zur Build-Zeit generiert, kein manuelles Editieren.

robots.txt llms.txt sitemap.xml rss.xml security.txt humans.txt Build-Zeit MIT-Lizenz
npm install @casoon/astro-site-files

Was ist astro-site-files?

Eine Astro-Integration, die alle relevanten Site-Dateien aus einer einzigen Konfiguration generiert: robots.txt, llms.txt, sitemap.xml, rss.xml, .well-known/security.txt und humans.txt. Kein manuelles Datei-Editieren, kein Runtime-Overhead.

Direkter Ersatz für @casoon/astro-sitemap und @casoon/astro-crawler-policy in einer einzigen, vollständig typisierten Integration.

Quick Start

astro.config.ts
 import { defineConfig } from 'astro';
import siteFiles from '@casoon/astro-site-files';

export default defineConfig({
  site: 'https://example.com',
  integrations: [
    siteFiles({
      robots: { preset: 'seoOnly' },
      llms: { title: 'My Site', description: '...' },
      sitemap: {},
      security: { contact: 'mailto:security@example.com' },
      humans: { team: [{ name: 'Jane', role: 'Dev' }] },
    }),
  ],
}); 

Hooks in astro:build:done. Schreibt alle Dateien ins dist/ Verzeichnis – kein separater Schritt.

Bot-Presets

Statt einzelne Bot-Namen manuell zu pflegen, wählt man einen Preset. Das 21-Bot-Registry wird automatisch aktuell gehalten.

robots: { preset: 'seoOnly' }
seoOnly

SEO Only

Suchmaschinen erlaubt, KI-Training und Archive geblockt. Empfehlung für Unternehmens- und Content-Sites.

Suchmaschinen: allow KI: disallow Archive: disallow
citationFriendly

Citation Friendly

KI darf lesen und zitieren, Training-Bots sind geblockt. Für Publisher, die AI-Präsenz wollen ohne Datenverlust.

Suchmaschinen: allow KI: allow* Archive: inherit
blockTraining

Block Training

KI-Suche erlaubt, Training-Bots explizit geblockt. Für Premium-Inhalte.

Suchmaschinen: allow KI: allow* Archive: disallow
openToAi

Open to AI

Alles erlaubt. Für Projekte, die maximale KI-Sichtbarkeit wollen.

Suchmaschinen: allow KI: allow Archive: allow
lockdown

Lockdown

Alles geblockt – auch Suchmaschinen. Für interne Tools und Staging-Umgebungen.

Suchmaschinen: disallow KI: disallow Archive: disallow

* citationFriendly und blockTraining blocken Training-Bots (GPTBot, CCBot, Google-Extended u.a.) explizit per bots-Override. Gruppen und einzelne Bots können zusätzlich überschrieben werden.

6 generierte Dateien, eine Konfiguration

Jede Datei ist einzeln aktivierbar. Nur konfigurierte Bereiche werden generiert.

robots.txt

Crawler-Kontrolle

Presets für häufige Szenarien (seoOnly, blockTraining, …) und granulare Bot-Gruppen-Kontrolle über ein gepflegtes 21-Bot-Registry.

llms.txt

KI-Inhaltsbeschreibung

Maschinenlesbare Zusammenfassung der Site für AI-Crawler, die llmstxt.org unterstützen. Statische Sections oder dynamisch via Sources.

sitemap.xml

Sitemap

Automatisch aus Astros Build-Output generiert. Unterstützt Exclude, Priority, Changefreq, i18n-hreflang, Serialize-Hook und Index-Mode.

rss.xml

RSS-Feed

RSS 2.0-Feed zur Build-Zeit über sitemap.rss. Für Dev/SSR alternativ createRssRoute aus dem /rss Sub-Path.

.well-known/security.txt

Security-Kontakt

RFC 9116-konformes Security-Kontaktfile mit Contact, Policy, Expires und weiteren Feldern.

humans.txt

Team-Credits

Informelle Datei nach humans.txt-Standard mit Team-Mitgliedern, Technologien und Notizen.

Was das Plugin macht

Alle Dateien zur Build-Zeit. Kein Runtime-Code, kein externer Dienst.

Eine Integration

Alle Site-Dateien aus einer einzigen typisierten Konfiguration – kein Wechsel zwischen mehreren Plugins.

Bot-Presets

Fünf vorgefertigte Crawler-Strategien (seoOnly, blockTraining, citationFriendly, openToAi, lockdown) plus granulare Gruppen- und Bot-Overrides.

Build-Zeit

Alles wird in astro:build:done generiert. Kein Runtime-Code, kein externer Dienst.

Vollständig typisiert

TypeScript-Interfaces für alle Optionen. Fehler werden zur Entwicklungszeit erkannt.

Sitemap + RSS

Pattern-basierte Priority- und Changefreq-Regeln, externe Sources, i18n-hreflang, Index-Mode und integrierter RSS 2.0-Feed.

Audit-Hinweise

Optionale Build-Zeit-Warnungen bei Fehlkonfigurationen (fehlende Expires, geblockte Legal-Seiten, leere Sitemaps) bevor die Dateien live gehen.

Ergänzend: post-audit

site-files generiert die Dateien – @casoon/astro-post-audit prüft beim Build, ob Canonical-URLs, Heading-Hierarchie, Meta-Tags, Open Graph und Fragment-Links korrekt sind. Die beiden Plugins ergänzen sich.

post-audit ansehen

Ergänzend: Live-Audits mit auditmysite

site-files und post-audit arbeiten zur Build-Zeit. Für vollständige Accessibility-, Performance-, SEO- und Security-Analysen auf der laufenden Website empfiehlt sich auditmysite: ein CLI-Tool mit echten Browser-Signalen via Chrome DevTools Protocol.

auditmysite ansehen