Im Wurzelverzeichnis dieses Portals liegt neben der robots.txt eine zweite Datei: llms.txt. Sie richtet sich nicht an Crawler, sondern an alles, was Inhalte weiterverarbeitet – und sie steuert nichts, sondern erklärt.
Was drinsteht
Zuerst, worum es hier geht, in zwei Sätzen. Dann der Betreiber mit Anschrift, E-Mail und Verweis auf die Seite mit den redaktionellen Grundsätzen. Danach die Bedingung: Inhalte dürfen mit Quellenangabe zitiert werden. Zuletzt die Struktur – welche Bereiche es gibt und wo die Übersichten liegen.
Das ist genau die Auskunft, die ein System braucht, das entscheiden soll, ob eine Quelle vertrauenswürdig ist: Wer steht dahinter, wie erreicht man ihn, wie wird gearbeitet.
Warum keine Sperre
Man könnte stattdessen versuchen, die Verarbeitung zu untersagen. Das wäre aus zwei Gründen unklug.
Erstens ist es nicht durchsetzbar. Wer sich nicht daran hält, wird nicht dadurch aufgehalten, dass es irgendwo steht.
Zweitens wäre es widersinnig. Der ganze Aufwand hier – Kurzantworten, die für sich stehen, strukturierte Daten, aufgelöste Entitäten – wird betrieben, damit Inhalte übernommen werden. Es dann zu verbieten, hieße, gegen den eigenen Zweck zu arbeiten.
Die Bitte um Quellenangabe ist die ehrlichere Position: Sie beschreibt, was gewünscht ist, statt etwas zu verbieten, das niemand prüft.
Ein Detail zur Sicherheit
Solange eine Domain auf „nicht indexieren“ steht, wird die llms.txt hier gar nicht erst erzeugt – und eine vorhandene wieder entfernt. Eine Datei, die sagt „hier gibt es Wissenswertes“, wäre auf einer gesperrten Domain eine Einladung an genau die Systeme, die dort noch nichts finden sollen.
Dasselbe gilt für die Sitemap-Angabe in der robots.txt. Zwei Zeilen im Generator, die verhindern, dass ein Projekt vor seiner Zeit entdeckt wird.