4 Lesezeit Minuten

Cloudflare testet System, mit dem Verleger AI-Crawler bezahlen können

Die Tage der KI-Unternehmen, die Inhalte kostenlos auslesen, könnten gezählt sein. Cloudflare hat gerade etwas eingeführt, das sich"Pay per Crawl" nennt und mit dem Website-Besitzer tatsächlich Geld verdienen können, wenn KI-Bots auftauchen und ihre Inhalte abgreifen. Das ist eine ziemlich große Sache für jeden, der Inhalte online erstellt.

Katarína Šimčíková Katarína Šimčíková
Freelance I Digital Marketing Specialist, Ecommerce Bridge EU
Dieser Artikel wurde für Sie von artificial intelligence übersetzt
Cloudflare testet System, mit dem Verleger AI-Crawler bezahlen können
Quelle: Canva Pro License

Das Problem, über das niemand spricht

Die Sache ist die: Wenn Sie eine Website betreiben, haben Sie im Grunde zwei Möglichkeiten. Entweder man lässt zu, dass KI-Systeme einfach so hereinspazieren und sich kostenlos nehmen, was sie wollen, oder man blockiert sie komplett und verpasst damit potenziellen Traffic. In der Zwischenzeit schließen Google und OpenAI millionenschwere Verträge mit großen Nachrichtenagenturen ab, während kleinere Autoren leer ausgehen. Ihre Artikel und Blogbeiträge trainieren KI-Modelle, die Milliarden wert sind, und sie sehen keinen Cent. Nach Gesprächen mit Hunderten von Verlagen hat Cloudflare herausgefunden, was alle wirklich wollen: die KI-Bots reinlassen, aber dafür bezahlt werden.

"Cloudflare AI Audit dashboard showing crawler analytics with 1.39M total requests, including 750.5K allowed and 640.1K blocked requests. Interface displays individual AI crawlers like ProRataInc with Allow/Charge/Block action options.

Source: blog.cloudflare.com

Wie es tatsächlich funktioniert

Cloudflare hat einen alten Webstandard entstaubt – HTTP-Code 402, der „Zahlung erforderlich“ bedeutet – und ein ganzes System darum herum aufgebaut. Wenn ein AI-Crawler auf Ihre Website stößt, haben Sie drei Möglichkeiten:

  • Sie lassen ihn kostenlos rein
  • Sie können einen bestimmten Preis verlangen
  • sie komplett blockieren

Die technische Seite besteht aus einer ausgeklügelten Kryptographie, die sicherstellt, dass Bots ihre Identität nicht fälschen können. Aber die Grundidee ist einfach: keine Bezahlung, kein Inhalt.

Zwei Möglichkeiten der Bezahlung

Verleger können dies so einrichten, wie sie wollen. Vielleicht verlangen Sie 0,01 € pro Seite oder 0,10 €, oder was auch immer für Ihre Inhalte sinnvoll ist.Das System funktioniert auf zwei Arten. Entweder fragt der Bot zuerst nach Ihren Inhalten, bekommt den Preis genannt und entscheidet dann, ob er zahlen möchte. Oder der Bot sagt im Voraus: „Ich zahle bis zu 0,05 € dafür“, und erhält sofortigen Zugriff, wenn Ihr Preis niedriger ist. Wenn Ihr Preis höher ist als der, den er zu zahlen bereit ist, erhält er eine Nachricht mit dem tatsächlichen Preis, dass er zahlen muss.

Cloudflare Pay Per Crawl workflow diagram showing an AI crawler's request flowing through Cloudflare's security layers - WAF Custom Rules, AI Audit Crawler Blocking, Bot Solutions, and AI Audit Pay Per Crawl - before reaching website content.

Source: blog.cloudflare.com

Die finanzielle Seite

Cloudflare kümmert sich um die gesamte Zahlungsabwicklung. Sie verfolgen, wann Bots für Inhalte bezahlen, belasten die KI-Unternehmen und senden das Geld an die Verlage. Sie brauchen keine eigenen Zahlungssysteme einzurichten oder individuelle Verträge auszuhandeln, sondern können das Ganze mit den Sicherheitsvorkehrungen verknüpfen, die Sie bereits auf Ihrer Website eingerichtet haben.

Was kommt als Nächstes?

Momentan befindet sich das Ganze in der privaten Testphase. Cloudflare möchte von beiden Seiten hören – von KI-Unternehmen, die für Inhalte zahlen wollen, und von Verlagen, die Gebühren erheben wollen. Sie denken bereits über Upgrades nach, wie dynamische Preisgestaltung auf der Grundlage der Nachfrage, unterschiedliche Preise für verschiedene Arten von Inhalten und automatisierte Marktplätze, auf denen Bots für den Zugang zu Informationen bieten.

Warum das wichtig ist

Dies könnte die Funktionsweise des Internets tatsächlich verändern. Derzeit erhalten KI-Unternehmen den größten Teil des Werts von Inhalten, während die Urheber nichts erhalten. Da KI-Systeme immer intelligenter und unabhängiger werden, könnte eine einheitliche Methode zum Kauf und Verkauf von Informationen entscheidend dafür sein, dass das Internet weiterhin mit guten Inhalten gefüllt ist. Wenn Urheber mit ihrer Arbeit kein Geld verdienen können, werden sie aufhören, Inhalte zu erstellen. Ob dieses Experiment erfolgreich ist, könnte darüber entscheiden, ob das Internet der Zukunft die Menschen belohnt, die tatsächlich Inhalte erstellen, oder ob es bei dem derzeitigen System bleibt, bei dem KI-Unternehmen sich an der kostenlosen Arbeit aller anderen bereichern.

Artikel teilen
Katarína Šimčíková
Freelance I Digital Marketing Specialist, Ecommerce Bridge EU

Freelance Digital Marketing Specialist at Ecommerce Bridge with nearly a decade of experience in digital marketing, where I’ve specialised in managing international teams and building strategic partnerships. As former International Team Lead at Groupon, I managed teams across various European countries, handled KPI achievement, and worked daily with agencies in English. These days, I focus on content strategy, link building, and coordinating with international agencies in e-commerce expansion. What truly fulfils me is working with people and seeing everyone happy and satisfied with the results. I’m passionate about researching and writing about the latest trends in e-commerce and digital marketing, bringing fresh insights and industry news to our readers. I hold a Master’s degree in Mass Media Studies and completed international courses in London and Bristol.

Ähnliche Artikel
Google Sheets führt AI-Formel ein
4 Lesezeit Minuten

Google Sheets führt AI-Formel ein

Schluss mit dem endlosen Lesen von Tabellenkalkulationszeilen und dem Kopieren von Daten zwischen Tabs. Google hat eine Funktion eingeführt, die 30-minütige Datenaufgaben in 30-Sekunden-Eingaben verwandelt.

Katarína Šimčíková Katarína Šimčíková
Freelance I Digital Marketing Specialist, Ecommerce Bridge EU
E-Commerce-Experte: „Hören Sie auf, dem KI-Hype hinterherzujagen – hier ist, was tatsächlich den Umsatz ankurbelt
9 Lesezeit Minuten

E-Commerce-Experte: „Hören Sie auf, dem KI-Hype hinterherzujagen – hier ist, was tatsächlich den Umsatz ankurbelt

Der größte Fehler? Das Design von innen nach außen zu entwickeln, anstatt sich daran zu orientieren, wie die Kunden tatsächlich einkaufen.“ Diese unverblümte Einschätzung stammt von Roberto, einem Veteranen der digitalen Transformation, der schon alles erlebt hat – von der Führung eines Start-ups in Bristol über die Übernahme durch Vodafone bis hin zur Leitung der […]

Roberto Álvarez Ceballos Roberto Álvarez Ceballos
Director of Products, Platforms & Innovation, UST España & Latam