Lunadesk · AI Powered Helpdesk
Anmelden (öffnet app.lunadesk.ai)Kostenlos testen (öffnet app.lunadesk.ai)
Crawler-Informationen

LunadeskBot

LunadeskBot ist der Crawler, mit dem Lunadesk öffentliche Webseiten liest, die seine Kunden als Wissensquelle angegeben haben.

Warum besucht LunadeskBot meine Website?

Ein Lunadesk-Kunde hat Seiten dieser Website als Wissensquelle für seinen Support-Assistenten hinzugefügt. LunadeskBot liest diese Seiten, damit der Assistent Fragen anhand des Inhalts dieser Seiten beantworten kann.

Wir crawlen nur die URLs und Muster, die dieser Kunde konfiguriert hat, und zwar auf einer einzigen Domain.

So erkennen Sie LunadeskBot

Jede Anfrage von LunadeskBot trägt genau diesen User-Agent:

LunadeskBot/1.0 (+https://lunadesk.ai/bot)

Der Name für die robots.txt lautet LunadeskBot.

Was LunadeskBot tut und was nicht

Was er tut

  • Liest und beachtet die robots.txt, einschließlich Crawl-delay. Die robots.txt wird höchstens einmal alle 24 Stunden neu gelesen.
  • Beachtet <meta name="robots" content="noindex"> und den X-Robots-Tag-Header.
  • Liest die sitemap.xml einmal täglich, um Seiten zu finden, und nutzt lastmod, um unnötige Besuche zu vermeiden.
  • Zurückhaltendes Tempo: eine Anfrage nach der anderen pro Website, mindestens 1 Sekunde Abstand (länger, wenn Ihr Crawl-delay es verlangt).
  • Besucht dieselbe Seite automatisch höchstens einmal täglich. Unveränderte Seiten werden immer seltener besucht, bis hin zu einmal pro Woche.
  • Nutzt bedingte Anfragen (If-None-Match / If-Modified-Since), sodass eine unveränderte Seite Sie fast nichts kostet.
  • Hat Ihr Server ein vorübergehendes Problem (Timeout, 5xx), versucht er eine Seite höchstens 3-mal im Abstand von 30 Minuten erneut und kehrt dann zu seinem normalen Tempo zurück.
  • Liest nur öffentliche Seiten. Er meldet sich nie an, sendet nie Formulare ab und umgeht nie Paywalls.
  • Besucht nie private oder interne Netzwerkadressen.

Was er nicht tut

  • Lädt keine PDFs oder andere Dateien herunter. Er vermerkt nur, dass sie existieren.
  • Nutzt Ihre Inhalte nicht zum Training von KI-Modellen. Der Text dient ausschließlich als Referenz für den Support-Assistenten des einen Kunden, der Ihre Website hinzugefügt hat.

So steuern oder blockieren Sie LunadeskBot

Fügen Sie eine dieser Regeln in die robots.txt im Stammverzeichnis Ihrer Website ein.

# LunadeskBot vollständig blockieren
User-agent: LunadeskBot
Disallow: /
# Einen Bereich blockieren
User-agent: LunadeskBot
Disallow: /private/
# Verlangsamen (Sekunden zwischen zwei Anfragen)
User-agent: LunadeskBot
Crawl-delay: 10

Änderungen werden innerhalb von 24 Stunden übernommen, da die robots.txt höchstens einmal täglich neu gelesen wird.

Fragen zu LunadeskBot

Kurze Antworten für Website-Betreiber und Administratoren.

Kontakt

Fragen oder Bedenken zu LunadeskBot? Schreiben Sie an bot@lunadesk.ai.