# ============================================================
# premiumxl.ch robots.txt
# Struktur:
#   1) Default (User-agent: *)
#   2) AI Search / Retrieval Bots
#   3) AI User-Triggered Fetchers
#   4) AI Training Bots
#   5) Non-Compliant / Blockiert
# ============================================================


# ------------------------------------------------------------
# 1) DEFAULT — gilt für alle nicht explizit gelisteten Bots
# ------------------------------------------------------------

User-agent: *
Allow: /

Disallow: /admin
Disallow: /cart
Disallow: /account/*
Disallow: /checkouts
Disallow: /collections/*+*
Disallow: /*?*p=
Disallow: /collections/*?*sort_by=
Disallow: /*?*pr_prod_strat=
Disallow: /*?*[0]=
Disallow: /collections/*/products
Disallow: /*?*page=
Disallow: /*?*price=
Disallow: /*?*style=
Disallow: /search
Disallow: /apps/
Disallow: /web-pixels
Disallow: /*.atom

Disallow: /*?*sort_by=
Disallow: /*?*filter=
Disallow: /*?*view=

# /policies/ bewusst freigegeben — Widerruf, AGB, Versand, Datenschutz
# dienen als Trust-Signal für AI-Antworten und Google-Snippets.
Allow: /policies/


# ------------------------------------------------------------
# 2) AI SEARCH / RETRIEVAL BOTS
# Bauen den Live-Index für AI-Antworten (ChatGPT Search, Claude, Perplexity).
# Blocken = raus aus Live-AI-Antworten.
# ------------------------------------------------------------

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Google-CloudVertexBot
Allow: /


# ------------------------------------------------------------
# 3) AI USER-TRIGGERED FETCHERS
# Holen die Seite live, wenn ein Nutzer die AI direkt fragt.
# ------------------------------------------------------------

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: MistralAI-User
Allow: /


# ------------------------------------------------------------
# 4) AI TRAINING BOTS
# Training-Crawler zugelassen für Präsenz in LLM-Antworten.
# Einzeln auf "Disallow: /" umstellbar.
# ------------------------------------------------------------

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: meta-externalagent
Allow: /


# ------------------------------------------------------------
# 5) NON-COMPLIANT / BLOCKIERT
# Bytespider: dokumentierte robots.txt-Missachtung.
# Zusätzliche WAF-Regel auf UA-String empfohlen.
# ------------------------------------------------------------

User-agent: Bytespider
Disallow: /


# ------------------------------------------------------------
# Sitemap
# ------------------------------------------------------------

Sitemap: https://premiumxl.ch/sitemap.xml