# ExploreWorldAI — crawler policy
# Söktjänster, AI-läsare som citerar och delningsbotar får läsa hela ytan.
# Rena SEO-skrapare som drar hela sajten utan att citera stängs ute.

# --- Söktjänster ---
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: YandexBot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: Sogou
Allow: /

User-agent: Baiduspider-image
Allow: /

User-agent: Baiduspider-news
Allow: /

User-agent: Baiduspider-render
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: Sogou inst spider
Allow: /

User-agent: Sogou Pic Spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: HaosouSpider
Allow: /

User-agent: Yisouspider
Allow: /

User-agent: YoudaoBot
Allow: /

User-agent: Sosospider
Allow: /

User-agent: EasouSpider
Allow: /

User-agent: JikeSpider
Allow: /

User-agent: SeznamBot
Allow: /

User-agent: NaverBot
Allow: /

User-agent: Baiduspider-favo
Allow: /

User-agent: Baiduspider-cpro
Allow: /

User-agent: Sogou Orion spider
Allow: /

User-agent: Sogou News Spider
Allow: /

User-agent: Sogou Push Spider
Allow: /

User-agent: PetalBot
Allow: /
Crawl-delay: 2

User-agent: Yeti
Allow: /

User-agent: coccocbot-web
Allow: /

User-agent: Qwantify
Allow: /

User-agent: Mail.RU_Bot
Allow: /

User-agent: Exabot
Allow: /

User-agent: bingbot-mobile
Allow: /

# --- AI-läsare som citerar källa ---
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /
Allow: /agent/
Allow: /praxis/
Allow: /eu/
Allow: /us/
Allow: /kalla/
Allow: /global/
Allow: /api/public/v1/
Allow: /ai/

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Brave är sökindexet bakom flera assistenters hämtningar
User-agent: Bravebot
Allow: /

User-agent: AI2Bot
Allow: /

User-agent: Ai2Bot-Dolma
Allow: /


User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Amazonbot
Allow: /

# Meta: mätd läsning från 2026-09-26 via Cloudflare Pay Per Crawl.
# Prislista: https://legal.exploreworldai.com/.well-known/pricing.json
# Från ikraftträdandet besvaras obetalda anrop med HTTP 402.
User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: Meta-WebIndexer
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: CCBot
Allow: /

User-agent: TikTokBot
Allow: /

User-agent: ByteDance
Allow: /

User-agent: Bytespider
Allow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: DeepSeekBot
Allow: /

User-agent: Kimi-Bot
Allow: /

User-agent: MoonshotAI-User
Allow: /

User-agent: Zhipu-Bot
Allow: /

User-agent: TongyiBot
Allow: /

User-agent: Baidu-AI-Search
Allow: /

User-agent: YouBot
Allow: /

User-agent: cohere-ai
Allow: /

# --- Delningsbotar (förhandsvisning av länk) ---
# facebookexternalhit är undantagen från Pay Per Crawl: delningslänkar är
# alltid fria, mätningen gäller enbart Metas modell- och indexläsare.
User-agent: facebookexternalhit
Allow: /

User-agent: Slackbot
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: WhatsApp
Allow: /

User-agent: Discordbot
Allow: /

User-agent: TelegramBot
Allow: /

User-agent: Pinterestbot
Allow: /

User-agent: Snapchat
Allow: /

# --- Bulk-skrapare utan citat: nekas ---
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SiteAuditBot
Disallow: /

# --- Alla andra ---
# Namnlösa klienter och skript får läsa enstaka sidor. Systematisk hämtning
# sker via det öppna API:et eller synkprotokollet, inte sida för sida.
User-agent: *
Allow: /
Crawl-delay: 10
Disallow: /admin
Disallow: /kalla-arkiv-legacy-index

Sitemap: https://legal.exploreworldai.com/sitemap.xml
Sitemap: https://legal.exploreworldai.com/sitemap-ai.xml
Sitemap: https://legal.exploreworldai.com/sitemap/agent-eu-sv.xml
Sitemap: https://legal.exploreworldai.com/sitemap/agent-eu-en.xml
Sitemap: https://legal.exploreworldai.com/sitemap/agent-us-en.xml
Sitemap: https://legal.exploreworldai.com/sitemap/agent-praxis.xml
Sitemap: https://legal.exploreworldai.com/sitemap/proveniens-sv.xml
Sitemap: https://legal.exploreworldai.com/sitemap/proveniens.xml
Sitemap: https://legal.exploreworldai.com/sitemap/kallkontroll.xml
Sitemap: https://legal.exploreworldai.com/sitemap-zh.xml
Sitemap: https://legal.exploreworldai.com/sitemap-in.xml

# Maskinläsbar licens (RSL 1.0): sök och inhämtning fria med hänvisning,
# träning och bulkuttag kräver avtal. TDM-policyn ligger i samma katalog.
License: https://legal.exploreworldai.com/.well-known/rsl.xml

# Färskhetsflöden för aggregatorer, nyhetsläsare och agenter
# https://legal.exploreworldai.com/feed.xml
# https://legal.exploreworldai.com/feed/praxis-vecka.xml
# https://legal.exploreworldai.com/feed/praxis-vecka.atom
# https://legal.exploreworldai.com/api/public/v1/praxis-changes
# https://legal.exploreworldai.com/api/public/v1/node-agents