Em tempos de revolução digital, a busca por informações nunca foi tão intensa. No entanto, o que se vê hoje não é apenas uma corrida tecnológica, mas também um jogo de gato e老鼠 entre plataformas de inteligência artificial (AI) e as empresas que buscam proteger seu conteúdo. A Perplexity, uma engine de busca baseada em IA, está no centro de uma polêmica após acusações sérias de violar regras estabelecidas há mais de três décadas na internet.
A empresa Cloudflare, especialista em segurança e otimização da web, revelou que a Perplexity utiliza botscaminhos furtivos para acessar conteúdo protegido por arquivos robots.txt. Esses arquivos são usados para bloquear o acesso de crawlers (programas que buscam informações na internet) a determinados sites. Apesar das barreiras, a Perplexity supostamente rotina IPs e utiliza diferentes ASNs (autonomous systems numbers) para evitar ser identificada.
Esta prática não é apenas um desafio técnico; ela coloca em xeque valores fundamentais da internet. Em 1994, o engenheiro Martijn Koster criou o Robots Exclusion Protocol, que permitia a sites informarem quais crawlers estavam proibidos de acessar seu conteúdo. Hoje, Cloudflare e outros estão alertando que a Perplexity está ignorando esse protocolo, abrindo precedentes perigosos.
Além disso, a Perplexity não é o único alvo de críticas. Publicações como Forbes e Wired acusam a empresa de plágio e manipulação de tráfego para bypassar proteções. Essas acusações reforçam a ideia de que, sem um código de conduta forte, a IA pode se tornar uma força disruptiva, não uma aliada.
Diante disso, Cloudflare tomou medidas para deslistar a Perplexity como um crawler verificado e adicionar regras que bloqueiam essa atividade furtiva. A empresa强调了爬虫应遵循网站规则的重要性，否则将面临更严格的监控和限制.
