Steven Rosenbaum decidiu que o verdadeiro vilão por trás das citações falsas em seu livro é um chatbot. No início desta semana, O jornal New York Times relatou que O Futuro da Verdadeo livro muito discutido de Rosenbaum sobre como a IA molda a realidade, contém mais de meia dúzia citações falsas ou atribuídas incorretamente. Rosenbaum atribuiu alguns deles ao uso da IA. Ele assumiu a responsabilidade pelos erros e disse que estava investigando o que deu errado. Porém, quando falei com ele na quinta-feira, ele apontava o dedo para outro lugar. ChatGPT “estragou o livro”, disse Rosenbaum.
Rosenbaum, empresário de mídia e diretor executivo do Sustainable Media Center, disse que passou a contar com ferramentas de IA como recurso e parceiro de conversa enquanto trabalhava no livro (o que ele também observa nos agradecimentos do livro). Durante a nossa conversa, Rosenbaum esforçou-se para conciliar as capacidades por vezes surpreendentes da IA com a sua propensão para alucinações de coçar a cabeça – como uma citação imaginária da jornalista de tecnologia Kara Swisher que ele incluiu no livro sem verificá-la. Nos últimos dias, ele passou a se sentir “seduzido e traído” pela IA, sugerindo a certa altura que ela poderia tê-lo prejudicado propositalmente. “Dependendo do seu nível de paranóia, é peculiar, maligno ou sorrateiro”, disse ele.
Tem sido uma semana difícil para a autoria humana. Na segunda-feira, uma postagem viral mostrou uma romancista ganhadora do Nobel aparentemente admitindo usar IA para aprimorar suas ideias para histórias, antes de mais tarde reivindicando ela foi mal interpretada. Na terça-feira, aumentaram as alegações de que o autor de Trinidad, Jamir Nazir, usou IA para escrever “A Serpente no Bosque”, que ganhou o Commonwealth Short Story Prize. Na quarta-feira, dois dos outros cinco vencedores do prêmio foram submetidos a um escrutínio semelhante. (A Commonwealth Foundation, que administra o prêmio, disse inicialmente em um comunicado que havia confirmado que nenhum dos escritores vencedores havia usado IA. Ontem, a fundação emitiu outro comunicado dizendo que “leva a sério as acusações” e estava revisando as evidências.)
Desde a chegada do ChatGPT, a escrita automatizada tornou-se onipresente: um documento de trabalho recente estimou que mais da metade de todos os novos livros lançados na Amazon agora contêm texto gerado por IA. A prosa dos chatbots geralmente tem sido boa o suficiente para enganar professores e inflar as classificações dos produtos da Amazon – e não para ganhar sinopses brilhantes de autores proeminentes e ganhar prêmios literários. Recentemente, algo mudou. À medida que as ferramentas de IA melhoraram e se tornaram populares, a tecnologia penetrou espaços intelectuais que antes se pensava estarem fortalecidos contra os seus avanços. Esta onda de escândalos está a forçar uma nova avaliação sobre o que fazer em relação à crise.
Uma resposta foi apelar a uma redobração de esforços para erradicar a escrita sobre IA e reforçar o estigma contra ela. Se a vergonha não impedir as pessoas de usar a IA para fazer o árduo trabalho de escrever, talvez o ridículo o faça. Em DesertorPatrick Redford ridicularizado o “comportamento patético” de escritores que usam IA. “Seus idiotas!” ele escreveu. “Esses modelos são o inimigo!”
Tratar qualquer uso de IA em escritos sérios como um tabu é compreensível. Até agora, tem sido relativamente fácil usar as características da prosa gerada pela IA como substituto para escrita e pensamento de má qualidade. Talvez possamos continuar assim por mais algum tempo. Enquanto eu lia O futuro da verdade, Encontrei uma quantidade incomum de repetições desajeitadas, transições estereotipadas e passagens desconcertantes. Um parágrafo particularmente pequeno começa: “À medida que nos aprofundamos nos mecanismos da desinformação, é essencial compreender como ela não só prolifera, mas também lucra”. Analisei a passagem de 146 palavras no Pangram, uma ferramenta de detecção de IA que é imperfeita, mas tem fama de ser menos falha, pelo menos, do que algumas outras. Ele registrou a escrita como 100% gerada por IA. Quando perguntei a Rosenbaum se ele havia deixado a IA escrever alguma parte de seu livro, ele disse: “Absolutamente não”. Quando mencionei o resultado do Pangram, ele disse: “Não vou entrar nesse jogo”.
O maior desafio pode ser que “escrita de IA” não seja apenas uma coisa. Há um amplo espectro entre o texto que não é afetado pela inteligência da máquina e a escrita inteiramente elaborada por um chatbot. No extremo maximalista, a maioria de nós pode concordar que um escritor não mereceria um prêmio por digitar “Escreva um conto literário assustador de 3.000 palavras ambientado em Trinidad” para Claude e depois colocar seu nome em tudo o que ele cospe. Do lado minimalista, presumivelmente é bom para um escritor pesquisar no Google no processo de pesquisar uma peça que, de outra forma, é inteiramente sua. Por outro lado, o que eles descobriram ainda pode estar imbuído de IA: a pesquisa do Google está respondendo a mais perguntas diretamente via chatbot, e os resultados estão exibindo mais páginas da web escritas por IA. Boas informações vêm de fontes primárias, não de textos sintéticos.
Aos chatbots genéricos juntaram-se ferramentas de pesquisa e escrita de IA especialmente desenvolvidas que podem realizar tarefas complexas. Um número crescente de escritores profissionais, seguindo o exemplo dos desenvolvedores de software, professam abertamente incorporar ferramentas de IA em seus fluxos de trabalho. O repórter de tecnologia Alex Heath, por exemplo, treinou uma versão de Claude Cowork para escrever no seu estilo e produzir os primeiros rascunhos de suas histórias, como Com fio relatado em março. Meu próprio uso da IA é comparativamente primitivo, mas vale a pena divulgar aqui: De acordo com O AtlânticoDe acordo com as diretrizes internas da , às vezes uso chatbots como um dicionário de sinônimos um pouco mais inteligente para sugerir a palavra mais adequada para inserir em uma determinada frase e, ocasionalmente, peço-lhes que sugiram fontes especializadas sobre um tópico específico. Também uso uma ferramenta com tecnologia de IA para transcrever entrevistas, apoiada por minhas próprias anotações.
Exatamente onde traçar o limite sobre os usos aceitáveis da IA não é tão óbvio quanto pode parecer. No caso de Rosenbaum, o escândalo não pode ser apenas o facto de ele ter usado IA enquanto trabalhava no seu livro, porque ele reconheceu isso antecipadamente. Ele teve problemas porque usou mal a IA, deixando de verificar seu funcionamento em uma tarefa na qual ela era notoriamente pouco confiável. Ou considere isso O jornal New York Timesque sofreu um onda de escândalos de escrita de IAmantém dois padrões diferentes. Seus freelancers podem usar ferramentas de IA para “brainstorming de alto nível” e umquase nada mais. Os funcionários da redação são encorajado a experimentar com o que as diretrizes do jornal consideram “uma ferramenta poderosa que, como muitos avanços tecnológicos anteriores, pode ser usada a serviço da nossa missão”. O principal grupo comercial de autores de livros, o Authors Guild, evita editais, mas alerta para os riscos éticos de vários usos de IA.
Aceitar a IA para pesquisa, mas proibir qualquer uso de sua prosa, pode ser a postura mais intuitiva. É certamente o mais conveniente: não temos uma maneira confiável de saber quando a IA foi usada para debater ideias, pesquisar fatos ou ajudar um escritor a moldar o enquadramento de uma história. Mas como o neurocientista Tim Requarth apontou em Ardósiasão esses usos ocultos da IA no processo de escrita que dão origem às nossas preocupações mais válidas. A verdadeira ameaça que a tecnologia representa não é a uso excessivo da palavra aprofundar em artigos acadêmicos ou na profusão de metáforas tensas na ficção literária. É que perdemos algo essencial quando terceirizamos para máquinas o árduo trabalho de descobrir a verdade e interpretar o mundo que nos rodeia (ou, no caso da ficção, os mundos dentro de nós). É que os preconceitos incorporados em modelos de linguagem treinados em fontes duvidosas e controlados por empresas tecnológicas irão infiltrar-se nas narrativas que moldam a nossa compreensão da realidade. Temos certeza de que usar IA para transformar uma frase é pior do que usá-la para decidir sobre o que escrever?
No mínimo, o acúmulo de escândalos deveria nos forçar a pensar com mais precisão sobre o que tememos da escrita sobre IA. Se o problema fosse simplesmente o facto de ser mau, então a sua melhoria constante seria motivo de alívio e não de alarme. Pelo contrário, o problema parece ser que as ferramentas de IA estão a ficar demasiado boas, pelo menos superficialmente, e que as pessoas estão a depositar demasiada fé nelas. Embora Rosenbaum tenha amaldiçoado o ChatGPT, ele me disse que não conseguia imaginar desistir dele. Esse sentimento pode representar uma ameaça maior para a escrita do que qualquer coisa que ele expõe em seu livro.