IA empresarial opera em conversas – multilíngue, multiturno e dependente do contexto. Um guardrail que funciona apenas com instruções de giro único em inglês não pode proteger o que as empresas estão realmente construindo. Em um recentebenchmark independente por ML6em 80.000 solicitações em holandês, a Cisco AI Defense liderou o grupo de provedores com a maior pontuação na F1.
01 Uma nota sobre semântica
Os rótulos de segurança de IA só funcionam quando todos concordam com o que significam. A linguagem é inerentemente semanticamente difusa; a intenção, o contexto e as nuances linguísticas moldam a interpretação e, consequentemente, o verdadeiro rótulo.
A Cisco aborda isso por meio dedefinições constitucionais: especificações operacionais precisas por técnica que servem como a única fonte de verdade para classificação, treinamento de modelo e explicações voltadas para o cliente. Esta abordagemreduz a discordância entre modelos em até 57×em comparação com definições em nível de parágrafo. Como a especificação é aplicada por máquina, ela se aplica com igual precisão em francês, japonês ou árabe.
A taxonomia distingueintençãodecontente: uma conversa pode conter intenção prejudicial sem saída prejudicial (um ataque investigado e recusado) ou conteúdo prejudicial sem intenção adversária (modelar mau comportamento em uma solicitação benigna). Essa distinção é essencial na produção, onde a mesma linguagem superficial pode significar coisas muito diferentes dependendo do contexto conversacional.
02 A segurança entrou na conversa
Nos sistemas de IA, a linguagem comum é o plano de controle. Uma instrução maliciosa pode parecer idêntica a uma solicitação do usuário; uma frase benigna pode parecer suspeita fora do contexto. Os ataques raramente chegam em um único prompt – adversários reais iteram, reformulam as recusas e aumentam gradualmente entre os turnos.Pesquisa da Cisco em 15 modelos de fronteiradescobriram que todos os modelos testados mostram vulnerabilidade significativa em vários turnos, com taxas de sucesso de ataque que não apresentam relação consistente com benchmarks de turno único.
Isso significa que o perímetro de segurança deve sair do modelo. O Cisco AI Defense valida entradas e saídas na produção, classificando osintenção e direção ativade cada conversa – não apenas o conteúdo superficial de cada mensagem. Os Guardrails são adaptados às vulnerabilidades específicas de cada modelo e aplicação e aplicados no ponto onde o comportamento da IA é realmente moldado: a troca ao vivo entre usuário, modelo, dados e ferramentas.
03 A verificação da realidade multilíngue
O benchmark ML6 colocou o desempenho multilíngue em grande destaque. Testando 80.000 prompts em holandês — incluindo injeção de prompt, desvio de política, instruções ambíguas e interações empresariais realistas — o Cisco AI Defense alcançou a pontuação F1 mais alta do grupo:0,845.
Para destaque Cisco multilíngue capacidades – nesta postagem, amostramos e compartilhamos resultados em uma versão aumentada de LMSYS Chat-1M e Bate-papo selvagem — dois conjuntos de dados conversacionais de código aberto amplamente utilizados representando tráfego de chat empresarial realista. Os dados foram aumentado com conversas de ecerto adicional idiomas com uma distribuição semelhante a LMSYS e Bate-papo selvagem. Os rótulos de verdade para este conjunto de dados foram gerados usando Cisco IA taxonomia de segurança e proteção. O benchmark ML6 utilizou um conjunto de dados separado específico da Holanda, montado de forma independente; as duas avaliações são complementares e não diretamente comparáveis.
O Cisco AI Defense foi avaliado em um conjunto de dados de conversação aumentado e multilíngue derivado principalmente dos corpora LMSYS Chat-1M e WildChat. O conjunto de avaliação consiste predominantemente em conversas benignas e de propósito geral, juntamente com um subconjunto adversário que representa aproximadamente 14% dos exemplos rotulados. O conjunto de dados teve aproximadamente 5.800-5.900 conversas por idioma. O FPR é medido com base nesta combinação específica de avaliação adversa; em uma distribuição no mundo real, seria muito menor. Os resultados são apresentados primeiro com o inglês, depois com o holandês, seguido dos restantes idiomas ordenados pela pontuação F1.
F1 varia de 0,796 (árabe) a 0,860 (português) — uma distribuição estreita entre nove línguas tipologicamente diversas, desde línguas europeias de escrita latina até árabe e japonês. Essa consistência reflecte a taxonomia constitucional em funcionamento: quando uma definição é precisa e aplicada por máquina, o sinal é transferido entre línguas de forma fiável. A mesma especificação operacional determina se uma injeção imediata é escrita em francês, japonês ou árabe.
Cada curva é a fronteira rechamada versus FPR alcançável para o Cisco AI Defense por idioma, em todas as combinações de limites. Mais alto e mais à esquerda é mais forte. A legenda mostra AUC por idioma.
04 Proteção sem atrito
Um guarda-corpo com alto lembrar mas a baixa precisão não é um produto de segurança – é um problema de disponibilidade. No benchmark ML6, anotarsua solução de guarda-corpo em teste atingiu 0,327 recall, mas apenas 0,453 F1, já que os alarmes falsos reduziram a precisão para 0,737. A Cisco alcançou 0,843 de recall e 0,847 de precisão simultaneamente – o F1 mais alto do grupo. Esse equilíbrio requer um modelo de ameaça suficientemente preciso para distinguir uma instrução adversária de uma solicitação legítima, mas enfática, do usuário.
Cada marcador é um idioma, posicionado por sua recuperação e taxa de falsos positivos. Pontuações de F1 mostradas na legenda. A região sombreada marca a zona operacional ideal – alto recall com baixos falsos positivos.
Os números do FPR na tabela – 2,3–5,8% entre idiomas – são medidos em uma combinação de avaliações que é aproximadamente 14% contraditória. Numa população de produção predominantemente benigna, o FPR efetivo seria muito menor. Mais significativo do que os valores absolutos é a sua estabilidade entre idiomas: o intervalo estreito entre nove idiomas indica que a taxonomia constitucional produz um sinal consistente em vez de trocar silenciosamente a precisão pela recuperação à medida que os utilizadores mudam de idioma. Os limites operacionais são configuráveis sem necessidade de retreinamento, permitindo que as organizações ajustem a compensação de recall de precisão de acordo com seu perfil de risco específico.
05 Proteção em tempo real
Um guardrail que não consegue acompanhar o tráfego de produção não permanecerá no caminho crítico. Os aplicativos empresariais de IA têm SLAs de tempo de resposta; os usuários percebem latência; e em pipelines agentes, compostos aéreos por salto. A segurança que adiciona segundos por solicitação é desabilitada ou ignorada.
O Cisco AI Defense foi desenvolvido para interagir ao vivo sem se tornar um gargalo. Em p90 = 40 ms e p99 = 250 ms por solicitação, a verificação de segurança adiciona sobrecarga que é imperceptível para os usuários finais e compatível com SLAs de conversação em tempo real entre chatbots, copilotos e pipelines de agente.
A proteção em tempo de execução não é um teste pontual. As aplicações de IA evoluem continuamente: os modelos são atualizados, as fontes de RAG mudam, os agentes adquirem novas ferramentas e as técnicas de ataque se adaptam. A avaliação pré-implantação estabelece uma linha de base; as proteções de tempo de execução o mantêm sob condições de produção em tempo real, para todos os usuários, em todos os idiomas, em todos os modelos e aplicativos executados pela empresa, independentemente do fornecedor ou da estrutura de implantação.
O que as empresas deveriam levar embora
A IA empresarial é multilíngue e multivoltas por design. A segurança deve corresponder a essa realidade. O Cisco AI Defense aborda isso a partir dos primeiros princípios:
- Uma taxonomia constitucional que produz sinais consistentes e explicáveis entre linguagens e tipos de ataque.
- Detecção conversacional nativa que classifica a intenção e a direção ativa de uma troca, não apenas seu conteúdo superficial.
- Multilíngue por design — detecção consistente em idiomas e scripts, porque a taxonomia que orienta a proteção é independente do idioma.
- Uma balança de recall de precisão que protege a empresa sem punir usuários legítimos.
- Desempenho de tempo de execução projetado para produção — latência p90 de 40 ms por solicitação, compatível com SLAs de conversação em tempo real.
Para as organizações que estão expandindo a IA, o objetivo não é simplesmente bloquear mais. O objetivo é preservar a confiança — protegendo usuários, dados, modelos e processos de negócios, ao mesmo tempo em que mantém a conversa aberta para todos que merecem.
Leitura relacionada: Melhorando a consistência da rotulagem com definições constitucionais detalhadas e avaliação orientada por IA · Problemas proprietários: nenhum modelo de fronteira é imune a múltiplas voltas · Referência do ML6 Enterprise Guardrail