Definindo a proveniência do modelo: uma constituição para segurança e proteção da cadeia de suprimentos de IA

Quando se trata de modelos de IA, uma das questões mais difíceis de responder é aparentemente simples: de onde realmente veio esse modelo?

Resolvemos parte deste problema com Kit modelo de proveniênciauma ferramenta de código aberto que identifica modelos no nível de peso (os parâmetros que definem o que um modelo sabe e como se comporta) para verificar suas origens. Mas uma ferramenta de impressão digital precisa de um padrão claro para ser medido, que defina exatamente o que se qualifica como uma relação de derivação entre dois modelos. Aqui, a indústria ainda não tem uma resposta consistente.

As definições variam entre licenciadores, padrões de órgãos, grupos de pesquisa e laboratórios de IA. O mesmo par de modelos pode ser rotulado como “relacionado” por um analisado e “independente” por outro, com ambos citando raciocínios defensáveis. Essa inconsistência cria problemas reais para a aplicação de licenciamento, triagem de vulnerabilidades e conformidade regulatória.

Criamos a Constituição Modelo de Proveniência como uma tentativa de corrigir isso. Composto por uma taxonomia, definição e especificações de limites, é uma referência normativa, uma constituição, que especifica o que é e o que não é uma relação de proveniência modelo no nível da derivação de peso. Esta postagem aborda sua estrutura, seu raciocínio e como ele se conecta às estruturas que os programas de governança já utilizam. Você pode revisar o Constituição dentro da pasta docs do Kit modelo de proveniência.

Por que definir a proveniência do modelo é importante

Os modelos básicos não chegam à empresa como artefatos isolados. Eles são ajustados, destilados, quantizados, mesclados e reembalados, e cada etapa produz um novo ponto de verificação cujo relacionamento com seu pai é mal documentado. Quando uma equipe de segurança precisa saber se um modelo implantado herda uma vulnerabilidade conhecida, ou quando a conformidade precisa determinar se um ponto de verificação de terceiros aciona uma obrigação de licenciamento, a questão é sempre a mesma: este modelo é um derivado daquele?

Sem uma resposta partilhada e rigorosa, a organização pode enfrentar riscos agravados:

• Os ataques à cadeia de abastecimento já estão a explorar esta lacuna
• Os requisitos regulamentares pressupõem uma clareza de proveniência que ainda não existe
• A resposta a incidentes depende de linhagem rastreável

A proveniência tem a ver com pesos de modelo

A Constituição de Proveniência do Modelo baseia a proveniência em um único conceito: o histórico de derivação verificável dos pesos treinados de um modelo. Dois modelos compartilham proveniência se, e somente se, uma cadeia causal de derivação de peso os conecta, seja direta, indiretamente por meio de destilação ou mecanicamente por meio de uma transformação sem treinamento, como a quantização.

Arquitetura compartilhada, dados de treinamento compartilhados, tokenizador compartilhado e desempenho de benchmark compartilhado não contam. A exclusão é deliberada. Uma definição mais ampla que tratasse qualquer similaridade arquitetural ou comportamental como derivação poderia fazer com que a aplicação do licenciamento se aplicasse a todos os modelos de uma família de arquitetura, sinalizaria projetos convergentes como vínculos de vulnerabilidade genuínos e inundaria as auditorias de governança com falsos positivos. A causalidade no nível de peso produz rótulos que são estáveis ​​entre os revisores, robustos à manipulação de metadados e alinhados com a forma como a derivação realmente acontece na prática.

Como a Constituição Modelo de Proveniência está Estruturada

A constituição responde a três questões: quando dois modelos estão relacionados? Como ocorre essa relação? E o que visual como um relacionamento, mas não é? Ele organiza essas respostas como enumerações explícitas, em vez de definições por exemplo, de modo que cada par de modelos encontrados na prática seja mapeado para uma categoria clara.

Cinco condições especificar quando existe um link de proveniência

• Descida direta: treinamento inicializado a partir de um ponto de verificação treinado
• Descida indireta: destilação de um modelo de professor
• Transformação mecânica: quantização, remoção, fusão ou conversão de formato
• Identidade: cópia equivalente em bytes
• Transitividade: qualquer composição acima

Um par é vinculado à proveniência se pelo menos uma condição for válida.

Nove mecanismos enumerar os caminhos de derivação concretos observados na prática:

• Identidade e reformatação
• Afinação
• Pré-treinamento contínuo
• Derivação modificada por vocabulário
• Destilação de conhecimento
• Modificação estrutural com herança de peso
• Quantização e compressão
• Derivação baseada em adaptador (LoRA, QLoRA, ajuste de prefixo)
• Mesclagem de modelos

Oito exclusões listadas abaixo estão condições que podem parecer estar ligadas à proveniência, mas são independentes da proveniência. Cada exclusão é um padrão de aparente similaridade, mas em última análise, um padrão que não carrega nenhuma cadeia de derivação de peso:

• Reprodução independente (por exemplo, Llama-2 vs. Open LLaMA que compartilham a mesma arquitetura e tokenizador, mas são treinados do zero)
• Tamanhos diferentes da mesma família (por exemplo, Llama-2-7B vs. Llama-2-13B).
• Treinamento de corpus diferentes da mesma família (por exemplo, T5 vs. MT5, que compartilham uma raiz de nome, mas têm treinamento separado do zero)
• Execuções independentes sob uma semente compartilhada (ou seja, a semente compartilhada não constitui pesos compartilhados)
• Convergência arquitetônica (equipes diferentes chegando independentemente a designs de modelos semelhantes)
• Coincidência dimensional sob diferentes mecanismos (modelos que compartilham o mesmo tamanho ou formato sem que um seja construído a partir do outro)
• Vocabulário compartilhado sem transferência de peso (um tokenizer é uma ferramenta, não um peso)
• Objetivo de treinamento compartilhado (compartilhar um objetivo não vincula pesos)

Um padrão rigoroso de proveniência deve nomeá-los explicitamente, porque confundir qualquer um deles com derivação genuína corrompe as decisões de licenciamento downstream, avaliações de vulnerabilidade e determinações de conformidade.

Estabelecendo um padrão de evidência

Uma taxonomia é tão útil quanto o padrão de evidência a ela anexado. A Constituição Modelo de Proveniência leva em conta três fontes para estabelecer a procedência (mas a similaridade arquitetônica e as convenções de nomenclatura são explicitamente insuficientes):

• Documentação oficial: da organização liberadora que nomeia explicitamente o modelo pai e o método de derivação
• Verificação de ponto de verificação: por meio de correspondência de hash, comparação camada por camada ou scripts de derivação reproduzíveis
• Análise confiável de terceiros: que foi revisado por pares ou amplamente citado

Sob ambiguidade, a Constituição Modelo de Proveniência o padrão é rotular um par como independente de procedência. Esse conservadorismo é intencional. Um falso positivo na proveniência acarreta consequências imediatas: uma acusação de licenciamento, uma reclamação de propriedade intelectual, uma notificação de incidente na cadeia de abastecimento. Um falso negativo é detectado pela defesa profunda por meio de revisão manual, auditoria de licenciamento e análise forense. A especificidade vence quando o rigor é necessário.

Alinhamento com estruturas e padrões de ameaças de IA

O atestado de proveniência do modelo pode ser considerado um controle da cadeia de suprimentos, e a Constituição de Proveniência do Modelo serve como uma camada de definição que torna a dependência do modelo auditável. Ele especifica o que significa para um modelo implantado herdar de uma fonte upstream, que é a pré-condição para qualquer questão significativa sobre vulnerabilidades herdadas, obrigações de licença ou redistribuição não atribuída.

“proveniência do modelo fraco” e notando que “não há garantias sobre a origem do modelo.” O MITRE ATLAS estrutura documenta comprometimento da cadeia de suprimentos (AML.T0010) como principal inicial-técnica de acesso. O Estrutura de segurança e proteção de IA da Cisco classifica os componentes do modelo de terceiros sob OB-009 Supply Chain Compromise, com aplicabilidade direta através do AITech-9.3 (Dependency/Plugin Compromise). O Cisco AI Security and Safety Framework classifica os componentes do modelo de terceiros em Compromisso da cadeia de suprimentos OB-009com aplicabilidade direta através Comprometimento de dependência/plugin AITech-9.3: os atores inserem códigos maliciosos, backdoors ou vulnerabilidades em dependências de terceiros usadas por modelos, agentes ou aplicativos de IA, criando ataques à cadeia de suprimentos que afetam todos os sistemas que usam o componente comprometido. Os pontos de verificação do modelo de base reutilizados como inicialização para modelos downstream são precisamente essas dependências.

A constituição também reconhece a dimensão adversária através Evasão de detecção AITech-9.2: ocultação deliberada de um relacionamento de derivação — reescrita de metadados, substituição de tokenizador, modificações encadeadas destinadas a ocultar o pai. O compromisso da Constituição com provas ao nível do peso, em vez de provas ao nível dos metadados, é uma resposta directa a este modelo adversário.

A Constituição Modelo de Proveniência baseia-se em estruturas existentes nas quais os programas da cadeia de fornecimento de IA já dependem. Estas estruturas identificam requisitos ou considerações que a constituição ajuda a satisfazer. Uma definição formal de proveniência é uma pré-condição para produzir essa documentação de forma consistente em toda a organização e entre fornecedores.

Tabela 1. Estruturas, regulamentos e padrões nos quais a Constituição Modelo de Proveniência se baseou

Um documento vivo

Novos métodos de construção de modelos estão surgindo mais rapidamente do que qualquer taxonomia fixa pode acomodar. A fusão de modelos, combinando modelos treinados especializados, tornou-se uma técnica dominante nos últimos anos. Além da fusão, o ecossistema está vendo arquiteturas mistas de especialistas com componentes treinados de forma independente, treinamento federado entre organizações e pipelines de dados sintéticos que confundem a linha entre a transferência de conhecimento e o treinamento original. A Constituição Modelo de Proveniência considera estas fronteiras abertas e compromete-se a revisá-las à medida que a paisagem evolui.

Comece

O resumo completo da Constituição de Proveniência Modelo está disponível ao lado desta postagem: https://github.com/cisco-ai-defense/model-provenance-kit/tree/main/docs/constitution

Para equipes prontas para colocar essas definições em prática, o Model Provenance Kit fornece as ferramentas. Todo o pipeline é executado na CPU, as correspondências arquitetônicas são resolvidas em milissegundos e os recursos extraídos são armazenados em cache para reutilização. Confira o kit de proveniência do modelo no Github: https://github.com/cisco-ai-defense/model-provenance-kit

Acesse um conjunto inicial de impressões digitais do modelo básico no Hugging Face: https://huggingface.co/datasets/cisco-ai/model-provenance-kit