Marcelo Tibau

Segunda parte do vídeo sobre cybersegurança em LLMs.

Os LLMs geralmente dependem do contexto para gerar suas respostas. Quando um modelo é treinado para evitar conteúdo controverso ou prejudicial, ele segue padrões e regras que limitam suas respostas a certos tópicos ou áreas. No entanto, essas restrições podem levar a lacunas não intencionais ou brechas em sua compreensão ou interpretação, onde respostas não intencionais podem ser produzidas devido à maneira como a IA interpreta prompts ambíguos ou complexos. Como o treinamento é projetado para evitar tópicos específicos, o modelo pode interpretar mal certas entradas, levando a respostas não intencionais ou imprecisas, são os chamados loopholes. Aqui veremos como esses loopholes são explorados, além de modos para manipulação do modelo. Neste caso, pessoas com acesso ao processo de treinamento ou finetuning do modelo podem manipulá-lo para produzir respostas proibidas. Isso envolve ajuste de parâmetros, adição de conjuntos de dados específicos durante o processo de finetuning ou o ajuste de pesos para priorizar determinadas saídas.

Abaixo, os links explorados no vídeo:

• Adversarial attacks: https://lilianweng.github.io/posts/2023-10-25-adv-attack-llm/

• Not what you’ve signed up for – Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection: https://arxiv.org/abs/2302.12173

• Poisoning Language Models During Instruction Tuning: https://arxiv.org/abs/2305.00944