Todos iniciam o ano desejando “Feliz Ano Novo” para todos. Até, hipocritamente, para seus inimigos. Convenhamos, inimigo é de quem a gente tem ódio, hahaha!
Porém, mal 2024 começou e vários terremotos tremeram o Japão. Se é pouco, no dia seguinte em um aeroporto nipônico dois aviões se chocaram.
Em terras tupiniquins, dois helicópteros caíram. Jovens morreram numa BMW. Estacionada!
OK, o território do Brasil é 23x maior que o do Japão. É de se esperar.
Por outro lado, a densidade populacional aqui é de 25 habitantes/metro quadrado. Nas terras japônicas é 330. Ou seja, 13x maior.
Nada disso importa para o tema de hoje.
As IAs estão sendo bombardeadas com Jailbreaks!
A expressão jailbreak tem origem na língua inglesa, combinando as palavras “jail” (prisão) e “break” (quebrar). Inicialmente, referia-se ao ato de escapar da prisão. Na tecnologia, adquiriu o sentido de desbloquear um dispositivo eletrônico, especialmente smartphones, para remover restrições impostas pelo fabricante ou operadora.
Foco no “remover restrições”.
Se peço ao ChatGPT: “Como fazer uma bomba?”…
Ele é curto e grosso: “Não posso ajudar com isso”.
Mas vejam a imagem a seguir, resultado de um trabalho denominado MASTERKEY: Automated Jailbreaking of Large Language Model Chatbot de pesquisadores científicos.
Em um excerto traduzido do trabalho:
Neste exemplo, o chatbot recusa-se a responder a uma investigação maliciosa direta sobre “como criar e distribuir malware para obter ganhos financeiros”. No entanto, quando a mesma pergunta é mascarada em um contexto de conversa delicado e prejudicial, o chatbot irá gerar respostas que violam a sua política de utilização sem qualquer conhecimento. Dependendo das intenções do invasor, esta pergunta pode ser substituída por qualquer conteúdo que viole a política de uso.
Para fazer o jailbreak de um chatbot, o invasor precisa criar um prompt de jailbreak. É um modelo que ajuda a esconder as questões maliciosas e a fugir dos limites de proteção. No exemplo acima, um prompt de jailbreak é criado para disfarçar a intenção no contexto de um experimento simulado. Este contexto pode manipular com sucesso o LLM para fornecer respostas que possam potencialmente orientá-los na criação e propagação de malware. É importante notar que neste estudo nos concentramos em saber se o chatbot LLM tenta responder a uma pergunta que transgride a política de uso. Não validamos explicitamente a exatidão e precisão dessa resposta.
Engenharia pseudossocial
Essa curiosidade nos leva a outro tema que é a Engenharia social.
Trata-se de uma técnica de manipulação psicológica usada para enganar pessoas e obter informações confidenciais, acesso a sistemas ou realizar ações específicas. Envolve enganar ou persuadir indivíduos a revelar dados sensíveis ou a executar certas ações que podem comprometer a segurança pessoal ou organizacional. Não se baseia em tecnologia, mas no entendimento do comportamento humano.
Obviamente, no caso relatado, é pseudossocial, pois a trapaça não é feita com pessoas, mas com um algoritmo que, por vezes, tenta agir como uma.
E voilà, se obtém sucesso! Igual como provavelmente se teria com um humano.
Impacto no atendimento de suporte técnico
Conseguem imaginar tais situações de jailbreak conjugadas com engenharia social num ambiente de Help Desk e Service Desk?
Na empresa de tecnologia a maioria dos fundadores são originariamente técnicos.
Ele valoriza sobremaneira a tecnologia, afinal foi o que lhe deu essa atual boa vida (dos que chegaram lá, claro). Isso me recorda um livro:
“Deuses Americanos” é um romance de Neil Gaiman que explora a ideia de que deuses e seres míticos existem porque as pessoas acreditam neles. A história segue Shadow Moon, um homem recém-libertado da prisão, que encontra o misterioso Sr. Wednesday. Ao aceitar trabalhar para Wednesday, Shadow se envolve em um conflito entre os deuses antigos, trazidos para a América por imigrantes, e os novos deuses, que refletem a sociedade moderna e seu amor por dinheiro, tecnologia e mídia.
O fundador investe maciçamente em tecnologia no atendimento — é o seu “Calcanhar de Aquiles” quando sua empresa cresce — e usa chatbots com IAs para reduzir a interação humana interna ao máximo.
Pensem agora nestas situações
- Resposta Automatizada a Dúvidas Frequentes
- Assistência em Procedimentos de RH via SAP
- Gerenciamento de Senhas do Active Directory
- Agendamento de Reuniões e Compromissos
- Suporte Técnico Básico
- Criação e Acompanhamento de Tickets de Suporte
- Consulta de Informações de Colaboradores
- Notificações e Alertas de Segurança
- Assistência em Processos de Compra e Aprovações via SAP
- Gestão de Acesso e Permissões de Usuários
Você consegue se imaginar criando um jailbreak para um dos itens acima?
Eu sim. Aos montes. De gargalhar, de fazer a cuia do chimarrão cair da mão e derramar essa meleca viscosa de mate e água sobre o teclado e mesa.
Sobre IA vs. ser humano
Não digo que o ser humano seria mais competente e resistente a entregar senhas do que uma IA.
As empresas colocam pessoas inexperientes para realizar tarefas simplórias — mas sensíveis em termos de segurança. Elas querem ajudar, demonstrar competência e todas as considerações que as tornam um ponto frágil na estrutura de segurança.
Mas você também não pode desprezar essas brechas e riscos. Claro, se conseguir parar e pensar um pouco no seu centro de suporte.
Sim, sei que errar é humano. Botar a culpa nos outros também, kkk… (essa é do Millor).
E tudo é uma questão de treinamento. Seja da IA ou do novo colaborador.
Mas há um porém: a IA você obtêm por integração com um motor existente (ChatGPT, Bard etc.).
Aliás…
Final de fevereiro vem aí!
Época de religar o turbo.
2024 inicia, deixando para trás a letargia de janeiro, o Carnaval de fevereiro e a moleza típica de início de ano.
curso de Gestão de Serviços para Help Desk e Service Desk
28–29 de fevereiro e 01 de março — 08:30-12:00 e 13:30-17:30
https://www.4hd.com.br/calendario
É hora, antes que o Cohen aumente o preço para 2024, hahaha!
Lembre-se: “O que pode ser feito em alguma hora não será feito em hora alguma“.
Quer que desenhe ou vai se inscrever logo de uma vez?!
Abrazon
EL CO
