|
Abstract:
|
O phishing permanece entre os vetores de ataque mais explorados em incidentes de
segurança da informação, e o uso ofensivo de modelos de linguagem de larga escala
(Large Language Models, LLMs) tornou as mensagens fraudulentas mais persuasivas,
ao eliminar os erros que antes denunciavam a fraude. A mesma tecnologia, porém,
apresenta-se como contramedida, pois os LLMs interpretam a intenção e o contexto do
texto e passaram a ser avaliados como classificadores de e-mails suspeitos. A adoção
desses modelos impõe, contudo, uma escolha de implantação: modelos comerciais de
grande porte, acessados via API, oferecem alta capacidade de detecção, mas exigem o
envio do conteúdo dos e-mails a servidores de terceiros, o que expõe dados pessoais
e sigilosos e levanta riscos de conformidade frente à LGPD e ao GDPR, enquanto
modelos abertos e leves, executados localmente, mantêm os dados sob o controle da
organização, ao custo de menor capacidade de processamento. Este trabalho realiza
uma análise comparativa entre quatro modelos leves executados localmente (Gemma
3 QAT 4B, Qwen3-4B, Granite 4.0 Tiny e Llama 3.2 3B) e um modelo comercial de
referência (Claude Haiku 4.5) na classificação binária de e-mails de phishing. Para isso,
construiu-se um dataset balanceado com mensagens do Nazario Phishing Corpus
e do Enron Corpus, submetidas aos cinco modelos sob um protocolo uniforme de
inferência, com prompt zero-shot único, decodificação determinística e saída em JSON
estruturado. O desempenho foi medido por métricas de classificação binária (precisão,
revocação, F1-Score, acurácia, MCC e AUC), complementadas pela latência e pelo
custo de inferência, e as diferenças entre o modelo de referência e cada modelo local
foram verificadas pelo teste de McNemar e por bootstrap pareado. Os resultados
indicam que o Claude Haiku 4.5 obteve o melhor desempenho e que as diferenças
frente aos modelos locais são estatisticamente significativas. Entre os locais, o Llama
3.2 3B apresentou o melhor resultado, seguido de perto pelo Qwen3-4B, enquanto o
Gemma 3 QAT 4B e o Granite 4.0 Tiny ficaram mais distantes da referência, em razão
do alto volume de falsos positivos. Conclui-se que os modelos locais não igualam o
modelo comercial, mas os melhores entre eles se aproximam o suficiente para constituir
uma alternativa viável quando a confidencialidade dos dados é prioritária. |
