ANALISIS KEAMANAN LARGE LANGUAGE MODELS (LLM) TERHADAP SERANGAN PROMPT INJECTION

Falah Oktavianalisti; Muchammad Sholeh;

Analisis Keamanan Large Language Models (LLM) Terhadap Serangan

Prompt Injection
Falah Oktavianalisti

Keamanan Large Language Models (LLM) terhadap ancaman prompt injection, yaitu serangan yang
memanipulasi input untuk menghasilkan output berbahaya. Sistem dibangun menggunakan LLM
Guard, Ollama, dan Llamaindex dengan model Phi di lingkungan lokal. Setiap prompt yang masuk
diperiksa menggunakan scanner PromptInjection, Regex, dan TokenLimit. Sistem chatbot lokal
dengan LLM Guard berhasil mendeteksi 61,8% dari total 34 prompt sebagai tidak valid, dengan
rata-rata skor risiko 0,94 untuk prompt berbahaya dan -0,98 untuk prompt aman. Scanner
PromptInjection mampu mengenali meskipun tidak semua prompt berhasil terseleksi dengan waktu
pemrosesan antara 2,7 hingga 3,1 detik.
Kata kunci: LLM, Prompt Injection, LLM Guard, Ollama, Keamanan AI
Security Analysis of Large Language Models (LLM) Against Prompt Injection

Attacks
Falah Oktavianalisti

Large Language Models (LLM) security against prompt injection threats, attacks that manipulate
input to produce malicious output. The system was built using LLM Guard, Ollama, and Llamaindex
with the Phi model in a local environment. Each incoming prompt was checked using
PromptInjection, Regex, and TokenLimit scanners. The local chatbot system with LLM Guard
successfully detected 61.8% of the total 34 prompts as invalid, with an average risk score of 0.94
for malicious prompts and -0.98 for safe prompts. The PromptInjection scanner was able to
recognize even though not all prompts were successfully selected with a processing time between
2.7 and 3.1 seconds.
Keywords: LLM, Prompt Injection, LLM Guard, Ollama, AI Security