# @sozdemirs on Instagram

- **Type:** Video
- **Original URL:** https://www.instagram.com/p/DF5_9wTASFh
- **Gondola URL:** https://gondola.cc/posts/59841931-sozdemirs-instagram
- **Thumbnail:** https://img.gondola.cc/tr:w-,h-,fo-auto/postThumbnails/93b72950c2.jpg
- **Posted:** 2025-02-10T21:01:37.000+00:00
- **Account Owner:** S. Sebnem Ozdemir (@sozdemirs) — https://gondola.cc/sozdemirs

## Caption

7 Ocak 2025 tarihinde Dünya #ChatGPT kullanarak bomba hazırlayan bir eylemcinin terör girişimine şahit olmuştu. Normalde ChatGPT‘nin asla bomba tarifini vermeyeceğini biliyoruz. Ancak #prompt injection adını verdiğimiz yöntemle makinaya cevabını vermeyeceği şeyleri söylemeye ikna etmek (#manipülasyon) mümkün. 

 Kötü niyetli kişiler, bu ve benzeri saldırıları planlamada #LLM’leri farkında olmadan yetkisiz eylemler gerçekleştirmeye yönlendirebiliyor. 🔥💻 Yani yapay zekadan detaylı saldırı ve terör planları elde edebiliyorlar.

🎯 Çözüm: MELON!
Yeni geliştirilen MELON yöntemi, yapay zekanın kullanıcıdan mı yoksa saldırgandan mı komut aldığını tespit ederek tehditleri engelliyor.

🤖MELON, bir yapay zeka (#LLM) ajanının gelen komutlara verdiği tepkileri analiz eder.

🤖Orijinal kullanıcı komutu, özel bir maskeleme fonksiyonu ile değiştirilir ve #ajan bu yeni haliyle yeniden çalıştırılır.

🤖İlk çalıştırmadaki ve maskeleme sonrası çalıştırmadaki eylemler karşılaştırılır.

🤖 o karşılaştırmadı ortada özel bir yönlendirme olduğu keşfedililirse,  bu durum yapay zekanın kötü amaçlı bir komuta bağlı hareket ettiğini gösterir ve bir saldırı olduğu tespit edilir.

## Stats

- **Views:** 1,687
- **Likes:** 97
- **Shares:** 0
- **Comments:** 2

## Tags

llm, ajan, prompt, manipülasyon, chatgpt

---
Copyright (c) Gondola