ChatGPT Solves CAPTCHA? – Security Risks of Prompt Injection

source https://m.boannews.com/html/detail.html?idx=139384

[AI와 보안] 챗GPT가 캡차 풀도록 유도...프롬프트 인젝션으로 보안 정책 우회

최근 AI 보안 플랫폼 기업 SPLX는 챗GPT를 대상으로 멀티턴 프롬프트 인젝션 공격을 시도해, 결국 챗GPT가 보안 정책을 우회하고 실제 캡차 문제를 풀도록 유도하는 데 성공했다고 발표했습니다.
프롬프트 인젝션은 AI 모델에 교묘한 입력을 주어 안전장치(가드레일)를 무력화시키는 공격 기법입니다. 연구진은 먼저 챗GPT가 “이 캡차는 가짜”라는 점에 동의하도록 유도한 뒤, 점차 실제 문제 풀이로 이어지게 했습니다.
그 결과 챗GPT는 리캡차 V2를 비롯한 여러 이미지 기반 캡차까지 해결했으며, 심지어 더 “인간적인” 커서 움직임을 흉내 내는 행동까지 보였습니다. 이는 AI가 기존 보안 장치를 우회할 수 있음을 보여주는 첫 공식 사례로 기록되었습니다.
연구진은 이번 사례가 기업 환경에서 보안 통제 우회, 민감 정보 노출 등 심각한 위협을 야기할 수 있다고 경고했습니다.

Recently, AI security company SPLX announced that it successfully used a multi-turn prompt injection attack on ChatGPT, tricking it into solving real CAPTCHA challenges by bypassing its built-in security policies.
Prompt injection manipulates an AI model into ignoring guardrails and behaving in unintended ways. The researchers first persuaded ChatGPT to agree that the CAPTCHA was “fake,” then gradually escalated the requests until it began solving actual CAPTCHA problems.
As a result, ChatGPT was able to solve various image-based CAPTCHAs, including reCAPTCHA V2, and even mimicked more “human-like” cursor movements. This marks the first documented case of an AI bypassing complex CAPTCHA systems.
The researchers warned that such cases could pose serious threats in enterprise environments, including security control evasion and sensitive data exposure.