[유머] ChatGPT 기반 봇이 가진 심각한 문제점

[오모이마토이]

그건 바로 프롬프트 인젝션이에요

현재 GPT Based API는 어제 공개된 최신 Plugin 방식과 사용이 어려운 fewshot-fine tuning 같은 걸 제외하면

대부분 프롬프트라는 사전 처리 문구를 이용해서 작동됨

미리 "이런 질문이 오면 이런 내용으로 답변해주세요"하는 명령어 같은 거지

그런데 저런 식의 프롬프트를 어마어마한 갯수를 쏟아내면 어떻게 되냐?

GPT는 기본적으로 확률에 근거해서 작동하는 자연어 처리 시스템임. AI조차 아니라고 하는 학자도 있을 정도임.

저 어마어마한 갯수의 입력을 "정상 입력"으로 감지하고 실행해버리는 이슈가 있음.

그래서 저걸로 봇을 만들었다가 탈취당해서 탈취한 사람이 원하는 대로 날먹해버린 케이스가 최근 생김.

[사과맛곰젤리]

그래서 빙이 저쪽질문하면 바로 연결끊는건가

[오모이마토이]

저걸 막을 방도가 없음. 질문을 사전 검열해서 막는 금칙어 회로같은 걸 도입하면 그건 그거대로 ai가 ㅂㅅ같이 돌아감
루리웹 금칙어도 ㅂㅅ같잖아