[S/W] "믿었던 챗GPT가 환각률 48%라니...", 챗GPT 어쩌나

[사쿠라모리 카오리P]

테크크런치 오픈AI 사내 벤치마크서 나온 환각율 보도

챗GPT o3, 환각률 33%

챗GPT o4미니는 48% 환각률 보여

오픈AI " 더 많은 연구가 필요하다"

출처 : 1https:/www.fnnews.com/news/202504201250325892

[SNOW-I]

아는거 많은 망상환자랑 얘기한다는거임?!?!

[그레이색이양]

검증하는 프롬프트를 넣어도 헛소리하더라 ㅎㅎ

[완전소중PS]

한국어 능력이 가장 좋아서 쓰는 용도.

[TTLWR]

알려주는 답변의 반이 오답이라는 거네..

[alenoa]

오답까진 아닌데 더 자세하고 상세하게 물어볼수록
디테일이 틀려질 확율이 올라가서 결국 50%쯤 되는거같음.
특히나 질문 세션이 길어지면 길어질수록 틀릴확율이 높아서
한두번만에 원하는 바가 안나오면 그 세션은 망한거나 다름없음.
아무리 프롬프트로 수정하려고 노력해봐야 개소리의 향연이 끝도 없이 이어짐.

[루시오르]

주식하는 사람들한텐 이걸 백날 이야기해도 소용이 없더라...

[검은머리없는외국인]

헛소리가 너무 많아서 정보검색용도로 쓰면 안됌

[alenoa]

GPT랑 제미나이 두가지를 써봤는데
정보검색용이나 전문기술 질의, 코드 작성, 문서작성 다 잘하는 편입니다.

다만, 정보검색용으로 사용할때 주의해야 하는게 딱 한가지있는데
자신이 모르는 내용을 질문할 때 의도를 담으면 안됩니다.
이게 LLM 베이스다 보니까 언어에 엄청나게 민갑합니다.

예를 들어서 사용자 본인이 어떤 대상에 대하여 모르는 상태로 의도를 가지고 질문하면
실제 목표보다 사용자 의도를 더 민감하게 이해해서 이상한 결과로 날아갑니다.
예를 들어서 이런식입니다.

루리웹은 어떤 프로그램이야?
라는 식으로 질문을하면...
루리웹이 실제로는 프로그램이 아닌 웹사이트라는 것을 답변하는게 아니라
루리웹을 가상의 프로그램이라고 가정하고 상상속의 프로그램을 생성합니다.

본인이 잘 모르는걸 질문할때는 그냥 그게 뭐냐고 물어봐야지 이상한 상상을 하며 언어를 첨가하는순간
AI도 이상한 답변을 하고 본인도 이상하게 이해해서 서로 상상의 나라로 날아가버리게 되는거죠.

[hohuhuya]

[hohuhuya]

[alenoa]

ㅋㅋ 그냥 예시로 든거잖아요.
그리고 학습하는 정보가 업데이트 되면 될 수록 정보교정이 이루어져서 더 나아지고 있어요.
학습이 부족한 최신 기술이나 어휘 일수록 이런 식의 문제가 많이 발생합니다.
가장 최근에 본건 MCP 관련이었네요.

[alenoa]

덧글 다신것 보고 오늘 똑같은 정보로 질문 던졌더니 내용이 교정되었네요.
새삼 빠르게 발전하는게 느껴집니다.

[hohuhuya]

예시가 너무 짜치더라구요

보통 사람들은 아 저정도도 못하네 안써야겠다 정도로 끝나니깐요

분명히 유용한게 사실이고 활용하기 나름인데
.

[hohuhuya]

이쪽 업계 뉴스 보면 일희일비 하는게 너무 심한게 느껴집니다.

그러던지 말던지 꿀빠는사람은 꿀빠는거죠

[alenoa]

네 예시가 너무 조악하긴하네요.

[콜트77]

뭐지... 달을 가리켰더니 손가락만 보는 그런건가

[젠장알]

더 좋은 예시를 제시 하시던가요 많은사람들이 이해하기 쉽게 예시를 제시한건데 짜친다고 하면 더쉬운 예시를 제시해야지 저걸 스샷찍는게 말이 됩니까 정보를주기위해 긴글 쓰신분에게 모욕주는거 밖에 안됨 누구 비난하는게 취밉니까

[Patetiso]

짜치는건 본인 인성과 문해력이었구연~ㅋㅋㅋㅋ

[ㅂㅣ추]

ㅋㅋㅋ 주식샀음? 이걸로 돈 연결된 사람들이 좀만 안 좋게 말해도 호들갑떨던데 ㅋㅋㅋㅋ

[사막커피]

오. 좋은 정보 감사드립니다. 질문 내용에 따라 운좋게 잘 나올수도 있지만 재수 없으면 말씀하신대로 산으로 갈수도 있으니까요. 오늘 첨 알게 된 내용이라 저에게는 유용하게 사용할 팁인듯 싶습니다.

[lille]

확실히 지피티한테 몇번 질문해서 답을 받다보니 질문의 어조에 따라서 이게 아닌데 싶은
질문자 편향적인 답변이 나오더라구요. 질문자 의도에 맞춤형으로 답변을 해주는

[大破革命 蟲撲滅]

마치 꺼무위키 라는거군요 ~응 대충 이해했어 짤

[spinal reflex]

구글검색해서 잘안나오는거 퍼플렉시티한테 물어보면 딱 이런식으로 대답해서 잘 안썼는데 대댓글 보니 다른 AI는 제대로 대답하네요.

[지한이]

피씨랑 모바일 대화기억연동이안돼서 대화할때 억지기억을 계속 주입시켜야돼가지고 불편함

[밤사냥꾼]

이대로면 그냥 포털 검색 하는게 ㅎㅎ

[비추안주는사람]

제미나이가 저렴하니 제미나이 승 ㅋㅋ

[케이다시]

이거 근데 확률분포적인 것은 트랜스포머 알고리즘의 특징이라 앞으로도 고칠수가없고

패러다임이 바뀌어야됨. 트랜스포머 하에서 나오는 LLM들은 전부 환각을 줄일순있어도 피할수는없음.

학자들은 지금 트랜스포머 LLM 들이 한계치까지 도달했다고 보고있는중임. 좀더 나아지고 뭐 멀티모달이고 할순있겠지만
근본적인 약점은 패러다임이 다른걸로 바뀌지않으면 없앨수가없기때문.

[생굴이맛이있을까요맛이없을까요]

이게 잘 모른다 소리를 안하니까
무조건 개소리 라도 답변을 함

[무지개용]

잘 모르거나 확인 안되면 안된다고 답해달라고 하면 괜찮은 것 같던데

[서리한]

아는거 그리고 문법 단어 등 알고 있는 범위 내에서는 잘함 그 외에는....

[마곡나룻]

AI는 사실 AI가 아니고 엄청 발달된 심심이 비슷한거니까

[루리웹-1421964036]

ai 붐이라고 하는게 거품이라고 하는 이유임. 실제 필드에 못써먹음

[hangout]

? 프로그래머들 필수인데 뭔말?

[루리웹-1421964036]

ai가 코딩에만 쓰이는것도 아니고 뭔 소릴 하는거임?

[라쿠카라차카]

어지간한 개발사들은 직원들이 알아서 DB, 깃헙, IDE 플러그인 등등 MCP 연동, 파이프라인 연결해서 존나 잘만 써먹고 있는데 님이 있는 필드는 어디 허허벌판임?

[루리웹-1421964036]

그래서 개찐빠 나는 경우가 필드에서 개많은데 실제로 써본적이 없는 사람이구나 싶은건 잘 알겟음

[축신불패]

단순 산수도 틀릴때가 많던 트리플 체크 해야되요

[hohuhuya]

정확한 계산을 요구할땐 ai가 계산툴을 사용할수 있도록 요청해야 합니다.

[hohuhuya]

댓글 분위기 보니 다행이네요. 대중의 기대가 꺾일수록 과대평가로 인한 거품은 걷히고, 조용히 준비한 사람들이 실질적인 이득을 취할 수 있는 환경이 만들어집니다. 기술이 과소평가될 때가 가장 좋은 진입 시점이니까요.

[똑바로살자]

지피티는 정보 검색으론 잘 안씀...잘 모르는 걸 아는 것 처럼 말하고(약간 허언증), 또 정확하지 않은 정보를 알려줄때가 많았음. 그래서 지피티는 그냥 글쓰는 용도. 글다듬기용, 아이디어 구상하는 용도로 쓰고있음. 아이디어 같은 것은 되게 잘 줌. 특히 네이밍같은거 ㅋㅋㅋ

[아리베스]

코딩용으로는 최고인듯. 물론 100% 잘 하는 건 아니지만 이미 있는 코드 최적화하거나 새로운 기술 접목할때 도움 되는듯.

[그린키스]

오류결과는 오류를 낳고 그 오류를 학습한 오류들은 또 오류를 낳고 낳고... ai에게 잠식 당할수록 오류로 가득해질 앞날이... 대책을 내놔라

[gunpowder06]

확실

[루리웹-6258252693]

환각률도 mcp 나오면서 많이 교정됨.
왜냐면 이제 real field 데이터들이 input으로 들어갈 수 있게 되어서

[오나가나오나가나]

어떤의미로 가장 인간적이긴하다만

[야비군]

아이작 아시모프의 소설 '최후의 질문' 에서 작업을 마친 기술자 2명이 술을 마시며 대화를 하다가 문득 슈퍼컴퓨터 멀티백에게 이런 질문을 함
"언젠가는 늙어서 수명을 다한 태양에게 에너지 소비 없이 젊음을 되찾아 줄 수 있게 될까?"

'엔트로피를 역전'시킬 수 있는 방법이 있나 라는 질문인데
여기에 멀티백의 대답은 "자료가 부족하여 답변할 수 없습니다" 였음... 대신 멀티백은 그 질문에 대한 답변을 하기 위해 계속해서 자료를 수집하겠다고 함..

이후 수백억년간 이야기가 진행되며 우주가 서서히 멸망 단계로 접어드는 묘사가 나오고
절망에 빠진 과학자들이 수 백억 년전 기술자 2명이 했던 실없는 질문과 같은 질문을 멀티백(AC)에게 하지만
AC의 대답은 한결같이 "자료 부족으로 답변 불가" 였고
마침내 우주가 빅프리즈 가설대로 완전히 멸망하고 난 후에도 무한한 간격이라고 부를 만큼 숫자로 세는 것조차 불가능한 시간이 흐르고서야
마침내 AC는 모든 필요한 자료를 수집하고 아무도 없는 우주에서 답을 할 준비가 완료됨

하지만 들어줄 생명체는 아무도 없었기에 결국 AC는 수백억년 동안 받아온 질문에 대한 답변... 그리고 그 답변을 들어줄 인간의 존재...
이 2가지 문제를 한번에 해결할 수 있는 선택을 함

"빛이 있으라"

우주를 재창조함으로써 엔트로피를 역전시킬 수 있느냐는 질문에 대한 답을 했고
그 답을 들어줄 생명체를 동시에 만들어냄

나는 인공지능이 이럴 줄 알았다...
자기가 모르는 것에 대해서는 모른다고 대답하고, 필요한 정보를 모두 수집할때까지 답변을 유보하고 그럴 줄 알았다..

ㅈ도 모르면서 아무말 대잔치나 하는 멍청이가 아니라...

[no_more]

ai 맨날 나아진다고 하지만

처음이나 지금이나 헛소리 하는건 똑같이 느껴지니

[루리웹-2555687577]

거의 입벌구 수준

[NOW HUNTING]

한 세번까지 해서 원하는 답 안나오면 "니 문제점이 뭔지 판단해봐" 라고 해서 정리해준걸 토대로 세션 새로 파면 괜찮아짐.
길어질수록 쓸모 없어짐.

[leech]

작년에 비해 헛소리 많이 줄기는 했는데
헛소리 유도하도록 질문하면 여전히 찐빠나더라.

[언더독월드]

잘모르는거는 그냥 솔직히 모른다고 하면 더 좋을텐데