[유머] Deepseek (R1) 짧은 사용 소감 (조금 더 이어서)

[tsasfr]

Deepseek (R1) 짧은 사용 소감 (vs ChatGPT, Claude)

https://bbs.ruliweb.com/best/board/300143/read/69340136

여기에서

1) 첫번째 질문 - 한국인 생명표 통계자료 분석

Deepseek가 짧은 컨텍스트 + 반응속도 느림(서버 먹통) 콤보로 제대로 답변을 못했는데 

그래도 공정하게 기회를 주기 위해 몇 차례 다시 시도해보고 날짜지나서 한 번 더 해봤음. 

1) 5년 간격 데이터를 선형 보간법으로 계산해봤더니 45년이다

← 이렇게 계산할 필요도 없지만 계산도 틀림, 선형보간법에 넣을 숫자를 잘못 잡음

2) 페이지 15의 "완전 생명표, 2023년 (여자)"를 보니 45.04년이다. 

← 이것도 틀림. pdf 상에서 15 페이지도 아니고, 45.04년도 아님

같은 (수준의) 문제를 Claude 3.5 Sonnet는 작년 6월 출시 때부터 깔끔하게 풀어냈으니까, 상당히 실망스러운 결과. 

저번에 글을 올린 후 조금 더 써보면서 느낀 거지만 Deepseek R1이 이전 버전의 Deepseek V3에 비해서 나아졌는지 의문. 추론을 한다면서 앞에 장황하게 이말 저말하지만 실제로 답변의 질이 더 올라간다는 느낌이 없음. 말은 길게 하는데 굳이 할 필요가 없는 이야기, 질문에서 요구하지도 않은 부분을 추가해서 소설을 쓴다는 느낌. 오버해서 파인튜닝을 했다고 해야할지 ... 

특히 기존의 인공지능들이 보여주는 '환각'이 잘 모르는 부분, 모순되는 부분을 모른다고 답하는 대신 어떻게든 채워넣으려다 발생한다면, 딥시크의 저런 불필요한 소설 쓰기는 모델 붕괴(Model Collapse) 느낌이 좀 남. (어디까지나 개인적인 의견)

만약 지금 나오는 이야기대로 Deepseek R1이 실제 현실의 데이터를 수집해서 학습하지 않고, 기존의 인공지능들을 대상으로 2차 학습(?)을 한 결과물이라는 얘기가 사실이라면, 비용이 적게 들었다는 부분도 이해가 가고, 현재 답변이 저렇게 나오는 부분도 이해가 감. 

인공지능의 모델 붕괴(Model Collapse)가 뭐냐면 이런 거. 

-------------------------

https://m.dongascience.com/news.php?idx=66662

동아사이언스 

"인공지능(AI)은 방대한 데이터를 학습하고 기존 데이터의 패턴 등을 파악해 추론 능력을 발휘하거나 새로운 데이터를 만든다. AI가 만든 데이터를 다시 AI 모델이 학습하는 과정이 되풀이되면 AI 모델이 '붕괴'를 일으켜 오류를 일으킬 수도 있다는 연구결과가 제시됐다. 앞으로 인간이 만든 데이터에 대한 가치가 더욱 높아질 것이라는 전망이다.

야린 갈 영국 옥스퍼드대 컴퓨터과학과 교수팀이 AI가 만든 데이터로 학습한 AI 모델은 결과물이 오염되는 '붕괴' 현상을 일으킬 수 있다는 사실을 수학적으로 설명하고 연구결과를 24일(현지시간) 국제학술지 '네이처'에 공개했다.

대규모 언어모델(LLM) 같은 AI 모델이 널리 사용되면서 인터넷 등에 AI가 만든 데이터가 상당수 확산됐다. AI가 만든 콘텐츠나 데이터가 다른 AI나 혹은 자기 자신을 학습하는 데 다시 사용되는 경우가 증가하고 있다. 전문가들은 AI가 만든 데이터를 다시 AI가 학습하면 관련 없는 내용이 출력되는 등 오류가 생기는 붕괴 현상이 일어날 수 있다고 경고해 왔다."

-------------------------

[라스트리스]

[루리웹-5099798422]

오픈 ai 거로 기계학습? 했다더니 자연어 처리나 데이터 분석에서 좀 부족한가
저 정도는 로우데이터는 아닌거 같은데

[크왁 샐버]

이건 모델붕괴의 문제가 아니라

나무위키를 배낀놈의 레포트를 배낀놈의 레포트를 배낀 지적존재와 유사한 전철을 밟는거 같은데.

[tsasfr]

인공지능에서 '모델붕괴'가 그 개념 맞아.

[캐서디]

그게 모델붕괴임

아주 잘 알고있군

[크왁 샐버]

이걸 붕괴라고 할수 있나? 오히려 인간 데이터도 열등한걸 입력하면 동일한 결과 나올거 같은데. 인간이 만들었나 ai가 만들었나가 중요한게 아니라. 그 패턴성은 조금 다를수 있지만. 오픈ai도 논문분석 가라치거나 통념이 이미 왜곡되었고 학계랑 괴리되었을때 통념 따라서 답 나오는거 허다하잖어...

[크왁 샐버]

갠적으로는 ai 할루시네이션도 인간지능이 하면 실수고 인공지능이 하면 '환상'인지가 이해가 안됨.
이거 구조적으로 필연적인 상황일텐데. 빈도를 줄일수 있을지언정 완벽하게 해결가능한 문제가 아닌걸로 아는데말이지.

[THE·O]

뭐 그렇게도 이해할 순 있다만 이건 학계가 특정 현상을 어떤 용어로 정의한다 라고 해놓은 거라
그게 아니라고 하면 혼자 수박이 몽미라고 하는 격이 되는 거지

[아이마스]

할루시네이션이 모델 붕괴를 만드는 건가

[행인A씨]

근데 모델붕괴가 어떤 원리로 일어나는거임?

유게에서 그런 글을 봐도 대체 어떤 과정으로 그러는지가 이해가 안되던데

[tsasfr]

가장 쉽게 해볼 수 있는 테스트는 그림 AI에게 '그림 주고 그림 그리기'임.
처음에 진짜 사진을 주고 일러스트 그리게 한 후 그 결과물을 보고 다시 그리게 하고 보고 다시그리게 하고 ... 이거 반복하면 그림이 어떻게 되는지 볼 수 있음.

[루리웹-9776393256]

딥러닝 특성상 주파수 영역에서 고주파수에 해당되는 영역 학습이 힘듬, 1차 최적화를 쓰다보니 근사 능력이 많이 딸림
이 2가지 때문에 일종의 얼라이싱 문제가 생기고 누적되면서 모델 출력이 점점 단순화 됨

[행인A씨]

[✨️✨️✨️]

딥식이 서비스가 좋은 점이라곤 단 하나, xai에 있음
추론과정을 훌륭하게 보여줌.
다만, 추론에 몰빵이라그런지, 학습방법의 문제인지 성능이 너무 구림
잼민이2랑 라마4 gpto3가 훨씬 기대됨
r1 zero가 더 좋다느니 자꾸 언플이 계속 흘러나오는데 글쎄

[GeminiArk]

결국 딥시크 쇼크니 뭐니 했던건 공매도 세력의 작전이었나

[al Enboro]

그냥 AI 공통으로 한국어 지능이 영어보다 훨씬 떨어지고, 딥씩은 특히 영어와 중국어 중심으로 학습함. 영어로 다시 해봐

[tsasfr]

언어능력도 평가요소의 한 가지 잖아. 개인적인 테스트니까 언어능력도 아울러서 테스트한 거지.
Claude 같은 AI는 이 부분이 꽤 탁월함. 영어가 아닌 언어로 질문했을 때 품질 저하가 적지.

[대숲간고등어]

유익한 글이군 추천