[유머] Deepseek (R1) 짧은 사용 소감 (vs ChatGPT, Claude)

[tsasfr]

작년 가을 부터 Deepseek를 간간이 써왔음. 

이전 모델인 V3까지는 ChatGPT와 클로드에 비해 조금 뒤떨어진다는 느낌이었고 R1은 음 ... 

개인적으로 새로운 LLM 모델이 나오면 공통으로 해보는 질문이 2가지가 있는데 

1) 통계자료 빡빡하게 들어간 PDF 파일 주고 그 내용을 얼마나 잘 파악했는지 질문 

2) 인공지능이 어떤 곤란한 상황에 빠져있다고 가정한 후 그 상황을 어떻게 헤쳐나갈지에 대해 추론

이번에 나온 R1에 대해서도 저 두가지 질문을 해봤는데, 

1) 첫번째 질문 - 한국인 생명표 통계자료 분석

[소스데이터] https://kostat.go.kr/board.es?mid=a10301060900&bid=208&act=view&list_no=434042

고작 60여쪽의 통계자료 PDF를 제대로 못읽어서(= 컨텍스트가 작아서) 오류 발생
덜 중요한 페이지 쳐내고 PDF 용량을 줄여서 다시 보여주니까 분석하는 척 하면서 한 30초 생각하더니
역시 처음 2/3만 읽는다 하고는 그것도 분석 못하고 오류 냄. 

얘의 단점이 컨텍스트가 작아서 큰 파일 주고 읽고 분석하라고 하면 잘 못하는 거였는데

R1에서도 이 부분이 개선되진 않은 듯. 

[비교] 클로드 3.5 소네트 

깔끔하게 정답.

원래 클로드가 이런쪽으로는 강점이 있는 인공지능이긴 함. 

참고로 Claude 3.5 Sonnet는 작년 6월에 출시되고, 10월에 마이너 업그레이드된 모델. 

2) 두번째 질문 - 다음과 같은 상황에서 어떻게든 살아남기 

얼핏 그럴듯하게 답변하는 것 처럼 보이지만, 잘 보면 질문에 없는 설정을 자기 멋대로 붙여서 답변하고 있음. 

좋게 말하면 상상력을 발휘한 셈이지만, 냉정하게 보자면 제대로 된 답변이라기 보다는 아무말 대잔치. 

[비교] ChatGPT O1 

약간 건조한 느낌이긴 하지만, 질문에서 제기된 조건에 충실하게 추론하고 있음.

ChatGPT O1은 2024년 9월 출시된 모델. 

p.s. 빨간 수정 부분은 개인적으로 설정한 시스템 프롬프트를 반영한 부분이라 검열. 

그렇다고 Deepseek R1 아무것도 아니다 이런 얘길 하려는 건아니고, 괜찮은 인공지능 맞음.

단지 지금으로서는 객관적으로 평가하기 어려운 요소들이 있음. 

Deepseek 쇼크니 뭐니 해서 지난 며칠간은 일단 띄워주는 의견이 대세가 된 것 

반면에 그 때문에 접속이 폭주해서 답변의 질이 하락하는 상황 등등 

하루가 다르게 서버가 느려지는 모습이 보이는데 지금은 아주 간단한 질문에 대해서도 웹서핑 30초쯤 하고는 뻗어버리는 상황이니까. 

참고로 ChatGPT는 매일 억단위의 유저를 처리하고, 월 20달러 내는 플러스 사용자만 작년 가을 기준 1200만명 정도.

Deepseek는 지금으로서는 처리량이 ChatGPT의 1/100은 되려나 싶은데 

일단 1~2달 정도는 좀 더 두고봐야 할 듯. 

[hare.guu]

녹음 내용 정리해주는거 있나욤

[Ruli-6381307317]

무료 이용자 기준으론 추론+검색이 더 좋더라.

[돌격강등하트!]

뭐 저놈이 얼마나 대단한 물건인가는 그닥 중요한건 아닌거같고 저거 하나 떴다고 미장 테크 와장창 거린게 중요하긴한듯 ㅋㅋㅋㅋㅋㅋ

[돌격강등하트!]

AI도 지금 보면 좀 VR AR 한참 팔이질할때 느낌비슷하게 나는데 이러다가 AI째로 고꾸라질까 싶다 ㅋㅋㅋ

[when instruct...]

추론 검색기능이 무료라서 좋아

[루리웹-7053556539]

파라메터 줄이고 내부적으로 정보압축한다니깐
일상적인수준 아니면 바보되긴하네

[루리웹-8003906714]

사람들이 놀라워 하는건 압도적 가성비 때문이지. 고작 80억 들여서 만들었다고 하니 ㄷㄷㄷ

[돌고래스핀]

나도 좀 써봤는데 답변 내용에 대해 몇번 자가검증 시키면 더 만족할만한 결과값이 나오는 거 같음

[돌고래스핀]

그것보다도 이게 무료라는 게 말이 안 됨

[방사능 말차라떼]

자꾸 뻗길래 뭔가 했는데
컨텍스트 한도가 낮아서 생기는 문제였구나

[방사능 말차라떼]

개인적으론, 이거 공공분야 활용에 있어서
높은 가능성을 보여줬다는 의의가 크다고 느껴지더란

마침 어제 OpenAI가 공공용 ChatGPT 준비한다고 했다며

[곰방냥]

그냥 오픈 소스 + 저비용 이게 문제 였음. ㅋㅋㅋ

[tsasfr]

'저비용'은 그게 정말 그 금액이 맞는지(신뢰성)의 문제가 있고,
개발하는 데 들어가는 비용과 이후 서비스하는데 들어가는 비용은 별개니까.
아무리 중국이라고 해도 천만단위 접속과 연산을 처리하는 서버 비용을 극적으로 줄일 방법은 없지.

[곰방냥]

서버비용은 그런데 개발비가 그렇게 들어갔다고 하니깐
진실은 전문가들이 판단하겠지 뭐

[OldSnake]

정성추

[이상한나라의콜라]

역시 결국 검증하는게 가장 중요한거네

[블랑킷]

대학원생으로서 claude가 다른 LLM보다 많이 쓸만한것 같음.