[하드웨어] "초거대 AI '가우스' 10분의 1로 줄여 갤 S24에 탑재"

[시무라오바상]

김영집 MX사업부 언어AI팀장
32비트서 3~4비트로 온디바이스화
엑시노스 등 NPU 기기별 최적화도

실시간 통·번역 개발 총괄

“초거대 인공지능(AI) ‘가우스’를 10분의 1로 압축하는 한편 성능 손실을 최소화하기 위한 최적화(파인튜닝) 과정을 거쳐 ‘갤럭시 S24’에 탑재했습니다. 갤럭시AI를 온디바이스화화해 첫 AI폰으로 탄생시켰다는데 의미를 두고 싶습니다.”

“음성 인식은 물론 음성 재생도 보다 자연스럽게 들리도록 새로 설계했다”

“갤럭시 S23에서는 S24와 동일한 기능을 지원하는 것이 목표"

“시작은 스마트폰이지만 가까운 미래에 노트북·태블릿·웨어러블까지 갤럭시AI를 지원할 것”

“현재 13개인 온디바이스AI 지원 언어를 빠르게 늘려가는 한편 구어체와 신조어 등의 학습 결과를 꾸준히 업데이트할 계획"

“갤럭시 S24는 개별 사용자 패턴을 수집하지 않는다”

“온디바이스AI는 기기 내에서 데이터가 모두 처리되기에 안전한 사용 환경을 제공”

출처 : https://n.news.naver.com/article/011/0004289434

[eeoeoeoeoeeo]

가우스 지금 24에 탑재됐나요?

[KAGERON]

S24에 탑재된 온디바이스 AI가 가우스입니다

[Starlike]

온디바이스 AI는 그저 환영

[리뷰/감상]

가우스는 실시간 번역이구나 그럼 삼성인터넷 번역이랑 요약은 뭐지? 그건 바드같던데

[건전한 우익]

인터넷 번역은 구글 번역 사용중일걸요 요약이랑

[리뷰/감상]

역시....

[건전한 우익]

인터넷은 이미 예전부타 있던거니깐요

[토나우도]

어제 직원에게 물어보니 네트워크 연결 없이도 통역이 된다고 하더라구요...
외항사 비행기 탈때 유용할거 같긴 한데... 언어모델을 일일이 데이터에 넣는게 쉬운게 아닐건데 어떻게 한건지 신기합니다

[루리웹-1421964036]

그렇게 나온 결과가 법규 사태였군. 검증되지도 않은 모델을 심지어 억지로 온디바이스 한다고 모델 절감해서 넣었으니 문제가 안생길리가

[보라보라1]

부모님 계실때 사람구실 해야지. 언제까지 이러고 살거니?
혹시 가족중에 누가 남긴 유언이 삼성을 무너뜨려라 그런건가요?

[시무라오바상]

진짜 하루종일 어떤식으로 꼬투리 잡을까만 생각하는 듯 ㅋㅋ 파블로프의 개도 아니고 그냥 자동이네

[루리웹-1421964036]

문제를 감추면 문제가 없다는 식의 생각 이건 귀하네요

[시무라오바상]

남들 다 웃고 넘어가는 해프닝인데 큰 문제로 인식하시나봐요.

[루리웹-3332342972]

설마 법규 사태가 그 큐 사인이랑 동시에 인식되서 번역한 그 짤 말하는거?

사람들 비난이 과하다고 생각했는데, 그런 생각이 쏙 들어갔네요ㅋㅋ 꼬투리 잡을게 겨우 그거밖에 없는지? ㅠ 안타깝ㅠ

[아델그라프]

오히려 누르자마자 같이들어간 큐에 반응하는거면 음성인식 지린다고 보는데 ㅋㅋㅋㅋㅋ

[루리웹-1421964036]

해프닝이라고 묻어가면 진짜로 문제가 없다는 식의 발상 이건 귀하네요

[llzweill]

말하는 뽄새가 홀애비 냄새나던데
이미 안계시지 않을까

[OrangeNet]

활동내역이 답이긴 하네
정신차리세요. 부끄러운게 아닙니다.

[시무라오바상]

새해 귀하신 선생님 부모님이나 더 챙겨드리세요~

[광야를폴더블]

꼬투리 잡으려면 제대로 삽질한 걸 잡던가. 너무 인식을 잘해서 생긴 문제를 걸고 넘어지네ㅋㅋㅋㅋ

[해피엔딩이좋아]

제미니가 아니었구나

[(:OTIGOC]

좀 별개의 이야기지만 아무리 3, 4비트 양자화 한다고 해도 온디바이스 탑재가 가능한 수준의 모델을 초거대 모델이라고 부를 수 있는지…

[never say]

가우스가 20b 아닌가요? 근데 20b를 아무리 양자화했다지만 어떻게 코딱지만한 사이즈로 넣었는지 의문이긴 하네요. 라마 7b도 양자화해도 gpu 꽤나 점유하는데

[루리웹-9699272]

이미 7b까지는 on-device로 구동가능한 솔루션들이 있습니다. 가우스는 npu를 사용할거라는 점에서 차이가 있지만 구현 못할 이유는 없습니다. 20b는 아닐거고 7b이하일 가능성이 높겠네요. 단순 양자화뿐만아니라 phi-2 처럼 parameter를 줄여도 성능을 유지하는 모델/기법들이 존재합니다.

[(:OTIGOC]

그냥 요즘 기준으론 초거대라는게 최소 100B 이상 정도나 돼야 붙일 수 있는게 아닌가 싶어서 쓴 말이었어요.
요즘은 30B 모델도 양자화로 일반 소비자용 GPU에 올리잖아요.

[루리웹-9699272]

그건 단순히 llm(large language model)의 번역중 하나가 초거대 언어 모델이라서일겁니다. 그냥 일부 미디어/학계에서 쓰는 표현으로 이해하시면 됩니다.

[Exclusive]

?? 발표떄도 구글 제미니를 통해서 ai 구현한다고 하지 않았나요?

[돼지 저금통]

그건 서클투 서치랑 이미지 편집 기능

[Exclusive]

아항..그 외에는 직접 구현한 가우스로 하는 것이군요.

[돼지 저금통]

그 다음에 지피티같은 온디바이스 LLM을 넣을려고 하는거 같은데 그게 제미니 나노 같습니다.

[Exclusive]

그것도 매우 기대되네요.

[루리웹-0690738101]

자비스가 보급되는 날이 얼마 안 남은 거 같아 기대된다

[반다이크에크!]

온 디바이스라면 하드웨어 ai칩이 탑재되어있는건가?

[건전한 우익]

NPU로 하는겁니다

[반다이크에크!]

그게 퀄컴칩 엑시노스칩 따로 쓰는거보면
apu에 들어가있는건 아닐거고

따로 나와있나보네요?

그럼 하위기종 s23시리즈에선 구동불가능인거같네요?

[광야를폴더블]

스냅8g3은 헥사곤을 탑재했고, 엑시2400 별도의 NPU를 탑재해 각자 따로 탑재하고 있습니다.
본문을 읽어보시면 스냅과 엑시 둘다 각각 최적화를 했다고 설명하고 있어요.
전세대 모델에 똑같이 구현을 목표로 하고 있다고 하는 걸 보면 스냅8G2의 NPU로도 구현이 가능하단 의미구요.

[반다이크에크!]

감사합니다!!!

[cottonswab]

그래서 출시가는 얼마쯤...?

[호떡소년]

24 출시가 요?? 이미 나온지 오랜데