M4 맥 미니가 가성비 대비 성능이 잘 나와서 M4 Mac Mini를 AI 클러스터 사용하는 유저들이 많아지고 있다고 합니다.
Thunderbolt 5 상호 연결(80Gbps)을 사용
4개의 M4 Pro Mac Mini에 분산된 LLM을 실행
Nemotron 70B를 8 tok/초로 실행하고 Llama 405B로 확장된다고 합니다.
본문
[맥] M4 맥 미니 AI 클러스터로 활용, 가격대비 성능 향상 우수해 [32]
Landsknecht™
(66332)
유저정보 정보통 추천흡수기
출석일수 : 6775일 LV.125
Exp.34%
추천 13 조회 5644 비추력 5462
작성일 2024.11.12 (09:48:59)
IP : (IP보기클릭)211.234.***.***
- 스크랩
-
URL 복사
프로필 열기/닫기
2024.11.12 (09:48:59)
(IP보기클릭)221.150.***.***
LLM 쪽으론 맥이 항상 유리했죠. 공유메모리를 사용하니 메모리 큰 GPU 를 안사도 되고.
(IP보기클릭)172.226.***.***
다음 애플 분기 실적때 맥 실적이 궁금해지는군요 일단 저도 한 대 살건데 한국 정발 언제 해주냐 이놈들아ㅏㅏㅏ
(IP보기클릭)106.102.***.***
m4가 ps5프로보다 쓸모있는거 아닐까 ㅡㅠ
(IP보기클릭)119.207.***.***
엔비디아꺼 한개는 5억임 그래서 이런 효율에도 가성비라는 것
(IP보기클릭)125.136.***.***
m4 pro 맥미니 4대를 사는 것 보다 m3 max 맥북프로 128기가 제품이 가성비가 더 나음. nemotron 70b 모델 돌려도 저 보다 나은 속도가 나오고.
(IP보기클릭)172.226.***.***
다음 애플 분기 실적때 맥 실적이 궁금해지는군요 일단 저도 한 대 살건데 한국 정발 언제 해주냐 이놈들아ㅏㅏㅏ
(IP보기클릭)221.150.***.***
LLM 쪽으론 맥이 항상 유리했죠. 공유메모리를 사용하니 메모리 큰 GPU 를 안사도 되고.
(IP보기클릭)106.102.***.***
m4가 ps5프로보다 쓸모있는거 아닐까 ㅡㅠ
(IP보기클릭)138.199.***.***
하나는 컴퓨터고 다른 하나는 게임만 할 수 있는 것이니 어쩔 수 없는 것 같네요 | 24.11.12 10:23 | | |
(IP보기클릭)39.7.***.***
사용처가 확연히 달라서 그렇게 비교하기엔 좀 문제가 있겠네요 하나는 배고 하나는 자동차같은 느낌이어서 뭐.. | 24.11.12 10:24 | | |
(IP보기클릭)125.247.***.***
게임기랑 PC를 왜 비교하는겨?ㅋㅋㅋㅋㅋ | 24.11.12 11:55 | | |
(IP보기클릭)106.102.***.***
비슥한 가격대라 이번에 프로 지른게 후회되서 | 24.11.12 12:01 | | |
(IP보기클릭)125.136.***.***
m4 pro 맥미니 4대를 사는 것 보다 m3 max 맥북프로 128기가 제품이 가성비가 더 나음. nemotron 70b 모델 돌려도 저 보다 나은 속도가 나오고.
(IP보기클릭)121.165.***.***
학습모델 돌리는거면 맥미니가 나음. 왜냐면 뉴럴엔진이 칩 시리즈 공통으로 16개의 엔진이 들어가기 때문에 m4 max는 16개의 뉴럴엔진으로 128GB의 메모리공간을 가지지만 동일하게 64GB로 확장한 M4 pro칩 맥미니 4개면 64개의 뉴럴엔진으로 256GB의 메모리공간을 가지는거라 가속성능에서 차이가 심할거임 | 24.11.12 11:32 | | |
(IP보기클릭)125.136.***.***
64기가 모델 맥미니면,, 이미 가성비를 논할 수준은 훨씬 넘어가지요. 학습이 목적이면 m4칩은 애초에 고려대상이 아니구요. | 24.11.12 11:40 | | |
(IP보기클릭)121.165.***.***
가"성"비 성능 상승분이 가격 상승분보다 높기 때문에 여전히 유효한 가성비죠. 당장 가속 성능만 단순 계산으로 4배인데 m칩 max시리즈 128대비해서 4배 가격까진 안나오거든요. m칩 맥스 맥북 프로 128GB -> 14인치 기준 700만 m4 pro 미니 64GB -> 개당 300만 | 24.11.12 11:57 | | |
(IP보기클릭)125.136.***.***
본문 내용도 nemotron 70b 모델을 온디바이스로 구동했을시 성능을 말하는 것 아닌가요? | 24.11.12 11:59 | | |
(IP보기클릭)121.165.***.***
이번에 m4 max칩으로 ai 서버 구축한다고 발표했습니다. 애플 인텔리전스 서버도 m칩으로 돌리구요. | 24.11.12 11:59 | | |
(IP보기클릭)125.136.***.***
언어모델 학습에 m4칩을 쓰는 경우가 있던가요?? 애플도 ai 학습에 구글 칩셋을 쓰는 걸로 아는데? | 24.11.12 11:57 | | |
(IP보기클릭)121.165.***.***
학습을 시키는게 아니라 학습된 모델을 돌리는걸 말하는겁니다. | 24.11.12 12:00 | | |
(IP보기클릭)125.136.***.***
온디바이스 구동에서 4배 차이가 날 것 같지는 않은데요? nemotron 70b 모델을 m3 max 128기가 모델로 돌려 보면 본문에 적시된 초당 8토큰 속도보다는 잘 나오거든요. m칩 울트라 처럼 칩셋을 결합하는 형태가 아닌데,, 맥미니를 병렬 연결한다고 해서 대역폭까지 올라갈 것 같지도 않구요. | 24.11.12 12:12 | | |
(IP보기클릭)121.165.***.***
m3 max 128GB 기중 Q8이 4.6toks/s정도 나오는데 본문의 영상의 맥미니 4개짜리는 13.2tok/s가 나오는데요? | 24.11.12 12:26 | | |
(IP보기클릭)125.136.***.***
본문에서는 8토큰 정도로 적시되어 있는데, 구동 영상에는 10-11토큰 정도로 찍히네요. 128기가 램을 풀로 쓰진 않고 80기가 정도 점유 하면서 처음에는 속도가 꽤 잘 나옵니다. 발열이 생기면서 뒤로 갈 수록 속도는 더 떨어지구요. 그럼에도 메모리 스왑은 없습니다. 제가 느끼기로는 영상에 나오는 속도보다는 더 잘 나옵니다만,, 속도를 체크해 봐야겠네요. | 24.11.12 12:40 | | |
(IP보기클릭)211.234.***.***
(IP보기클릭)104.28.***.***
(IP보기클릭)112.156.***.***
(IP보기클릭)119.207.***.***
슈퍼아르헨틴백브레이커
엔비디아꺼 한개는 5억임 그래서 이런 효율에도 가성비라는 것 | 24.11.12 10:58 | | |
(IP보기클릭)220.127.***.***
그건 소비자한테 팔때만 그러는거라. | 24.11.12 11:47 | | |
(IP보기클릭)121.162.***.***
왜요. 만대 정도 구입하시게요? | 24.11.12 12:22 | | |
(IP보기클릭)220.127.***.***
애플이 곧 구축할 애플인텔리전스 서버나 법인에서 대량구매할 때 상정하고 한 얘기인데 이런 댓글을 쓴 의도가 뭐지? | 24.11.12 12:25 | | |
(IP보기클릭)121.162.***.***
의도를 모르신다면 더 이상 말을 이어갈 이유가 없죠. | 24.11.12 17:55 | | |
(IP보기클릭)223.62.***.***
설명이 필요한 드립은 실패한 드립이니까 ㅇㅇ | 24.11.12 17:59 | | |
(IP보기클릭)221.150.***.***
(IP보기클릭)211.234.***.***
이거죠 아마 실제 사용하지 않아서 그러신지 체감이 확 안오시는듯 합니다... | 24.11.12 12:03 | | |
(IP보기클릭)106.102.***.***
(IP보기클릭)220.70.***.***
(IP보기클릭)211.235.***.***