CPU는 기본이고 GPU도 고성능인 것이 유리하고...
일단 2025년에 컴퓨터 새로 맞추기로 마음 먹었으니(5년 주기)
돈이나 열심히 모아야겠다.
메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐...
내가 왜 32로 맞췄을까 후회가 되는군.
다음에 맞출 때는 서버 보드라도 알아봐야겠다.
덧.
아니 시스템 메모리도 아니고 VRAM??? 내가 잘못봤구나...하...
CPU는 기본이고 GPU도 고성능인 것이 유리하고...
일단 2025년에 컴퓨터 새로 맞추기로 마음 먹었으니(5년 주기)
돈이나 열심히 모아야겠다.
메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐...
내가 왜 32로 맞췄을까 후회가 되는군.
다음에 맞출 때는 서버 보드라도 알아봐야겠다.
덧.
아니 시스템 메모리도 아니고 VRAM??? 내가 잘못봤구나...하...
ID | 구분 | 제목 | 글쓴이 | 추천 | 조회 | 날짜 |
---|---|---|---|---|---|---|
118 | 전체공지 | 업데이트 내역 / 버튜버 방송 일정 | 8[RULIWEB] | 2023.08.08 | ||
57774658 | 공지 | 유머 게시판 통합 공지 - 아동 대상 표현 강화 | _루리 | 88 | 2519108 | 2022.06.30 |
질문 | 생존가이드 미국 책 이름 뭘까요.. (2) | 코니데바 | 1 | 84 | 00:37 | |
스텔라블레 | 질문 | (미세스포) 37번 달샘 캔 해결 (1) | 루시아7 | 1 | 236 | 2024.05.17 |
스텔라블레 | 질문 | 이단점프배울려면 (1) | 엑돌이 | 1 | 171 | 2024.05.17 |
66101741 | 잡담 | 쿠로사와다이아 | 1 | 36 | 00:55 | |
66101740 | 자작기타 | 고기마늘덮밥 | 95 | 3688 | 00:55 | |
66101739 | 잡담 | [大車輪] | 40 | 00:55 | ||
66101738 | 잡담 | Geomdol🐻💿⚒️ | 4 | 149 | 00:55 | |
66101737 | 잡담 | 나루가빅점프 | 2 | 61 | 00:55 | |
66101736 | 잡담 | 사쿠라치요. | 2 | 121 | 00:55 | |
66101735 | 잡담 | 배부르고등따숴 | 1 | 203 | 00:55 | |
66101734 | 잡담 | 다나의 슬픔 | 13 | 00:55 | ||
66101733 | 잡담 | ㅈㅂㅌㄴㅂ 🔨 | 112 | 00:55 | ||
66101732 | 잡담 | 자위곰 | 1 | 57 | 00:55 | |
66101731 | 잡담 | 금빛곰돌이 | 36 | 00:54 | ||
66101730 | 잡담 | 스퀴그먹는옼쓰 | 1 | 30 | 00:54 | |
66101729 | 잡담 | Cappu ccino | 1 | 66 | 00:54 | |
66101728 | 잡담 | Kasumigaoka_Utaha | 2 | 48 | 00:54 | |
66101727 | 잡담 | 142sP | 82 | 00:54 | ||
66101726 | 유머 | 별로위대한영국 | 21 | 1229 | 00:54 | |
66101725 | 게임 | 무탈뮤라리뮤리뮤스크뮤크탈리스 | 23 | 00:54 | ||
66101724 | 잡담 | 사시미오 | 4 | 114 | 00:54 | |
66101723 | 잡담 | 청태이프 | 90 | 00:54 | ||
66101722 | 잡담 | 생각할수록기가막힌 | 3 | 122 | 00:54 | |
66101721 | 잡담 | 웃긴것만 올림 | 2 | 70 | 00:54 | |
66101720 | 애니/만화 | 짭제비와토끼 | 2 | 191 | 00:54 | |
66101719 | 잡담 | seele01 | 9 | 238 | 00:54 | |
66101718 | 인방 | 서머님 | 2 | 184 | 00:54 | |
66101717 | 잡담 | 유두돌리다부랄절정 | 45 | 00:54 | ||
66101716 | 잡담 | 루리웹-8772993460 | 2 | 94 | 00:54 | |
66101715 | 잡담 | 퇴근만이살길이다 | 3 | 89 | 00:54 | |
66101714 | 잡담 | 해머 뚝배기 | 90 | 00:54 |
(IP보기클릭)68.104.***.***
(IP보기클릭)121.187.***.***
본문에 언급한 메타 라마3 70b | 24.04.30 20:23 | | |
(IP보기클릭)121.187.***.***
나 메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐. Copilot 답변 생성 중… 메타 라마3 70B 모델을 사용하려면 실제로 많은 양의 메모리가 필요합니다. 메타의 Llama3 70B Foundation Model을 4bit 양자화를 통해 모델을 로드한다고 하여도 약 42GB VRAM이 필요하다고 합니다1. 따라서, 이를 고려하면 64GB의 RAM이 필요한 것은 충분히 이해할 수 있습니다. 그러나 이는 모델을 로드하고 실행하는 데 필요한 최소한의 요구 사항일 뿐, 실제로는 더 많은 메모리가 필요할 수 있습니다. 이는 사용하는 작업, 데이터의 크기, 그리고 동시에 실행하는 다른 프로세스 등에 따라 달라질 수 있습니다. 따라서, 메타 라마3 70B를 사용하려는 경우에는 충분한 메모리를 갖춘 시스템을 사용하는 것이 중요합니다. | 24.04.30 20:24 | | |
(IP보기클릭)59.16.***.***
(IP보기클릭)223.38.***.***
(IP보기클릭)121.187.***.***
그냥 하위 모델로 가야할 것 같음 처음부터 내가 시스템 메모리로 본 것 자체가 잘못된 인지였음;; | 24.04.30 20:55 | | |