CPU는 기본이고 GPU도 고성능인 것이 유리하고...
일단 2025년에 컴퓨터 새로 맞추기로 마음 먹었으니(5년 주기)
돈이나 열심히 모아야겠다.
메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐...
내가 왜 32로 맞췄을까 후회가 되는군.
다음에 맞출 때는 서버 보드라도 알아봐야겠다.
덧.
아니 시스템 메모리도 아니고 VRAM??? 내가 잘못봤구나...하...
CPU는 기본이고 GPU도 고성능인 것이 유리하고...
일단 2025년에 컴퓨터 새로 맞추기로 마음 먹었으니(5년 주기)
돈이나 열심히 모아야겠다.
메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐...
내가 왜 32로 맞췄을까 후회가 되는군.
다음에 맞출 때는 서버 보드라도 알아봐야겠다.
덧.
아니 시스템 메모리도 아니고 VRAM??? 내가 잘못봤구나...하...
ID | 구분 | 제목 | 글쓴이 | 추천 | 조회 | 날짜 |
---|---|---|---|---|---|---|
118 | 전체공지 | 업데이트 내역 / 버튜버 방송 일정 | 8[RULIWEB] | 2023.08.08 | ||
57774658 | 공지 | 유머 게시판 통합 공지 - 아동 대상 표현 강화 | _루리 | 88 | 2522428 | 2022.06.30 |
질문 | 무선랜카드(?) 질문입니다. (3) | E-25 | 37 | 15:00 | ||
인왕2 | 질문 | 인왕2 심부6층부터 플레이 질문입니다 (9) | 루루룰루루 | 123 | 12:40 | |
유희왕 | 질문 | 이 유희왕 MAD 아시는 분 계실까요 (6) | WALLnut | 2 | 333 | 12:06 |
66149335 | 잡담 | 나츠미쨩 | 9 | 15:11 | ||
66149334 | 잡담 | 신기한맛이군🦉☄️🍃👾💫 | 1 | 7 | 15:11 | |
66149333 | 자작유머 | 닭집장남 | 10 | 15:10 | ||
66149332 | 게임 | 당황한 고양이 | 1 | 25 | 15:10 | |
66149331 | 잡담 | 루니카™ | 2 | 31 | 15:10 | |
66149330 | 잡담 | 루리웹-2713745509 | 47 | 15:10 | ||
66149329 | 게임 | 빠사삭 | 26 | 15:10 | ||
66149328 | 잡담 | 京極堂 | 13 | 15:10 | ||
66149327 | 잡담 | J.Square | 16 | 15:10 | ||
66149326 | 유머 | 카사 군 | 1 | 76 | 15:10 | |
66149325 | 유머 | 얼큰순두부찌개 | 4 | 130 | 15:10 | |
66149324 | 게임 | Hinaus | 1 | 98 | 15:10 | |
66149323 | 유머 | 탄가 이부키 | 3 | 113 | 15:10 | |
66149322 | 자작기타 | 시튤레 | 10 | 15:09 | ||
66149321 | 유머 | 루리웹-6713817747 | 138 | 15:09 | ||
66149320 | 유머 | 아랑_SNK | 2 | 152 | 15:09 | |
66149319 | 유머 | J.Square | 8 | 101 | 15:09 | |
66149318 | 잡담 | 갓지기 | 20 | 15:09 | ||
66149317 | 유머 | 치킨밖에몰랐던바보 | 1 | 128 | 15:09 | |
66149316 | 잡담 | 별빛도끼☄️⚒️ | 34 | 15:09 | ||
66149315 | 게임 | 폭유압사희망과장 | 4 | 87 | 15:08 | |
66149314 | 잡담 | Antimone | 1 | 69 | 15:09 | |
66149313 | 잡담 | CyberFrontKorea | 1 | 153 | 15:08 | |
66149312 | 잡담 | 각난닫랄 | 28 | 15:08 | ||
66149311 | 잡담 | ( ̄_ ̄) | 27 | 15:08 | ||
66149310 | 잡담 | 오야마 마히로 | 1 | 93 | 15:08 | |
66149309 | 게임 | REtoBE | 130 | 15:08 | ||
66149308 | 게임 | Acek | 1 | 84 | 15:08 |
(IP보기클릭)68.104.***.***
(IP보기클릭)121.187.***.***
본문에 언급한 메타 라마3 70b | 24.04.30 20:23 | | |
(IP보기클릭)121.187.***.***
나 메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐. Copilot 답변 생성 중… 메타 라마3 70B 모델을 사용하려면 실제로 많은 양의 메모리가 필요합니다. 메타의 Llama3 70B Foundation Model을 4bit 양자화를 통해 모델을 로드한다고 하여도 약 42GB VRAM이 필요하다고 합니다1. 따라서, 이를 고려하면 64GB의 RAM이 필요한 것은 충분히 이해할 수 있습니다. 그러나 이는 모델을 로드하고 실행하는 데 필요한 최소한의 요구 사항일 뿐, 실제로는 더 많은 메모리가 필요할 수 있습니다. 이는 사용하는 작업, 데이터의 크기, 그리고 동시에 실행하는 다른 프로세스 등에 따라 달라질 수 있습니다. 따라서, 메타 라마3 70B를 사용하려는 경우에는 충분한 메모리를 갖춘 시스템을 사용하는 것이 중요합니다. | 24.04.30 20:24 | | |
(IP보기클릭)59.16.***.***
(IP보기클릭)223.38.***.***
(IP보기클릭)121.187.***.***
그냥 하위 모델로 가야할 것 같음 처음부터 내가 시스템 메모리로 본 것 자체가 잘못된 인지였음;; | 24.04.30 20:55 | | |