CPU는 기본이고 GPU도 고성능인 것이 유리하고...
일단 2025년에 컴퓨터 새로 맞추기로 마음 먹었으니(5년 주기)
돈이나 열심히 모아야겠다.
메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐...
내가 왜 32로 맞췄을까 후회가 되는군.
다음에 맞출 때는 서버 보드라도 알아봐야겠다.
덧.
아니 시스템 메모리도 아니고 VRAM??? 내가 잘못봤구나...하...
CPU는 기본이고 GPU도 고성능인 것이 유리하고...
일단 2025년에 컴퓨터 새로 맞추기로 마음 먹었으니(5년 주기)
돈이나 열심히 모아야겠다.
메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐...
내가 왜 32로 맞췄을까 후회가 되는군.
다음에 맞출 때는 서버 보드라도 알아봐야겠다.
덧.
아니 시스템 메모리도 아니고 VRAM??? 내가 잘못봤구나...하...
ID | 구분 | 제목 | 글쓴이 | 추천 | 조회 | 날짜 |
---|---|---|---|---|---|---|
118 | 전체공지 | 업데이트 내역 / 버튜버 방송 일정 | 8[RULIWEB] | 2023.08.08 | ||
57774658 | 공지 | 유머 게시판 통합 공지 - 아동 대상 표현 강화 | _루리 | 88 | 2519041 | 2022.06.30 |
질문 | 붕스) 실행이 안됩니다 | rulys | 18 | 23:26 | ||
스텔라블레 | 질문 | 이단점프배울려면 (1) | 엑돌이 | 1 | 83 | 22:18 |
고스트오브 | 질문 | dlss3 옵션이 어딧나요? (2) | 몬린이입니다 | 164 | 22:06 | |
(IP보기클릭)68.104.***.***
(IP보기클릭)121.187.***.***
본문에 언급한 메타 라마3 70b | 24.04.30 20:23 | | |
(IP보기클릭)121.187.***.***
나 메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐. Copilot 답변 생성 중… 메타 라마3 70B 모델을 사용하려면 실제로 많은 양의 메모리가 필요합니다. 메타의 Llama3 70B Foundation Model을 4bit 양자화를 통해 모델을 로드한다고 하여도 약 42GB VRAM이 필요하다고 합니다1. 따라서, 이를 고려하면 64GB의 RAM이 필요한 것은 충분히 이해할 수 있습니다. 그러나 이는 모델을 로드하고 실행하는 데 필요한 최소한의 요구 사항일 뿐, 실제로는 더 많은 메모리가 필요할 수 있습니다. 이는 사용하는 작업, 데이터의 크기, 그리고 동시에 실행하는 다른 프로세스 등에 따라 달라질 수 있습니다. 따라서, 메타 라마3 70B를 사용하려는 경우에는 충분한 메모리를 갖춘 시스템을 사용하는 것이 중요합니다. | 24.04.30 20:24 | | |
(IP보기클릭)59.16.***.***
(IP보기클릭)223.38.***.***
(IP보기클릭)121.187.***.***
그냥 하위 모델로 가야할 것 같음 처음부터 내가 시스템 메모리로 본 것 자체가 잘못된 인지였음;; | 24.04.30 20:55 | | |