본문

글쓰기   목록 | 이전글 | 다음글

[질문] 오픈클로활용 기기 질문 [14]


profile_image


(5853221)
2 | 14 | 2958 | 비추력 37
프로필 열기/닫기
글쓰기
|
목록 | 이전글 | 다음글

댓글 | 14
1
 댓글


(IP보기클릭)211.106.***.***

일단 있는걸로 시도를 해보시고, 필요한게 뭔지 파악하시는게 좋아보입니다. 맥 미니 샀다가 어떻게 쓰는지 파악도 못하실것 같아요
26.03.09 00:00

(IP보기클릭)124.63.***.***

쥬트가리온
넹~ | 26.03.09 01:39 | |

(IP보기클릭)118.42.***.***

오픈클로 자체는 맥이나 리눅스나 윈도우 모두 셋팅 가능합니다. 맥을 쓰는 이유중 하나는 아이메시지 등의 몇가지 애플생태계 앱을 사용할 수 있습니다. 그리고 AI봇을 재미나이나 챗GPT에 연동해서 쓸 수 있는데 오픈클로가 토큰먹는 귀신이라 쓰다보면 사용량 금방 바닥납니다. 그래서 로컬LLM(오프라인 챗봇)을 사용해야 마음껏 쓸수있는데 여기서 맥을 쓰는 또하나 이유가 이때부터는 VRAM 성능이 좋아야 똑똑한 녀석을 구동할 수 있고 맥이 램 가성비를 챙길 수 있습니다. 근데 8기가 16기가 맥을 사는건 이 두번째 이점을 포기하는것과 마찬가지입니다. 아이폰 쓰신다면 그래도 첫번째 장점이 있긴하지만 그게 아니라면 그냥 기존 PC에서 돌리고말죠. 아무튼 먼저 기존 하드웨어로 체험부터 해보시는걸 추천드립니다. 외부 API 사용하는건 고사양이 필요없어서 저같은경우 NAS에 설치해서 사용중입니다.
26.03.09 01:17

(IP보기클릭)124.63.***.***

뉴비마스터
감사합니다. 정리가 좀 되었네요. 일단 서브컴으로 연습좀 하고 대기 전력 고민되면 그때 되서 미니PC로 구동하는게 맞겠네요. 감사합니다. | 26.03.09 01:44 | |

(IP보기클릭)58.236.***.***

실사용기 읽어보니 로컬은 맥미니 16까지는 바보고 32부터 쓸만하댔음.
26.03.09 11:06

(IP보기클릭)112.169.***.***

맥미니 m1 정도가 마지노선이리고 들었어요 요즘 당근에서 50 위아래로 거래된다던데
26.03.09 13:52

(IP보기클릭)106.245.***.***

확산밀리언 효성♥
그래서 그냥 미니피시로 결정했습니다. 잘 될지는 모르겠는데 시도해봐야죠 ㅎㅎㅎ | 26.03.09 14:21 | |

(IP보기클릭)112.151.***.***

로컬로 돌릴만한 모델이 Qwen3.5-27B인데 이건 램이 18GB를 사용하기 때문에 못해도 32GB이상 가야되고 편하게 돌릴려면 64GB부터 시작이라고 생각하시면 됩니다 그렇다고 api사용하는 클로드, gpt이런 성능 생각하시면 안되구요 api 결제 어느정도 해보시고 이정도 사용하면 api비용이 이정도 소요되구나 생각하시고 하시면 될겁니다 로컬AI가 아닌 api사용은
26.03.09 15:58

(IP보기클릭)112.151.***.***

나마카나
Api 사용하는 방식이면 pc성능은 큰 문제 없습니다 리눅스에 오픈클로 설치하면 pc사양은 큰 문제 없습니다 | 26.03.09 15:59 | |

(IP보기클릭)106.245.***.***

나마카나
요금때문에 말이 많더군요. 최대한 주의해서 연습해보도록 하겠습니다. | 26.03.09 16:59 | |

(IP보기클릭)220.70.***.***

1. 오픈 클로 런처용으로 쓸거면 맥은 필요 없습니다. 윈도우 저사양도 가능합니다. 그러니까 API를 외부 유료 API를 쓰고 오픈클로 설정과 실행만해주는거죠 이경우 외부 API 비용이 엄청 많이 들어갑니다. 오픈클로가 API 토큰 호출량이 겁나 큽니다. 토큰수 줄이는게 앞으로의 과제 겠죠 2. 맥미니를 사양 좋게 세팅해서 내부 LLM 설정 후 내부 LLM을 호출해서 돌리는것이 PLAN B 입니다. 하지만 이경우 대용량 메모리에 M4 PRO를 권장해서 엄청 비싸집니다. 세팅 난이도도 올라가고요 대신 API 비용이 적게 들어가지만 기본 구축 비용이 커지죠 램은 32기가 이상이 최소 입니다. (M4 PRO에 램 64기가면 벌서 300 이죠)
26.03.09 17:00

(IP보기클릭)211.246.***.***

하드웨어 사양에 제한이 심하면 피코클로 같은 계통도 고려해 보세요.. https://ourblogis.tistory.com/132 https://github.com/louisho5/picobot
26.03.09 18:46

(IP보기클릭)124.111.***.***

요즘 핫했던 맥미니는 맥 특성상 램용량 그대로 VRAM으로도 사용가능해서 로컬LLM굴리기 좋아서입니다. 그래서 8기가 16기가는 사실상 그런 목적으로 굴리기에 부적합합니다 (같은 이유로 외부 API로 연동하면서 맥미니를 구입해야한다는 소리는 틀린소리) 그래서 램용량 최대로 높여서 로컬llm돌리면... 기대한것보다 성능이 많이~엄청 많이 낮을거에요.
26.03.09 19:40

(IP보기클릭)118.235.***.***

엠4클로 64긱
26.03.09 19:49


1
 댓글




목록 | 이전글 | 다음글
X