[S/W] 맥북 프로 1대로 5분 만에 AI 훈련한다고?

[사쿠라모리 카오리P]

AI 훈련은 고성능 GPU가 필요하지만, 맥북 프로에서 5분 만에 모델을 훈련하는 방법이 제안됐다. 이번 훈련은 노트북 환경에서 강력한 모델을 빠르게 학습하는 것은 현실적이지 않은 호기심에서 출발한 실험으로, 최적의 트레이닝 전략 및 데이터셋 선정, 모델 아키텍처에 대한 인사이트를 제공한다.

출처 : https://www.digitaltoday.co.kr/news/articleView.html?idxno=585540

[아틔시]

요약: nvidia gpu 계속 쓰세요

[곰곰이생각하니내가곰이네]

1. 제한된 컴퓨팅 자원으로 AI 모델을 학습시키려면 기본적인 데이터셋을 갖춘 뒤 학습시키는 게 유리.
2. 파라미터 조정은 구형 모델을 쓰는 게 적은 자원에선 차라리 효율적
3. 자원이 많을 때와 달리 파라미터는 200만개 수준으로 제한하는 게 오히려 효과적.

결론: AI자원이 한정적이라면 효과적인 트레이닝 전략을 짜는 편이 최신 기술을 때려넣는 것보다 유리하다.

[아틔시]

그런 얘기를 하는것 같진않은데 어쨋든 현실은 소형모델을 처음부터 설계하기보단 distillation, token prunning, quantization 같은 기법들이 성능이 좋습니다..