[S/W] 화웨이, LLM 경량화 기술 ‘SINQ’ 오픈 공개"메모리 사용 70%까지 절감"

[사쿠라모리 카오리P]

출처 : https://www.aitimes.com/news/articleView.html?idxno=202980

[띵호와의 증인]

씽큐...

[라스트리스]

한국인이 화웨이 하드웨어 쓰는 서버로 호스팅하는 AI 쓸 일이 거의 없긴 하겠지만, 엔비디아한테 과도하게 쏠린 수요를 최소한 중화권 한정으로라도 분산시키는 역할을 한다는 점에서 좋게 봄.

[백에이커의숲]

이제 블랙웰gpu에 더 어마무시한 모델을 올려서 서빙하겠군요.

[Godwish]

검색헤서 대충보니까 추론하곤 상관 없는거 같고 양자화할때 빠르고 손실 없다는거 같은데 그것도 8비트인거 같던데요.
기대에차서 찾아보니 내 생각과는 좀 다른 느낌임.
거보다 moe 모델 필요할때 활성 전문가만 vram에 올릴수 있으면 개인용도로 큰 모델 올릴수 있을듯
지금은 안써도 몽창 다 올려야해서 좀 아쉬움