본문

글쓰기   목록 | 이전글 | 다음글

[S/W] 구글, AI 메모리 6배로 줄여 비용 50% 절감하는 '터보퀀트' 기술 공개 [17]


profile_image_default
(1076219)
9 | 17 | 9124 | 비추력 962939
프로필 열기/닫기
글쓰기
|
목록 | 이전글 | 다음글

댓글 | 17
1
 댓글


(IP보기클릭)106.101.***.***

BEST
가챠비용이 1/6이 되면, 가챠를 6배 더하겠지
26.03.26 21:41

(IP보기클릭)175.118.***.***

BEST
효율이 좋아진다 = 좋아진 효율만큼 더욱 더 성능을 높힌다 = 오히려 기존보다 자원이 더 필요해진다 = 메모리 더 필요하다
26.03.26 22:00

(IP보기클릭)121.184.***.***

BEST

실제 효율은 이 정도네요. KV캐시 크기를 1/6로 줄인다는 거지, 모델 크기를 줄이는 게 아닙니다. https://turboquant.net/ko
26.03.26 22:49

(IP보기클릭)58.78.***.***

BEST
비슷한 예로 작년 딥시크가 AI리소스 절약해서 칩메이커들 발주수량 줄어 매출이익 대폭감소할것이라고 했는데 정작 리소스 절약한 만큼 더 많은 추론이 가능해지고 규모가 더 커져서 칩 부족에 시달리는 현재상황까지 왔음. 메모리를 최대 6배 압축하면 추론량을 더 늘릴거임
26.03.26 23:00

(IP보기클릭)221.163.***.***

BEST
좀 다를수도 있지만 동영상 코덱 더 좋아졌다고 압축율 올라갔다고 ssd 수요나 고용량 크기에 대한 니즈가 줄더냐 ㅎㅎ
26.03.27 01:09

(IP보기클릭)183.117.***.***

메모리를 6배 줄인다고 메모리 가격 내려가냐?
26.03.26 21:12

(IP보기클릭)116.123.***.***

루리웹-2793479199
내려갈지도? 근데 그것보다 적용된다면 유료 AI 비용이 줄어드니 거기에 따라서 가격이 저렴해지거나 사용 한도를 늘려 줄것 같아서 기대됩니다 | 26.03.26 21:22 | | |

(IP보기클릭)39.119.***.***

루리웹-2793479199
글쎄요. 메모리를 일부 절약한다고 해도 시장 자체가 커지면 커졌지 줄어들 것 같지는 않으니 말입니다. | 26.03.26 21:31 | | |

(IP보기클릭)58.78.***.***

BEST
루리웹-2793479199
비슷한 예로 작년 딥시크가 AI리소스 절약해서 칩메이커들 발주수량 줄어 매출이익 대폭감소할것이라고 했는데 정작 리소스 절약한 만큼 더 많은 추론이 가능해지고 규모가 더 커져서 칩 부족에 시달리는 현재상황까지 왔음. 메모리를 최대 6배 압축하면 추론량을 더 늘릴거임 | 26.03.26 23:00 | | |

(IP보기클릭)99.119.***.***

루리웹-2793479199
비슷하지 않을까요. 지금은 다들 성능 끌어올리는 경쟁중이라 효율 올라가면 남는? 리소스로 성능을 쥐어짜려고 하겠죠. | 26.03.26 23:06 | | |

(IP보기클릭)118.221.***.***

루리웹-2793479199
효율이 6배 올라가면 성능을 6배 올리는게 사람이라서요. 당장 ai 영상이 길어야 10초인데 이걸 1분짜리로 만들 수 있다고 하면 할 사람이 많겠죠. | 26.03.27 02:53 | | |

(IP보기클릭)118.51.***.***

딥시크 때가 떠오른다 ㅋㅋㅋ
26.03.26 21:40

(IP보기클릭)106.101.***.***

BEST
가챠비용이 1/6이 되면, 가챠를 6배 더하겠지
26.03.26 21:41

(IP보기클릭)14.39.***.***

가진거라곤_돈밖에_없는_남자
어차피 지금도 깡으로 6배 하고싶어하는데 비용 1/6이라도 되면 좋은 거 아니겠어요 | 26.03.26 22:25 | | |

(IP보기클릭)175.118.***.***

BEST
효율이 좋아진다 = 좋아진 효율만큼 더욱 더 성능을 높힌다 = 오히려 기존보다 자원이 더 필요해진다 = 메모리 더 필요하다
26.03.26 22:00

(IP보기클릭)125.246.***.***

인버스 가자.
26.03.26 22:03

(IP보기클릭)121.184.***.***

BEST

실제 효율은 이 정도네요. KV캐시 크기를 1/6로 줄인다는 거지, 모델 크기를 줄이는 게 아닙니다. https://turboquant.net/ko
26.03.26 22:49

(IP보기클릭)211.203.***.***

뭐 6배나 더 지를수 있단 말이지?
26.03.26 22:54

(IP보기클릭)221.150.***.***

1/6 비용절감 : 놉 기존 가격으로 6배 가능 : 예스
26.03.26 23:37

(IP보기클릭)221.163.***.***

BEST
좀 다를수도 있지만 동영상 코덱 더 좋아졌다고 압축율 올라갔다고 ssd 수요나 고용량 크기에 대한 니즈가 줄더냐 ㅎㅎ
26.03.27 01:09

(IP보기클릭)121.141.***.***

그냥 미세공정 생각해보면 답이 나옴. 같은 트랜지스터를 1/2 면적으로 집적할 수 있다? 그러면 1/2 면적으로 만드는 게 아니라 같은 면적에 2배로 만들지.
26.03.27 08:07

(IP보기클릭)118.33.***.***

뭐? 9b 파라미터를 견딘다고? 그럼 90b 파라미터로 내놔주마!!
26.03.28 08:43


1
 댓글




목록 | 이전글 | 다음글
X