[아이폰] Apple, DeepPCR 알고리즘 발표, 신경망 훈련 및 추론 기능 가속화

[Landsknecht™]

Apple은 기존 순차 연산을 병렬 처리하여 신경망의 추론 및 훈련을 가속화할 수 있는 DeepPCR 기계 학습 알고리즘을 출시했다고 16일 공식 발표 했습니다.

신경망은 이미지 및 텍스트 또는 이미지 합성, 분할 및 분류와 같은 복잡한 작업을 처리할 때 획기적으로 시간을 줄일 수 있는 방식입니다.

(기존에는 과도한 계산 요구 사항으로 인해 신경망 훈련 및 피드백 결과에 며칠 또는 몇 주가 걸릴 수 있었습니다)

주요 내용은 다음과 같습니다.

단계 수가 증가할수록 증가하는 노이즈, 및 프로세스의 순차적 실행의 계산 비용이 많이 드는 계산 병목 현상을 줄임

DeepPCR 알고리즘을 출시하여 신경망의 훈련 및 추론을 더욱 가속화

팀은 병렬 주기 감소(PCR) 알고리즘을 사용하여 솔루션을 검색하여 순차 프로세스의 계산 비용을 O(L)에서 O(log2 L)로 줄이고 복잡성을 줄이고 런타임 속도 높임

결과

다층 퍼셉트론에 DeepPCR 알고리즘을 배치한 뒤 정방향 통과와 역방향 통과를 병렬화해 정방향 통과 속도는 최대 30배, 역방향 통과 속도는 최대 200배 향상

DeepPCR은 MNIST에서 Deep ResNet 훈련을 가속화하고 MNIST, CIFAR-10 및 CelebA 데이터 세트에서 훈련된 확산 모델 생성을 가속화하는 데 사용

결과에 따르면 DeepPCR은 상당한 속도 향상을 보여주지만 ResNet 훈련을 위한 데이터 복구는 7배 더 빠르고 확산 모델 생성은 11배 더 빠름

입니다.

출처 : https://machinelearning.apple.com/research/deeppcr

[중복엔 닭이지]

https://machinelearning.apple.com/research/deeppcr
NeurIPS에 억셉된 논문이네요

[Landsknecht™]

뭐 여기나 외부에서는 애플이 인공지능쪽 별로 신경 안쓴다고 하는데 이쪽 업계에 있다보면 비보같은 소리라는걸 알수 있죠 애플도 삼성도 이쪽엔 승부수 입니다. 연구나 실용화 모두에서요

이제 온보드 AI 가우스 부터 나오고 아이폰16쯤 되면 재미날껍니다

[중복엔 닭이지]

네 기업마다 올라오는 논문이나 채용공고보면 애플은 헬스케어나 온디바이스(경량화, 양자화) 쪽이 많이 보이더라고요

애플이나 삼성은 대외적으로 보여주기 민감한 데이터들이 많아서 기술 자체를 대대적으로 홍보하지는 않는거같고 결국 디바이스단에서 어떻게 나올런지 봐야하는데 저는 애플은 언젠가 좋은게 나오겠거니 생각하는데 삼성은 어떻게 될런가 모르겠네요. NPU 성능 문제도 있고요

[Landsknecht™]

네 특히 헬스케어쪽은 애플카보다 더 많이 진전이 있습니다. 메이요 부터 협업이 이미 진행중이고요 지금 이쪽도 5년내 신규 서비스 오픈 할꺼에요

[중복엔 닭이지]

헬스케어로도 뭔가가 더 있나보군요
서비스라하면 아마 미국이겠죠? ㅋㅋㅋ
메이요는 처음 들어봤는데 협력 기간이 엄청 기네요

[Landsknecht™]

잘 아시겠지만 지금 데이터 빅데이터가 진짜 중요한데 그중에서 의료데이터가 진짜 금광 입니다.

메이요는 그냥 글로벌 탑 수준의 병원이고요 애플이 가진 수십억명분의 리얼 데이타 활용이 그중 하나 입니다.

비슷한 비즈모델이 카카오가 프로젝트 델타가 있긴한데 더 큰것도 하고 있어요

[중복엔 닭이지]

수십억명이면 국가간에 데이터 장벽이 있지 않을까 했는데 법률상의 문제가 없나보네요.

개인적으로 느끼는건 의료나 법률같은건 규제/절차적인 측면에서 뭐가 막혀있는게 많아보여서 이 부분 해소되고 병원마다 있는거 잘 모으면 시너지가 있을거 같은데

아예 큰 병원이랑 협력하면 규모면에서는 해결이 되나보네요

[ORA-06508]

아는 지인이 LGD 초기 부터 일하기 시작해서 지금은 거의 임원급인데, 그 친구가 애플워치 처음 출시할 때 하는 말이.
원래 의료기기로 허가 받으려고 했는데, 쉽지 않아서 패션아이템 쪽으로 만들어서 출시한다고 하더군요.

지금 애플워치 쪽 기능 들어가는 거나 기타 아이폰 생태계에서 의료 관련 앱들 기능 보면 맞는 말인거 같습니다.

[루리웹-8347986997]

애플이 AI를 신경 안쓴다는걸 보면..ㅋㅋㅋ 그냥 정신승리
희망회로고 애플이 구글처럼 개인정보 수집했다면 이전에 AI 나왔지 실제로 구글이 발전한게 개인정보 기반이고

[27gl850]

아이폰의 번역기능도 AI 관련인지는 잘 모르겠지만 iOS 17 이후로 사파리 번역이 정말 빠르고 깔끔해서 좋더라구요. 원래 많이 썼던 파파고나 딥L보다 훨씬 나은듯한.

[달걀없음]

애플은 뉴럴엔진을 아이폰에 도입시킬 때부터 준비해왔고 매번 AI의 종류별로 조금씩 구현해올 때마다 굳이 이것이 애플의 AI라고 콕 찝어서 과대포장한 적이 없었을 뿐인데 그걸 갖고 내려치기 하는 사람들이 유난히 많았죠
사람들이 기대하는 레벨의 4차산업이라고 떠들만한 AI는 강인공지능과 초인공지능의 영역이고 그 이전의 AI는 애플처럼 접근하는게 맞는데 전반적으로 사짜 마인드가 너무 팽배함...

[루리웹-3561536515]

애플이 AI를 신경 안쓰는게 아니라 다른 기업들의 AI 기술 발전속도가 너무 빨라서 상대적으로 뒤쳐지는 거임

[dusldus]

마소 파이2가 라마2랑 비슷한 수준이라던데 온디바이스용 모델 나올날도 머지 않은거 같은데, 애플도 어서 어서 온디바이스용 sllm 만들어서 시리랑 대화가 되면 좋겠음. 기본 명령도 못알아 먹는 경우가 너무 많음....