https://arxiv.org/abs/2306.00984
미국 뉴욕 코넬 대학교에서 발표된 새 논문임,
우리는 텍스트-이미지 모델에 의해 생성된 합성 이미지를 사용하여 시각적 표현을 학습할 수 있는 가능성을 조사합니다. 이것은 고품질 이미지를 생성하는 이러한 모델의 뛰어난 성능에 비추어 볼 때 자연스러운 질문입니다. 우리는 특히 선도적인 오픈 소스 텍스트-이미지 모델 중 하나인 Stable Diffusion을 고려합니다. 우리는 (1) 생성 모델이 적절한 분류기가 없는 지침 척도로 구성될 때 합성 이미지에 대한 자기 감독 방법 훈련이 실제 이미지 상대와 일치하거나 이길 수 있음을 보여줍니다. (2) 동일한 텍스트 프롬프트에서 생성된 여러 이미지를 서로에 대한 긍정으로 처리하여 StableRep이라고 하는 다중 긍정 대비 학습 방법을 개발합니다. 합성 이미지만으로, StableRep에 의해 학습된 표현은 대규모 데이터 세트에서 동일한 텍스트 프롬프트 세트와 해당 실제 이미지를 사용하여 SimCLR 및 CLIP에 의해 학습된 표현의 성능을 능가합니다. 언어 감독을 더 추가하면 20M 합성 이미지로 훈련된 StableRep은 50M 실제 이미지로 훈련된 CLIP보다 더 나은 정확도를 달성합니다.
대충 어려울테니까, 짧게 간추리면 2000만개의 AI 이미지로 학습한 그림 AI가
5000만개의 실제 이미지로 AI로 학습한 AI보다 더 나은 정확도+ 완성도가 나왔다는 논문임
예전에 일본 연구팀에서 생성이미지로 학습하면 퀄리티 떨어진다는 연구때문에 그렇게 생각하는것 같은데, 그 논문은 피인용 2회임.
https://twitter.com/DrJimFan/status/1643279641065713665
이미 그림 AI는 사람 그림 데이터는 다 썼고, 자체 AI 이미지를 활용해서 강화학습하고 있음
엔비디아 AI 연구자가 미드저니가 사람이 출력 후 업스케일링하는 이미지(그 자체가 라벨링)를 통해 이미 자가 출력물을 통한 강화학습을 하고 있을거라 밝힘
MJ UI가 강화학습에 최적화되어 있고 미드저니 발전속도가 어마어마한거 보면 AI 이미지로 강화학습 하고 있다는 주장은 신빈성 있음
결론
시비걸고 나대는 딸깍충이 ㅄ인것과는 별개로, AI 그림으로 자체학습해도 퀄리티가 떨어지거나 하지는 않음.
바둑 알파고도 처음에는 사람 기보 넣다가, 나중에는 지들끼리 알아서 강화학습 하던거랑 비슷하다고 보면은 됨
(IP보기클릭)211.228.***.***
그 사람이 망친 ai그림을 폐기하고 잘나온것만 분별해서 인터넷에 올려주잖아요....
(IP보기클릭)118.235.***.***
바둑은 승패의 기준이있는대 그림은 이게 이쁘내 망했내 기준을 Ai들이 뭘로 판단함? 당장 손도 촉수로 그리던대 사람이 결과물은 분류해줘야하는게 아님?
(IP보기클릭)211.228.***.***
당연한 말이지, 애초에 ai이미지가 애매한 그작들보다 그림 퀄이 높으니까... 대상이 밉다고, 현실에 부합하지 않는 것들까지 억지로 붙여서 욕하는건 언제나 있는 일임.
(IP보기클릭)59.21.***.***
망가진 것들 중에서 살아남는 것만 인터넷에 올라오니까? 가챠임 ㅋㅋㅋ
(IP보기클릭)116.33.***.***
지금 당장에야, 사람이 직접 분류하던, 사람들이 이런 색깔의 배치를 좋아하더라 라는 빅데이터를 기반으로 분류하겠지 뭐.
(IP보기클릭)59.21.***.***
그 이야기가 아니라 ai 이미지로 계속 학습 시키면 ai 성능이 나빠진다는 이야기의 반례임
(IP보기클릭)106.102.***.***
맞는말인데 비추는 왤케많지
(IP보기클릭)211.228.***.***
당연한 말이지, 애초에 ai이미지가 애매한 그작들보다 그림 퀄이 높으니까... 대상이 밉다고, 현실에 부합하지 않는 것들까지 억지로 붙여서 욕하는건 언제나 있는 일임.
(IP보기클릭)118.235.***.***
바둑은 승패의 기준이있는대 그림은 이게 이쁘내 망했내 기준을 Ai들이 뭘로 판단함? 당장 손도 촉수로 그리던대 사람이 결과물은 분류해줘야하는게 아님?
(IP보기클릭)211.228.***.***
권력의 핵심
그 사람이 망친 ai그림을 폐기하고 잘나온것만 분별해서 인터넷에 올려주잖아요.... | 23.06.07 09:52 | | |
(IP보기클릭)118.235.***.***
난또 Ai가 로컬로 지혼자만들고 지혼자 학습한다는줄 알았지 | 23.06.07 09:53 | | |
(IP보기클릭)116.33.***.***
권력의 핵심
지금 당장에야, 사람이 직접 분류하던, 사람들이 이런 색깔의 배치를 좋아하더라 라는 빅데이터를 기반으로 분류하겠지 뭐. | 23.06.07 09:58 | | |
(IP보기클릭)59.21.***.***
그게 지금 미드저니이기도 하고, 또 ai 중 미학 점수 분류기라고 해서 그림에 점수 매겨서 이게 인간이 좋아할 그림인지, 아닌지 분별하는 ai도 있으니까.... | 23.06.07 10:06 | | |
(IP보기클릭)187.168.***.***
(IP보기클릭)59.21.***.***
1q1q6q
망가진 것들 중에서 살아남는 것만 인터넷에 올라오니까? 가챠임 ㅋㅋㅋ | 23.06.07 10:00 | | |
(IP보기클릭)39.7.***.***
손은 포토샵 신기능으로 이번에 들어온 ai가 기가막히게 잘 고쳐줌 | 23.06.07 10:03 | | |
(IP보기클릭)223.39.***.***
돈 안냈잖아 | 23.06.07 10:03 | | |
(IP보기클릭)211.234.***.***
보통 문제 없이 나온 이미지는 하나뽑으려고 수십 수백번 돌리거나 리터칭 라는 노력까지 하는경우가 많음 | 23.06.07 10:09 | | |
(IP보기클릭)121.159.***.***
(IP보기클릭)223.39.***.***
그럴때 포토샵의 ai를 쓰는 거임 | 23.06.07 10:04 | | |
(IP보기클릭)118.47.***.***
(IP보기클릭)211.234.***.***
(IP보기클릭)211.54.***.***
알파고가 처음엔 사람 기보를 가지고 학습했지만 나중가선 자기가 기보를 만들어서 스스로 학습한 것처럼 지금 현재 풀린 모델을 강화학습하는데 사람그림말고 자기가 생성한 그림을 쓴다는거 | 23.06.07 10:04 | | |
(IP보기클릭)59.21.***.***
공손한 율
그 이야기가 아니라 ai 이미지로 계속 학습 시키면 ai 성능이 나빠진다는 이야기의 반례임 | 23.06.07 10:05 | | |
(IP보기클릭)58.236.***.***
아니지,,,,지금의 ai라고 하는건 그냥 딥러닝의 연장선이라고 보면 되는듯함,,,, 이전에 바둑, 장기쪽에도 딥러닝(ai) 수백 수천만번 학습돌려서 게임에 써먹는거 잇엇는데,,,, 그게 게임이 아닌 그림으로 일부 변경된거지,,, 정확한 목표가 잇을때 반복학습을 통해 조금씩 목표로 찾아가는거에 불과하다고 생각함,,, 물론 이런거 계속 하다보면 다른 방향성도 생기고 여러모로 진화?에는 좋은방향으로 생각,,, | 23.06.07 10:14 | | |
(IP보기클릭)121.174.***.***
(IP보기클릭)118.235.***.***
(IP보기클릭)223.39.***.***
(IP보기클릭)61.40.***.***
(IP보기클릭)125.140.***.***
(IP보기클릭)59.21.***.***
망가진 손을 걸러내는 이미지 분류 프로그램을 돌리면 되니까? 이게 무슨 이미지인지 설명해주는 ai, 미학 점수를 매기는 ai도 있으니까, 왜곡된 형상을 분류하는 ai도 어렵진 않겠지... | 23.06.07 10:13 | | |
(IP보기클릭)175.196.***.***
그러니까 손 망가진 자료는 학습때 안쓰거나 수정해서 괜찮은 자료만 다시 쓰는거지. 그게 강화학습이구 | 23.06.07 10:20 | | |
(IP보기클릭)118.235.***.***
(IP보기클릭)182.209.***.***
(IP보기클릭)211.189.***.***
(IP보기클릭)106.102.***.***
맞는말인데 비추는 왤케많지
(IP보기클릭)168.131.***.***
(IP보기클릭)168.131.***.***
결국 ai가 시장을 지배할 거라는 데는 동의함 그럼에도 불구하고 ai는 오랫동안 리스펙의 문제를 안고 갈거임 | 23.06.07 10:16 | | |
(IP보기클릭)106.245.***.***
(IP보기클릭)220.120.***.***