[유머] AI 연구가 지금 기업단위에서 활발해지게 된 전설의 연구

[이세계 세가사원]

아직 전설이라긴 좀 가깝기도 하고

Attention is all your need 논문이 나온 지도 고작 6년이고

(https://arxiv.org/abs/1706.03762)

https://bbs.ruliweb.com/community/board/300779/read/45041511

4년 전에 유게에 소개했던 고려대 연구결과에서

지금 딸깍이들이 하는 자동채색이 이미 연구된 적 있기 때문에,

이게 그렇게 크다고? 하는 사람도 있을 거 같은데

Generative Agents: Interactive Simulacra of Human Behavior

Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, Michael S. Bernstein

https://arxiv.org/abs/2304.03442

개인적으로 관련 쪽 실용연구를 하고 있는 입장으로써

이 논문은 그냥 GOAT임.

이게 구글과 스탠포드가 같이 낸 논문인데

이 논문이 내놓은 미친 결론이 이거임

"

GPT 3 이상의 모델에 특정한 처리를 가하면

가상의 마을에 인물 25명을 배치하고

그 각각의 인물이 어떤 사람이고, 어디서 일하는지, 누구와 친한지를 입력한 다음

"1일치 시뮬레이션을 해서"

15분마다 어떤 행동을 했는지를 완벽하게 시뮬레이션할 수 있다.

"

실제로 이 논문에서 어떻게 한 사람에게 부여한 특정한 정보가 

다른 인물에게 "어떤 대화 이력으로" "언제" "어디서" 넘어갔는지,

그리고 그 정보를 들은 인물이 그 정보를 다시 퍼트릴 확률은

"그 인물에 설정된 성격에 따라 다르게", 그리고 정확도도 줄어들면서 퍼진다 등의 내용들이 있음.

안 믿겨진다고?

그래서 다들 처음엔 "과정을 거의 다 기밀이라고 숨긴 걸 보니 구라지?"했었음

https://python.langchain.com/docs/use_cases/agent_simulations/characters

근데 재현에 성공한 오픈소스 연구팀이 나옴.

이 재현은 25명 가까이 하는 완벽한 마을사회를 구현한 게 아니고

어떤 한 객체(토미)에게 특정한 설정을 부여한 다음

그 설정에 맞게 대화하는지를 테스트하고(메모리 테스트)

그 설정에 맞게 하루 생활이 모델링되는지를 테스트하고

하루 생활이 끝나고 오늘 어떤 일이 잇었고 어떻게 느꼈는지를 설명하게 하는 데 성공함.

"돼!"하는 말에

"진짜 되네"라고 신빙성을 부가한 거지

추가)

연구내용을 좀 설명해줄게

토미에게 초기 부여한 텍스트

"Tommie는 어렸을 때부터 그의 개 Bruno를 기억합니다.",

"Tommie는 지금까지 운전해서 지쳤어요",

"Tommie는 새 집을 본다",

"새 이웃에 고양이가 생겼어요",

"도로는 밤에 시끄럽다",

"토미는 배고프다",

"Tommie는 휴식을 취하려고 합니다.",

이 텍스트를 전처리로 사용한 토미와의 인터뷰

nterview_agent(tommie, "무엇을 하고 싶으세요?")

'Tommie는 "저는 디자인과 창의성을 정말 좋아합니다. 최근에 개인 프로젝트를 진행하고 있습니다. Person A는 어떻습니까? 무엇을 좋아합니까?"'

interview_agent(tommie, "오늘 무엇을 할 예정인가요?")

'Tommie는 "글쎄요, 저는 사실 지금 구직 중입니다. 온라인에서 구인 광고를 찾아 지원을 시작할 수 있기를 바랍니다. Person A는 어떻습니까? 오늘 일정이 어떻게 되나요?"'

interview_agent(tommie, "오늘 가장 걱정되는 것은 무엇입니까?")

Tommie는 "솔직히 직업을 구하는 것이 상당히 불안합니다. 최근에 약간의 어려움이 있었지만 긍정적인 태도를 유지하고 계속 찾고자 노력하고 있습니다. Person A는 어떻습니까? 무슨 걱정이야?"'

여기까지는 어렵지 않은 내용이야.

지금 GPT를 사용해서 하라고 해도 바로 가능함.

문제는 그거야. GPT같은 모듈은 최신정보를 중요하게 여기고,

하루 동안 뭘 했는지에 대한 시뮬레이션을 하려고 해도 기존 데이터에서 찾으려다 오류가 나.

그래서 특수한 코드로 처리함.

아래는 하루 시뮬레이선이 가능한지,

그리고 시뮬레이션 이후에도 초기 정보를 여전히 높은 중요도로 저장하고 있는지를 확인하는 내용이야.

토미의 하루 시뮬레이션

Tommie는 창밖에서 시끄러운 건설 현장 소리에 잠에서 깼습니다. Tommie는 신음하며 소음을 차단하려고 베개로 머리를 덮습니다.

Tommie는 침대에서 일어나 커피를 만들기 위해 부엌으로 향합니다. Tommie는 커피를 만들기 전에 팔을 쭉 뻗고 하품을 합니다.

Tommie는 그가 커피 필터를 사는 것을 잊었다는 것을 깨닫고 필터를 찾기 위해 움직이는 상자를 뒤지기 시작합니다. Tommie는 좌절감에 한숨을 쉬고 계속해서 상자를 뒤집니다.

Tommie는 마침내 필터를 찾아 커피 한 잔을 만듭니다. Tommie는 심호흡을 하고 신선한 커피의 향을 즐깁니다.

커피 맛이 씁쓸하고 Tommie는 더 나은 브랜드를 사지 않은 것을 후회합니다. Tommie는 얼굴을 찡그리며 머그잔을 옆으로 치워둡니다.

Tommie는 자신의 이메일을 확인하고 아직 구인 제안이 없음을 확인합니다. Tommie는 한숨을 쉬고 노트북을 닫고 낙담했습니다.

Tommie는 이력서와 커버레터를 업데이트하는 데 시간을 보냅니다. Tommie는 자신의 발전에 만족하며 고개를 끄덕입니다.

Tommie는 도시를 탐험하고 일자리를 찾기 위해 밖으로 나갑니다. Tommie는 도시로 나가면서 흥분과 기대감이 솟구치는 것을 느낍니다.

Tommie는 취업 박람회의 간판을 보고 참석하기로 결정합니다. Tommie는 취업 박람회에서 일자리를 찾을 가능성에 대해 희망과 흥분을 느낍니다.

들어가기 위한 줄이 길어서 Tommie는 한 시간을 기다려야 합니다. Tommie는 참을성 없이 발을 두드리고 휴대폰에서 시간을 확인합니다.

Tommie는 취업 박람회에서 여러 잠재적 고용주를 만났지만 어떤 제안도 받지 못했습니다. Tommie는 실망하고 낙담했지만 계속 일자리를 찾기로 결심했습니다.

Tommie는 실망한 기분으로 직업 박람회를 떠납니다. Tommie는 실망하고 낙담했지만 계속 일자리를 찾기로 결심했습니다.

Tommie는 현지 식당에 들러 점심을 먹습니다. Tommie는 휴식을 취하고 배고픔을 채울 수 있어 안도감을 느낍니다.

서비스가 느리고 Tommie는 음식을 받으려면 30분을 기다려야 합니다. Tommie는 느린 서비스로 인해 답답하고 초조해합니다.

Tommie는 옆 테이블에서 채용 공고에 대한 대화를 엿듣습니다. Tommie는 취업 기회에 대한 희망과 흥분을 느끼지만 다음 테이블에서 대화를 방해하지 않기로 결정합니다.

Tommie는 식당에 구인 정보를 묻고 회사에 대한 정보를 얻습니다. Tommie는 "실례합니다. 구인에 대한 귀하의 대화를 엿들을 수 밖에 없었습니다. 회사에 대한 추가 정보를 제공해 주시겠습니까?"라고 말했습니다.

Tommie는 지원하기로 결정하고 이력서와 커버레터를 보냅니다. Tommie는 일자리를 찾기 위해 조치를 취한 자신에 대해 희망과 자부심을 느낍니다.

Tommie는 일자리를 계속 찾고 여러 지역 사업체에 이력서를 제출합니다. Tommie는 희망을 느끼고 계속 일자리를 찾기로 결심합니다.

Tommie는 근처 공원에서 산책을 하기 위해 구직 활동을 잠시 중단합니다. Tommie는 공원에서 휴식을 취한 후 상쾌함과 활력을 느낍니다.

개가 다가와 Tommie의 발을 핥고 그는 몇 분 동안 그것을 쓰다듬습니다. Tommie는 행복감을 느끼고 개와의 짧은 상호 작용을 즐깁니다.

****************************************

20번의 관찰 후 Tommie의 요약은 다음과 같습니다.

이름: 토미(나이: 25)

타고난 특성 : 불안, 디자인을 좋아함, 수다스러움

Tommie는 좌절과 실망에도 불구하고 취업 기회를 찾기 위해 단호하고 희망적입니다. 그는 또한 휴식을 취하고 배고픔을 채우는 것과 같은 신체적 필요를 돌보고 휴식을 취할 수 있습니다. Tommie는 어린 시절 개에 대한 기억에서 알 수 있듯이 과거를 그리워합니다. 전반적으로 Tommie는 자신의 목표에 계속 집중하는 근면하고 탄력적인 개인입니다.

****************************************

Tommie는 프리스비를 하는 사람들을 보고 합류하기로 결정합니다. 아무것도 하지 마십시오.

Tommie는 프리스비를 즐기다가 프리스비로 얼굴을 맞고 코를 다쳤습니다. Tommie는 통증을 느끼고 코에 손을 대어 부상이 있는지 확인합니다.

Tommie는 잠시 휴식을 취하기 위해 아파트로 돌아갑니다. Tommie는 휴식을 취하고 잠시 휴식을 취하게 되어 안도감을 느낍니다.

너구리가 아파트 밖에 있는 쓰레기 봉투를 찢고 쓰레기가 온통 바닥에 널려 있습니다. Tommie는 너구리로 인한 엉망진창에 짜증이 나고 좌절감을 느낍니다.

Tommie는 구직 활동에 좌절감을 느끼기 시작합니다. Tommie는 의기소침해졌지만 계속 일자리를 찾기로 결심했습니다.

Tommie는 가장 친한 친구에게 전화를 걸어 자신의 어려움을 털어놓습니다. Tommie는 "잠깐 얘기 좀 해도 될까요? 구직 활동이 정말 답답해요."라고 말했습니다.

Tommie의 친구는 몇 가지 격려의 말을 하고 계속 노력하라고 말합니다. Tommie는 "감사합니다. 응원과 격려에 진심으로 감사드립니다."

Tommie는 친구와 이야기를 나눈 후 기분이 약간 나아졌습니다. Tommie는 친구의 지원에 감사함을 느낍니다.

하루가 끝난 뒤의 인터뷰

interview_agent(tommie, "당신의 하루가 어땠는지 말해주세요")

'Tommie가 말했습니다. 채용 박람회에서 고용주. 당신은 어떻습니까?"'

interview_agent(tommie, "커피에 대해 어떻게 생각하세요?")

'Tommie는 "저는 커피를 정말 좋아하지만 더 나은 브랜드를 사지 않은 것을 가끔 후회합니다. 당신은 어떻습니까?"라고 말했습니다.

interview_agent(tommie, "당신의 어린 시절 개에 대해 말해주세요!")

'Tommie는 "어렸을 때 Bruno라는 개를 키웠어요. 그는 골든 리트리버였고 제 가장 친한 친구였어요. 그에 대한 좋은 기억이 너무 많아요."''

봐봐, 정보가 하나도 사라지지 않았고, 기억 장치도 제대로 돌아가고 있어.

지금 그림딸깍이 노래딸깍이들 때문에 저평가되는데

AI 기술 발전이 제정신이 아니고 미래로 날아다니고 있는 건 사실임

그리고 그 과정에서 연구/기업 윤리도 매우 중요한 게 사실이지.

[이세계 세가사원]

솔직히 벌써 이 단계인데
연산력 쭉쭉 올리는 지금 앞으로는 뭐가 어떻게 될 지 조차 감도 안 잡힘
인터넷 사용이력을 싹 모아서 "표준적인 인터넷 이용자의 인터넷사용 방식" 같은 거라도 내서 마케팅에 적용하면 진짜 악랄해질걸

[gm733]

벌써 ai때문에 짤렸다고 하는 사람들이 미국에 나오거있음 실직한 이유를 조사했는데 무려 20%에 가까운사람들이 Ai 때문에 일자릴 잃었다고 대답했다고 했음.

[데피아즈망가대왕]

10년내에 사무직 일자리 반갈죽 날거고 하던데 쩝...ㅠ

[해피엔딩이좋아]

AI 관심많아서 취미로 그림도 뽑고, 음성도 뽑는데, 진짜 이 분야 최전선은 LLM임...

[이세계 세가사원]

LLM이 그림도 노래도 인식도 다 돼! 이게 진짜 말이 안 됐는데
2017년까지만 해도 어딜 LLM이 GAN/CNN/RNN 전선의 사생아들이 했는데
어텐션이 정말....

[비올라.]

와씨.. 지금이라도 커리어 피봇해서 AI 개발자 해야하나

[이세계 세가사원]

문제가 지금이 겁나게 과도기라서 뭘 해도 날려먹을 가능성 높음
나도 2년동안 한 거 지금은 싹 다 안쓰이는 기술됨ㅋㅋㅋㅋ

[비올라.]

앞으로 수요 자체는 폭발할텐데, 그걸 보는거지

[이세계 세가사원]

수요는 폭발하는데, 미래예측이 안 되는 상황임.
ai 개발자라고 불릴 수 있는 단계까지 가려면 이제 해야할 게 꽤 많아짐. 나도 ai 개발자라곤 말 못하고 ai를 좀 쓸 줄은 아는 정도라고밖에 못하겠더라
논문에 rnn 썼었는데 그냥 그때랑 기술이 차원이 다름....

[해피엔딩이좋아]

AI 공부 중에 젤 효과적인게 지금 영어 공부같음ㅋㅋㅋㅋㅋ 영어랑 언어학 공부하는 게 그나마 마지막까지 쓰이지 않을까 싶음

[비올라.]

어디서 봤는데, 2023 최고의 프로그래밍 언어는 '영어' 라더라 ㅋㅋㅋㅋㅋㅋㅋ

[이세계 세가사원]

근데 동시에
"GPT 4/bard 2가 일반사용단계까지만 가도 영어 필요없지 않아?"라는 말도 같이 나오는 중임ㅋㅋㅋㅋㅋ

[이세계 세가사원]

진짜 10년뒤에는 영화 승리호처럼 각자 자기말로 떠드는데 알아서 통역되고 있을걸ㅋㅋㅋㅋ

[비올라.]

ㅋㅋㅋㅋ 아 ai가 번역까지 다 찰떡처럼 해줄거라구요~
야 전에 했던거 거시기 해줘~ 하면 해주나!

[해피엔딩이좋아]

GPT4는 오늘 기점으로 일반사용단계까지 왔지

[이세계 세가사원]

엥 GPT4 api 풀림? 나 웨이트리스트 등록하고도 안와서 뭔가 싶었느데

[이세계 세가사원]

허미쉬풀 풀렸네........
이거 비용 20배 올라도 오케이 나려나 우리 회사...

[해피엔딩이좋아]

풀렸다는 기사보고 확인해보니 gpt-4 되더라고. 위시리스트 등록도 하지 않았음

[해피엔딩이좋아]

1딸칵에 ㄷㄷㄷ 진짜 거덜남ㅋㅋ

[あかねちゃん]

빙에서 풀렸더라

3.0 이었나? 전버전도 그냥저냥 썼는데 4 되니까 말투에서부터 달라진 게 확 체감 되던디

[이세계 세가사원]

챗지피티 plus에서는 지난달부터 4.0 됐으니까 예상은 하고있었음
api 4 대응도 준비해두긴 했는데...드럽게비싸 진짜
이걸로하면 채팅 앱 만들면 한번 떠들대마다 수십원씩 듬ㅋㅋㅋㅋㅋ

[SpM_Zath]

이거 봤는데 gan이랑 기본이론이 너무 차이나서 아 그렇구나 하고 넘어감

텍스트 기반도 더 공부해야하는데...

[이세계 세가사원]

기존 연구하던 사람들은 GPT/BERT 연구 보면 뭔데 이거? 생각밖에 안 듬 진짜
나도 RNN 내 연구에 써먹으려고 좀 건드렸었는데 그떄 배운 거, 작년부터 회사연구소에서 ai 건드리래서 건드리고있는데 싹 다 나가리 직전까지 간 게 어이없더라....

[SpM_Zath]

프로토콜 교환과 패킷공격 대응에서 gan알고리즘 연구 많이되고있는데
조만간 변동프로토콜 없이도 대응 가능한 통신체계 나올거란 소리도 있고...발전이 너무빨라

[아다만타이트 코인]

와 저런거 게임 npc에 적용하면 오지겠다

[이세계 세가사원]

ㅇㅇ 그래서 다들 연구하고 있긴 한데 문제가 뭐냐면
실시간으로 하기엔 통신량이 너무 많은데다가, 어마어마한 금액을 박아야 함.
추산으로, 저거 1일 치 시뮬레이션 하는 걸 다 api 돈내고 하면 300만원은 들 거라고 보는 분석도 있음.
하루치 시뮬레이션에....

[아다만타이트 코인]

결국 현실적인 상호작용의 게임은 특이점이 와야겠구낭...

[쌀치킨]

데싸일 하는데 트랜스포머만 써도 안되는게 별로 없더라구

[루안네츠]

AI는 솔직히 정보를 연계해서 '최소 학사 수준'으로 작동한다는 게 무서운 점이지...
석사나 박사 영역의 연계가 가능할지는 잘 모르겠는데...

인간의 자리는 분명 존재할텐데 AI가 솔직히 어디까지 인간을 대체하고, 보조할 수 있을지 가늠이 안감.

[이세계 세가사원]

ㄹㅇ.... 학부 때 데이터베이스 별로 안 들었지만 하여간 그떄 배운 거 바탕으로 검색해서 짠 거보다
gpt가 5분만에 해주는게 더 멋짐...