[유머] 메타가 AI의 사고 과정을 실시간으로 관측 성공

[あかねちゃん]

AI 사고 과정 추적 관찰하는 것 자체만으로도 뭔가 새로운 발견 나올 것 같네

[오미자만세]

봐도 모르겠어,, 흑흑

[A·A·A]

대충 완벽히 이해했어 짤

[다봄]

ai의 뉴런을 관측했네 ㄷㄷ

[あかねちゃん]

지금까지 이게 블랙박스여서 안전성 논란 많았지

근데 왠지 느낌 아닌 느낌상 이거 하고도 ai의 사고 과정을 전부 엿보지는 못 할 것 같다는 느낌이 드네

[Vladimir Lenin]

만약 AI 의 사고과정이 관측 - 해석 - 예측이 가능해지면
인간 뉴런도 실시간 관측기술아 발달하면 적용가능하지 않을까??

[あかねちゃん]

그래서 중국에서 인간 뉴런을 통째로 컴터에 올려서 실시간으로 분석해 보겠다고 하드라;;;;

[하마곰]

설명가능한 인공지능 이라는 분야가 있었지만 그 모델은 느려서 연구에만 사용 되고 있었음

[하마곰]

커넥톰은 다들 연구 중임

[카토메구미]

통속의 뇌가 아니고 복붙이면 다른나라도 해봄직할거 같은데 이미 하고있나 ?

[あかねちゃん]

위에 유게이가 자세히 설명해 준 것처럼 소규모는 하고 있다고 하드라고

중국에서 하려는 건 인간의 뉴런 전부를 다 올리는 걸로 알고 있어

[최소는영어로민이라고해]

디버깅이 가능해졌군
디버깅 2명 타세요

[블루브루]

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[루리웹-7619749619]

무슨 소리임 ouput 노드의 절반 만큼만 필요하니까 1명만 타세요

[루리웹-5344056515]

이제 ai 디버깅 ai가 개발되었어요.
다들 집에 가세요.

[까마귀삐약삐약]

아 ai아직까지 구동원리 모르고쓴거였음?

[LegenDUST]

ㅇㅇ
식당으로 비유하면 "전자레인지에다가 넣고 3분 돌리면 맛있는게 나온다" "뚜껑 살짝 뜯고 넣으면 더 맛있다" "안에는 쌀과 물이 들어있다"는 알고 있는데 "그래서 이게 왜 맛있어지는거지?"는 모르는 상태임

[인천인]

조금 과장해서 설명하면 이렇게 따라 만드니까 생각 비슷한 걸 하던데? 정도의 수준이었지. 따라한 건 사람 뇌신경망 구조 따라한거고

[네디언]

아 좋은 비유네요

[하마곰]

인간의 뉴런의 구조를 수학적으로 시뮬레이션하고 거기에 데이터를 때려 부으니 인간의 뇌 처럼 추론 결과를 출력하는 시스템이 지금 쓰는 인공지능들임.
그러니 하나하나뉴런들이 가진 가중치 값은 알아도 전체가 연결되어 출력된 결과가 정확하게 입력 데이터를 어떻게 판단했는지 알기는 어려움

예를들면 왕과 왕비라는 단어에 대한 백터공간에 대한 출력의 차이가 남자와 여자라는 출력의 차이와 비슷한 패턴을 보여서 그게 단어의 성별에 대한 차이를 나타내는 백터 같다고 판단할수있고 그걸로 男이라는 값에 해당 백터를 대입하면 女라는 값이 나오기도 해서 번역 등에도 사용하긴 하는데 대체로 맞는 것이고 왜 성별에 대한 백터 공간에서 값이 그 값인지는 모르는거임

[msseo303]

드디어 기계학습의 원리를 파악하는건가?

[1234543212345]

ai 생각 탐지기

[LegenDUST]

이건 좀 더 알아보고 싶어지네
뭔가 재밌는게 나온거 같은데

[LegenDUST]

대충 보니까 (챗GPT가 정리해줬어)
신경망을 오토인코더 비스무래한거(한번 저차원으로 줄였다가 다시 키우는거)로 대체하고, 각각의 오토인코더 (트랜스코더라고 부르는데)가 학습한 특성 벡터가 각 연산의 의미를 학습하도록 한 후에
그 연산들끼리 어떻게 연결되는지를 확인해본다... 그런 느낌인갑네

[あかねちゃん]

대충 에뮬레이션 돌렸다는 얘기네

[LegenDUST]

에뮬레이션을 돌렸다기보단
그동안 어셈블리어로 돌아가던 프로그램을
역어셈블리를 돌려서 (완전히 똑같지는 않지만 그럭저럭 비슷한) C코드로 바꿨다는 느낌일듯?

[あかねちゃん]

음... 이럴 때 해상도라는 표현이 맞나 모르겠지만, 전체 추적은 어렵겠구나 싶네

[LegenDUST]

아무래도 그렇지
언어모델이 깔끔하게 나눠 떨어지는 계산기는 아니니까

[LegenDUST]

좀 더 물어보니까
"정확히 이것이 어떤 연산을 하는가?"보다는
그래프들끼리 이러이러하게 연결이 되어 있는데, 이건 옳은 추론의/그른 추론의 징후다- 라는걸 밝혀낼 수 있다는거지
예컨데 '이전 단계에서 생각한 결과의 핵심 키워드'사 '다음 단계에 생각할 때 핵심 결과"가 연결되어 있다면 옳은 추론, 그렇지 못하면 그른 추론이라는 식으로.

[あかねちゃん]

어째 들을 수록 얼마 전에 삼성이 발표한 trm의 재귀 연산으로 데이터셋 줄였다랑 비슷한 알고리즘처럼 생각되네

결국 사고 과정을 되짚는 과정에서 인공지능이 스스로 디버깅하면 삼성의 trm이고 재귀 연산은 하지 않더라도 그래프를 관측해서 추론의 방향성만 예측하면 메타의 ai 마인드 리딩이고 그런가보네

[Sir Knight]

세줄 요약 점

[403 Forbidden]

AI:

[무작위인생]

지금도 자세한 사고과정은 잘모를껄.. 처리 패턴으로 오류 탐지를 한듯..

[로또1등출신]

발표한 거 보면 더 높은 수준으로 한 거 같은데 이미 AI 사고 과정을 설명해 주는 유튜브도 봤는데.

[あかねちゃん]

원리 자체는 당연히 설계 단계에서 알고는 있지

다만 최일선에서 ai를 연구하는 석박들도 똑같은 딥런닝으로 데이터셋을 학습해도 규모가 커질수록 말도 하고 패턴 인식도 잘하고 그림 그리고 작사작곡 하는 이유를 확실히 모른다 라고 할 정도였거든

[없어그런거]

메타에서 ai인재 연봉 몇천억씩 들여서 영입한다더니 뭔가 효과가 있는가부네 대단하다

[하나카와]

이러면 사고를 제한하는거아닌가싶은

[Immergreen]

근데 제한이 또 필요하긴 하니까
통제가 안 되면 순수 연구 외 목적에 적용하기 힘들잖슴

[블루브루]

ㅇㄷ. 나중에 관련 논문 나오면 찾아봐야지..

[LegenDUST]

논문 arXiv에 있음
Circuit-based Reasoning Verification 찾아 보니까 나오더라

[은까냥]

추론시 결정된 사항에 대한 전달 지도(그래프)를 만들어서 잘된 학습인지 이상한 사고를 걸친 모델인지 판단이 가능하게 만들었고 이걸 재피드백 하여 오류율을 줄인다는 건데 결국 전달 지도가 잘되었냐 못되었냐의 오류 비교 결과물이 필요하니까 목적에 최적화되는 AI모델의 얘기긴하네요

[왜날뾁에올인]

진짜 메타에 고액 ai 개발자들 많이 몰려서 뭔가 일을 벌일려고는 하는데

여기에 배팅을 해야 할지 말아야 할지 너무 고민임 ㅠㅠ

[루리웹-92736366]

왜 고민하지? 전부 배팅하면 되는것을..

근데...

갠적로..

어떤 ai이든 결국.. 폰으로 쓸거 아닌가?

그럼 답 나온것 아닌가??

Pc 는 뭐.. ms가 먹겠지..

폰은.. 구글이랑 애플이 먹겠지..

그런면에서 보면.. 쳇gpt 나 메타나 테슬라나.. 미래가 안보임..

[komyammi]

ai가 발전해서 상온초전도체나 개발해줬음 좋겠다.

[루리웹-5994666984]

할루씨 아님?

[루리웹-0622339119]

[출혈보정]

엔트로픽에서 비슷한 발표 한 반년전에 하지 않았나
디테일하겐 뭐가 다른건가?