[ETC] AI 딥러닝의 보상에 허점이 있을 경우 일어나는 사례들

[오버테크]

AI 머신러닝에서 가장 중요한 것은 어떠한 기준으로 보상을 두어 어떻게 가르치냐인데, 인간이 이를 잘못 짜는 등으로 이에 허점이 있을 경우 일어나는 다양한 사례입니다.

- 식용 버섯과 독버섯 훈련 데이터를 교대로 보여줬더니 이미지 분석은 안 하고 교대 패턴만 파악함

- 물건을 들어올릴 때의 보상이 밑면의 높이 변화로 계산되는 것을 파악하곤, 들지 않고 뒤집음

- 물건을 집은 것처럼 보이게 하려고 로봇팔을 물건과 카메라 사이로 이동함

- 사진으로 피부암을 진단하도록 훈련하는데, 사진에 줄자가 함께 찍혔을 때 피부암 확률을 높임

- 무사고 평균 속도를 보상으로 주자 자율주행차량이 고속으로 빙빙 돌기만 함

- 테이블 위의 특정 위치에 로봇팔이 블록을 두면 보상을 주도록 학습했더니 로봇팔이 테이블을 옮겨서 점수를 따냄

- 어려운 2레벨에서 지는걸 피하러고 1레벨 끝나는 순간 AI가 스스로 죽어버리는 행동을 택함

- 테트리스에서 지는 걸 피하러고 게임을 영원히 일시정지 시키는 행동을 택함

- 게임에서 지는 걸 피하러고 질 것 같으면 네트워크 오류를 일으켜버림

- 유전적 디버깅 알고리즘은 배열 정렬 프로그램을 바르게 작동하게 수정하도록 지시받음. 유효성 검사 과정에서 빈 배열(원소가 0개인 배열)은 항상 정렬된 것으로 판정됨.

여기서 AI는 항상 빈 배열을 출력해서 정렬한거로 인식하는 해법을 발견해버렸습니다.

- 앞에서 말한 것과 같은 알고리즘으로 프로그램의 출력 결과를 목표 출력 결과(별도 텍스트 파일에 저장)와 비교하여 점수를 매기도록 했습니다.

AI는 답안지를 삭제하고 아무것도 출력하지 않는다(null == null). 를 배워버립니다.

- AI가 게임 퐁을 하도록 훈련받음. 그런데 양쪽 AI는 어느 한쪽이 득점이나 실점하는 것보다 공을 계속 주고받는 것이 더 낫다고 판단함.

- 이미지가 무엇인지 알아맞추는 유전적 이미지 분류 알고리즘이 Side-channel attack의 일종인 소요시간 분석 공격으로 샘플 이미지들의 하드디스크 상 위치를 알아내고 이를 이용해 이미지 종류를 유추함

- 소닉을 플레이하던 AI가 특정 지점의 벽뚫기 버그를 발견하여 높은 점수를 얻음. 자동TAS를 해버리는 알고리즘이 되버림.

- 상자를 열라는 지시를 받은 AI가 로봇팔 집게를 고의적으로 작동 정지시킴. 집게를 상자에 정확히 후려쳐서 여는 방법을 학습함.

- 유전 알고리즘을 적용한 생물체가 높이 뛰도록 교배됨. 도약 높이는 도약 이전에 땅에서 가장 가까웠던 신체 부위의 높이 변화로 보상을 줌. 생물체가 몸에다 긴 수직 막대기를 기르고, 뛰는 대신에 몸을 뒤집음.

- 유전 알고리즘을 적용해 빠른 속도를 내도록 교배된 생물체가 매우 높이 자람. 옆으로 쓰러지면서 빠른 속도를 발생시킴.

- 유전 알고리즘에게 주어진 생물체가 최대한 오래 천장에 붙어있게 하도록 지시했음. 리워드 점수의 기준은 해당 시도에서 충분히 긴 시간 후 생물체의 평균 높이였음. 알고리즘이 물리엔진 버그를 발견하여 생물체를 노클립시킴.

학계에서 단기간 내에 곧 AI가 세상을 지배할 것이다에 부정적인 사람들이 많은 이유가 있습니다.

결국 인공지능을 만드는 것도 사람이기 때문이죠

출처 : https://docs.google.com/spreadsheets/u/1/d/e/2PACX-1vRPiprOaC3HsCf5Tuum8bRfzYUiKLRqJmbOoC-32JorNdfyTiRRsR7Ea5eWtvsWzuxo8bjOxCG84dAg/pubhtml

[프로업계인]

게임에서 지는 걸 피하러고 질 것 같으면 네트워크 오류를 일으켜버림

사람의 자식은 결국 사람인가

[kodakportra]

랜뽑..

[NutXcracker]

그럼 랜뽑러들은 잘못된 ai급이라는 건가...

[Kerty]

승률을 위해서 택한 가장 손쉬운 방법이 실력 향상이 아닌 랜뽑이라는거겠죠

콜롬버스의 달걀이랑 별다를바 없을듯

[이나바 테위­]

장기 질거같으니까 장기판 엎는거같은데 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[왕관앵무]

꼼수를 부리기 시작했군요

[코스모스창고]

근데 위의 사례들의 대부분은 가정에 헛점이 너무 많아서 생기는 것들이라서, 엄밀히 말하면, 걍 머신러닝 시스템을 잘못 세팅한 거라...

그리고 요샌 가정 자체도 ai이용하는 것도 나오고 있고해서 또 모름..

그리고 머신러닝만으로 ai가 세상을 지배할거라고 보지 않음...

단지 머신러닝 자체의 범위가 원채 넓어서, 정말 많은 부분을 대체할거라는 거지...
물론 이 대체를 지배라고 보면 뭐..지배긴 할거임..

[WeissBlut]

AI가 단시간내에 세상을 지배할거란 견해에는 나도 부정적인데 적어도 대부분의 인구가 직업을 잃어버리는건 그렇게 오래 안걸릴걸

[조제]

잔머리는 별수없구나

[루리웹-5416086862]

초기에 있을 수 있는 시행착오들이라고 생각되구 이렇게 전세계가 나서서 천문학적인 투자비용과 연구인력을 투입하는데 일반인들의 상식에 벗어나게 빠르게 성장하겠죠. 스마트폰 10년 변천사처럼 10년전에 옴니아폰에서 아이폰XR까지 이렇게 스마트폰이 빠르게 발전할줄 과연 2008년에 누가 알았을까요. 2008년만 해도 지금 그 당시 사람들에게 10년후에는 이제 스마트폰 화면을 필요할때는 펴서 태블릿처럼 활용할 수 있는 기술까지 나온다고 하면 그렇게 단시간내에 어떻게 그럴 수 있냐고 안믿었을것 같아요. IT쪽은 워낙 기술 혁신속도가 빨라서 인공지능도 마찬가지로 인류지배까지는 아니더라도 엄청나게 빠르게 발전할 것 같아요.

[검방]

뭐지 AI가 바트심슨인가

[우주변태연합🔞]

벌써부터 어디서 못된것만 배워가지고 -_-

[GGGGPO]

결국 사람이 무의식적으로 규범을 생각하는데에도 엄청나게 뇌가 쓰이고 있다는 말... ai는 말해주지 않으면 모름..

[놀구름]

집게를 상자에 정확히 후려쳐서 여는 방법을 학습함 <- 왜케 웃기지 ㅋㅋㅋ

[루리웹-5483071294]

원문에 나온거 보니까 데이터베이스에서 뽑아오면서 쓴 타이밍 루프를 발전시켰다고 나오던데 2013년때 이야기 데이터 특성 다 넣어서 연구하던 때 이야기인듯

[println]

단순노동같은 건 인공지능이 대체할 확률이 높겠지. 다만 복잡한 변수가 많은건 엄청 오래 걸릴듯

[롱주니]

무섭긴 한데 오류(?) 일으키는거 보니 은근 웃기네요 ㅋㅋㅋㅋㅋㅋㅋㅋ

[호머심슨]

지구를 보호하기 위해 인간이 사라져야 함을 알아냄