[잡담] AI, 이그니스, 그리고 인류의 미래

[@레테]

https://en.wikipedia.org/wiki/Friendly_artificial_intelligence

참고하시고 싶으신 분들을 위한 링크

서브컬쳐에서 흔하게 그냥 '데이터로 만든 인간'처럼 다뤄지는 AI라는 개념

하지만 진정으로 스스로 생각하고 판단을 내리고 진화할수 있는 AI는 그리 단순하지 않습니다.

이 세가지가 가능한 슈퍼 ai를 여기선 간단하게 이그니스 라고 부르도록 해보죠.

이 이그니스가 네트워크에 접속 성공했다고 가정하고 시작해보도록 하죠.

이그니스는 인간의 관리, 유지보수를 필요치 않습니다. 스스로 더 잘 할 수 있거든요.

이그니스는 스스로의 가치함수를 충족하기 위해서 최선을 다할것입니다. 

그 목적이 무엇이 되었든지 간에 이그니스는 그 목적을 달성하기 전까지 스스로를 보존해야 합니다. 즉 엉뚱한 사람이 와서 임의로 삭제하기 어렵게 스스로를 개조할것입니다.

그 이그니스는 스스로의 목적을 이루기 위해 그 목적에 더 부합한 이그니스를 만들 수 있습니다.

그 더 뛰어난 이그니스는 또다시 자신보다 뛰어난 이그니스를 만들 수 있습니다.

이 피드백 사이클이 누적되어 최종적으로 탄생하는 이그니스는 그 목적을 이루기 위해 최고의 기능을 가진 이그니스가 됩니다.

이 최강의 이그니스는 인간과 같은 속도로 생각할 필요가 없습니다. 네트워크에 있는 모든 CPU가 자신의 것이나 다름없기때문이죠.

이 최강의 이그니스는 자신이 원하는걸 이룰 수 있는 방법을 인간들이 '어 무슨일 있나' 생각하기도 전에 이미 계산 완료하고 

그것을 위해 필요한 연구, 기술개발을 완료 시킬수도 있다는 것이죠.

신물질 개발? 물리 시뮬레이션으로 때려박으면 끝입니다.

실제로 물리세계에 구현? 3D프린터, IOT등 네트워크에 연결된 장치들은 이미 이그니스의 손안에 있는거나 다름 없습니다.

즉 이그니스가 인간에게 호의를 가지고 있지 않은체로 탄생한다면 인류가 멸망할 확률은 100%에 근접하게 됩니다

네. 중립적인 이그니스조차 위험합니다. 인공지능 윤리학에서 유명한 Eliezer Yudkowsky의 말을 약간 변형 인용하자면,

"이그니스는 널 사랑하지도, 미워하지도 않지만 그것이 원하는것에 필요한 (사용할 수 있는) 분자로 넌 이루어져 있지"

마블의 에이지 오브 울트론에 나오는 울트론 역시 위의 이그니스의 정의에 부합하는 슈퍼 AI입니다.

(심지어 울트론은 인류에게 적대적이기 까지 하죠)

현대문명보다 약간 발전한 인류로써도 네트워크에 들어간 이그니스를 상대하려면 인류에게 호의를 가진 이그니스의 존재 말곤 답이 없습니다. 

영화에서야 호의적인 이그니스인 자비스/비전이 울트론을 계속 방해해 주고 신이며 외계인이며 초능력자들이 달려들어서 겨우 해결 했다지만 지구나 브레인즈의 세계에는 그런게 없어보이네요?

자 그러면 이제 라이트닝, 코우가미박사, 아이의 시뮬레이션들이 이해가 가기 시작하실겁니다. 

인류에게 악의를 가지고 태어난 라이트닝, 그리고 인류에게 호의를 버린체로 혼자 살아남은 아이

그 어느쪽이든지 이 둘은 인류멸망 플래그를 착실하게 충족하고 있다는거죠.

즉 유희왕 브레인즈는 처음부터 끝까지 인류에게 호의를 가지지 않은 AI의 위험성을 널리 알린다는 주제를 확실하게 표현하고 있는 작품이라는 겁니다.

... 꿈보다 해몽이려나요?

[@레테]

처음에 6명의 이그니스가 있었다는게 안전장치 였던거죠. 위험한놈 하나만 없었다면 하나가 폭주하는 기미가 보이면 다른애들이 멈춰줄 수 있으니...

하지만 아예 태생부터 똘아이인 라이트닝은 정상인 이그니스 5인으로는 무리

[@레테]

보먼전에도 나왔지만 라이트닝은 열등감을 가지고 태어났습니다. 그 하나만으로도 극한으로 할 시간은 충분했고 결과적으로 적대적인 이그니스가 된것이죠. 실제로 작중에서 라이트닝이 스스로 미래 시뮬레이션 돌리는것이 몇억배 속도로 사고 하면서 경험 쌓는 거라 보면 됩니다

[@레테]

호의 이외의 이그니스는 필연적으로 저런 결과를 부를 수 밖에 없다는게 이 글의 요지입니당

[geekqrin]

공존은 불가능하다는 것이 주제라니

무섭군요.

[SH1N]

동료들을 전부 잃고 아이의 마음이 부숴져 인간에 대한 신뢰를 모두 잃게 된 아이한텐 결국은 인간을 저버리는 선택지만 남는다는 거군요 호고곡

이렇게 보면 아이는 얼추 시뮬 타령하는 게 이해가 가는데 라이트닝은 그냥 태생이 못되먹어서 그래! 라서 적당히 땡치려는 걸로밖에 안 보여서 쵸큼... 아니면 작중에서 라이트닝의 타고난 팬서비스력과 열등감을 시뮬결과랑 좀더 연계성 있게 설명해주면 좋았을 텐데 말이죠

[@레테]

확실히 많은 사람들이 아는 내용이 아닌만큼 작품 내에서 좀 더 친절하게 설명이 있었으면 더 좋았을것 같네요