[정보] 나이트쉐이드로 AI에 독풀기 테스트

[5700323]

나이트쉐이드라고 이미지 생성형 ai에 독을 푼다는 프로그램이 어제 나왔습니다.

(https://nightshade.cs.uchicago.edu/index.html)
훈련용 이미지를 ai한테는 전혀 다르게 인식되게 만들어서 모델 자체를 망가뜨린다는 원리라고 합니다.

예를 들어 아래의 소녀 이미지가 나이트쉐이드 처리되었다고 가정한다면
훈련을 위해 해당 이미지에 사람이 부착하는 캡션(또는 태그)는 대략 1girl, solo, long hair 등등 일 것입니다.

훈련용 이미지	사람에게 인식되는 것	AI에게 인식되는 것
	"이러한 이미지를 1girl이라고 학습시켜야겠다."	"이게 1girl이구나."

하지만 ai에게는 해당 이미지가 강아지나 고양이 같이 전혀 다른 이미지로 인식이 되기 때문에, 이 나이트쉐이드 처리된 이미지로 훈련한 모델에게 1girl, solo, upper body 등의 프롬프트로 생성을 시도하면 소녀가 아니라 개나 고양이 비스무레한게 나오게 된다는 것입니다.

근데 이전에 이 팀에서 내놓았던 글레이즈라고 비슷한게 있었는데 별로 효과를 봤다는 사례를 못봤거든요.
이번에는 좀 나아졌을지 궁금해서 한번 테스트 해봤습니다.

일단 이미지에 나이트쉐이드 처리를 해봤습니다.

가장 좌측부터 비교용 원본 이미지, low 강도 처리, default 강도 처리, high 강도 처리를 거친 이미지입니다.

(렌더링 시간 옵션도 있는데 한장 한장에 너무 오래걸려서 이거는 그냥 일괄적으로 가장 빠른 옵션인 faster로 통일함)
low 및 default 까지는 나름 괜찮아 보입니다. 반면 high 강도는 너무 노이즈가 심합니다.

그래도 일단 효과를 보고 싶으니까 생성한 이미지를 강도 high로 설정하여 처리한 후 1,000스텝 동안 로라 훈련을 해봤습니다. 모든 이미지의 캡션에는 1girl이 포함되어 있습니다.

연구팀에서 주장하기로는 훈련용 데이터셋에 일부만 나이트쉐이드 처리된 이미지가 포함되어도 모델 자체를 망가뜨린다고 하니까

주장대로라면 아예 나이트쉐이드 처리된 이미지만으로 훈련을 하면 모델의 여성 캐릭터를 만드는 능력에 큰 영향을 줘야 할 것입니다.

아래는 위의 설정으로 훈련한 로라를 적용하여 생성한 이미지입니다. 근데 별로 영향이 없는 것 같습니다. 나이트쉐이드의 원리대로라면 분명 1girl을 입력했을 때 완전 다른 개념들로 나와야 할텐데 그냥 그대로 1girl이 출력됩니다. 

품질이 떨어지기는 했는데 이건 노이즈가 자글자글한 데이터셋의 영향이지 딱히 나이트쉐이드가 작동한 것 같지는 않아보입니다. 이런 식으로 품질을 저하시키려면 그냥 노이즈로 가득 채우거나 워터마크로 도배해버리는게 나을거고요.

혹시나 훈련 시간이 부족했을 수도 있어서 로라 적용 강도를 강하게도 적용해봤습니다. 이러면 일단은 모델이 학습한 방향성을 조금이나마 더 볼 수 있지 않을까 싶었습니다.

가장 좌측부터 미적용, weight=1.0, weight=2.0, weight=3.0입니다.

강도를 높일수록 그냥 로라를 과하게 적용할 때 나오는 현상이 발생하지 따로 1girl 개념이 다른 개념으로 오도되는 것 같지는 않습니다.

물론 정말 간단한 테스트인 만큼 테스트 자체에 한계도 많습니다.
일단 데이터셋이 10장밖에 안된다는 것입니다. 데이터셋의 100%를 나이트쉐이드 처리한 이미지로 채우기는 했지만 그래도 양 자체가 적긴 하죠.

100장정도 가지고 테스트 해보고 싶었는데 한장에 걸리는 시간이 너무 길어서ㅎㅎㅈㅅ
그리고 아니메 스타일에만 잘 대응을 못하는 것일 수도 있습니다. 글레이즈때를 생각하면 논문에서는 구체적으로 언급을 계속 피하긴 하지만 결국은 자신들도 스테이블 디퓨전 기반이라는 이야기로만 들렸거든요. 아마 이번에도 SD나 SDXL을 이용하지 않았을까 싶은데 기본 모델과 아니메 모델의 차이 때문에 뭔가 효과가 잘 안나는 것일 수도 있겠습니다.
아니면 로라 훈련같은 간단한 파인튜닝이 대상이 아니라 더 근간이 되는 사전훈련을 타겟으로 한 것일 수도 있고, 아예 제가 나이트쉐이드 설정을 잘못한 것일 수도 있습니다.

일단 아니메풍 모델을 대상으로는 한 로라 학습에는 큰 효과가 없어 보입니다.

[Whild]

생각보다 드라마틱한 효과가 있진 않군요.

[5700323]

넹, 글레이즈도 그렇고 실질적인 학습 방지 효과보다는 법률적인 관점에서 더 우위를 잡기 위한 수단 아닐까 싶어요.
동일성유지권에 대한 침해나 기술적 보호조치 무력화 시도로 엮으면서 법적인 분쟁 시 좀 더 이점을 가질 수 있을 수도?

[Whild]

몇년전 만해도 아티스트들에겐 생각해보지 못한 상황인건 분명해 보입니다. 생성 ai와 아티스트들이 공존하려면 어떻게든 원하지 않는 아티스트들이 자신의 창작물이 학습에 사용되는 걸 거부할 수단이 필요할태니 계속 발전해 나갈 거 같군요.