멀티 컨트롤넷은 말 그대로 여러개의 컨트롤넷을 동시에 사용할 수 있도록 하는 기능으로 예를 들면 뎁스와 포즈를 동시에 입력하는 것이 가능합니다.
사용법은 다음과 같습니다.
1. 설정의 ControlNet 탭에 있는 ControlNet: Max models amount (requires restart)를 1 이상으로 설정합니다.
해당 기능은 2개 이상의 컨트롤넷 모델을 동시에 사용하기 때문에 Vram 소모가 1개보다 많으니 주의하시기 바랍니다.
2. 설정을 저장하고 Webui를 재시작하면 아래 이미지처럼 지정한 숫자만큼의 컨트롤넷 탭이 표시됩니다.
나머지 사용법은 일반적인 컨트롤넷과 동일합니다.
먼저 아래와 같은 오픈포즈 뼈대 이미지와 뎁스 이미지를 동시에 입력합니다.
멀티 컨트롤넷은 입력된 포즈와 뎁스 중에서 무엇이 앞에 있고 뒤에 있는지 인식하지 못 하기 때문에 구성이 전혀 다른 이미지(포즈, 뎁스)를 동시에 넣으면 이상하게 뒤섞인 이미지가 생성될 확률이 높습니다.
오픈포즈 뼈대 / 뎁스 이미지 / 결과
이런 경우에는 Guidance strength나 weight를 조정할 필요가 있습니다.
배경처럼 뒤로 오는 이미지의 강도를 낮추는 것이 원하는 장면을 생성하는데 도움이 됩니다.
그냥 입력했을 때와 배경의 강도를 낮추었을 때의 차이는 아래 이미지와 같습니다.
멀티 컨트롤넷을 100프로 활용하려면 입력되는 이미지들을 정렬할 필요가 있습니다.
이번에는 오픈포즈와 Seg를 동시에 사용해보도록 하겠습니다.
오픈포즈 뼈대로 자세를 잡고 Seg이미지에는 동일한 부위에 인간을 의미하는 보라색을 칠해줍니다.
결과는 아래 이미지와 같습니다.
오픈포즈 뼈대 / Seg 이미지 / 결과물
포즈와 seg의 위치가 정렬되어 의도했던 이미지를 생성하고 있는 것을 확인할 수 있습니다.
Seg는 정해진 색상에 매칭되는 대상을 원하는 위치에 배치하는 것이 가능하지만 포즈 같은 디테일이 랜덤하게 생성되고, 오픈포즈의 경우 반대로 포즈는 확실하지만 나머지가 랜덤하게 생성됩니다.
멀티 컨트롤넷을 사용하면 이러한 장점들을 합치는 것이 가능합니다.
Seg만 사용 / 오픈포즈만 사용 / Seg + 오픈포즈
오픈포즈 모델은 손가락이 없는 뼈대 이미지를 사용해서 학습되었기 때문에 손가락을 넣어도 인식하지 못합니다.
오픈포즈 뼈대에 손가락을 추가하면 아래 이미지 같이 그냥 이상한 덩어리가 생성되는 경우가 대부분입니다.
뎁스 모델을 사용하면 손가락을 비교적 정확하게 생성하는 것이 가능하지만 입력된 이미지와 그로부터 나온 뎁스 이미지와 비슷한 형태의 이미지만 생성할 수 있다는 한계가 있습니다.
이제 멀티 컨트롤넷을 사용하면 오픈포즈의 포즈와 뎁스의 손가락 정밀성을 합쳐봅시다.
우리가 필요한 것은 손가락의 뎁스 이미지뿐이니 오픈포즈 뼈대에 손 메시를 추가해줍니다.
해당 블렌더 파일은 여기서 받으실 수 있습니다 : Character bones that look like Openpose for blender _ Ver_3.5 Depth+Canny (gumroad.com)
손 모델 뎁스와 오픈포즈 이미지를 별도로 렌더링하고 멀티 컨트롤넷에 각각 입력하면 아래와 같이 보다 정확한 손가락 이미지를 얻을 수 있습니다.
뎁스 모델의 weight를 올리면 꽤 복잡한 손가락 포즈도 가능합니다.
하지만 아래 이미지처럼 구분이 명확하지 않은 손가락 포즈는 부분적으로 뭉게져서 나올 확률이 높습니다.
물론 뎁스 이외의 모델로도 가능합니다.
개인적인 테스트로는 손가락 포즈를 지정하는데는 Depth와 Canny가 가장 효과적이었습니다.
Canny와 오픈포즈를 사용해서 생성한 손가락 포즈 이미지들은 아래와 같습니다.
(IP보기클릭)125.128.***.***
유게에서 보기 드문 논문 같은 유익한 글…
(IP보기클릭)116.44.***.***
(IP보기클릭)118.235.***.***
AI그림이 코딩하는것과 비슷한거보니 코딩해주는 AI와 합쳐지면 더 무서워지겠네...
(IP보기클릭)58.228.***.***
git이 제대로 환경변수에 입력되지 않았나봐요 chatGPT에게 에러코드 복사해서 붙여줬더니 알려주네요 ai그림 배우려고 ai한테 질문하고 ㅎㅎ 진짜 이런거라도 안배우면 조만간 어찌될지 끔찍하네요
(IP보기클릭)211.36.***.***
(IP보기클릭)116.44.***.***
(IP보기클릭)125.128.***.***
유게에서 보기 드문 논문 같은 유익한 글…
(IP보기클릭)118.235.***.***
AI그림이 코딩하는것과 비슷한거보니 코딩해주는 AI와 합쳐지면 더 무서워지겠네...
(IP보기클릭)39.118.***.***
(IP보기클릭)175.197.***.***
(IP보기클릭)211.234.***.***
(IP보기클릭)58.228.***.***
(IP보기클릭)58.228.***.***
루리웹-6289004982
git이 제대로 환경변수에 입력되지 않았나봐요 chatGPT에게 에러코드 복사해서 붙여줬더니 알려주네요 ai그림 배우려고 ai한테 질문하고 ㅎㅎ 진짜 이런거라도 안배우면 조만간 어찌될지 끔찍하네요 | 23.02.27 14:25 | | |
(IP보기클릭)118.216.***.***
(IP보기클릭)121.162.***.***
현재로서는 드림부스나 로라를 사용해서 캐릭터를 학습하고 img2img를 사용하는게 가장 확실한 방법입니다. 아래 트위터에 올라온 영상의 경우 봇치더락의 주인공 봇치를 학습시킨 드림부스 모델과 파츠를 seg 칼라로 분리한 3D 모델을 사용해 제작된 것으로 높은 일관성을 보여줍니다. https://twitter.com/TDS_95514874/status/1626817468839911426 | 23.03.02 12:06 | | |
(IP보기클릭)118.216.***.***
비디오에 사용되는 일관성을 위한 기술이 개별 이미지들을 한장씩 뽑아내서 만화같은걸 만드는 경우에도 적용이 될 수 있나요? 아니면 여기엔 다른 기술이 필요한가요? | 23.03.02 16:04 | | |
(IP보기클릭)118.176.***.***
충분히 만화 만드는데 쓰일 수 있지 않을까요? 저도 웹툰을 이걸로 작업해보려고 합니다. 아직 배경을 어떻게 처리해야 하는 지에 대해서는 고민이 좀 더 필요할 수 있을 거 같아요. | 23.03.04 15:47 | | |
(IP보기클릭)121.162.***.***
동영상을 만들 수 있으면 당연히 만화도 가능합니다. 배경의 경우 캐릭터와 배경을 한번에 생성하기보다는 배경따로 캐릭터 따로 생성한 다음 포토샵 등으로 합치고, 약한 강도의 img2img로 다시 처리하는게 가장 깔끔합니다. | 23.03.04 16:08 | | |
(IP보기클릭)118.216.***.***
답변 감사합니다! 역시 포토샵, 블렌더의 응용은 필수인것같습니다 | 23.03.16 21:01 | | |
(IP보기클릭)211.249.***.***
(IP보기클릭)1.176.***.***