2023/10 15

AnimateDiff - 쉬운 text-to-video

Text-to-video는 말 그대로 입력한 텍스트 프롬프트만 사용해 비디오를 생성하는 기법입니다. 디퓨전 기반의 text-to-video 모델은 매우 빠른 속도로 발전하고 있습니다. 이 글에서는 자신의 PC에서 직접 사용할 수 있는 text-to-video 모델 중 가장 유명한 것중 하나인 AnimateDiff를 소개(논문: AnimateDiff:Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning, Yuwei Guo 등)하고 그 작업과정을 보여드립니다. 참고: 2023년 12월, Stable Video Diffusion이 공개되었습니다. txt2vid, img2vid는 SDV를 사용하는 것이 더 빠르고 품질이 ..

Stable Diffusion 무한 줌 이미지 만들기 - ComfyUI

무한 줌 아트는 어떤 이미지가 끝없이 줌인 또는 줌아웃하는 듯한 착각을 불러 일으키는 시각 예술입니다. 아래가 그러한 예입니다. 이 글은 스테이블 디퓨전의 웹UI 중 하나인 ComfyUI를 사용해서 이러한 이미지를 생성하는 방법에 대한 글입니다. 사이 처음에는 AUTOMATIC1111 으로 무한 줌 이미지를 만드는 방법을 올리려고 했습니다. 제가 구독하고 있는 Stable Diffusion Art 사이의 글을 참고로 해서요. 간략히 정리하면, AUTOMATIC1111에서 Infinite zoom 확장을 설치한 다음, 적절한 시간마다 원하는 프롬프트를 입력하면 된다는 내용입니다. 그다지 어렵지 않을 걸로 생각했습니다. 그런데, 딱 첫번째 실험을 하려고 [Generate]버튼을 눌렀더니 에러가 발생했습니다...

ComfyUI에서 ControlNet 사용방법

이 글은 Stable Diffusion 용 웹UI의 일종인 ComfyUI에서 ControlNet을 사용하는 방법에 대한 글입니다. AUTOMATIC1111 에서 ControlNet을 사용하는 방법은 사용법1과 사용법2를 참고하시면 되는데, 이 글에서는 중복되는 내용은 가능한 한 다루지 않습니다. 특히, ControlNet 모델 별로 어떤 특성이 있는지에 대해서는 사용법2를 꼭 읽어보시기 바랍니다. 참고로, 이 글은 ComfyUI의 ControlNet 과 T2I-Adapter 예제 사이트 을 기본으로 하여 부족하다 싶은 것들은 다른 사이트에서 본 정보를 추가했음을 알려드립니다. 이 글에서 다루는 내용은 아래와 같습니다. Scribble ControlNet T2I-Adapter Depthmap Preproc..

SDXL - ControlNet 사용하기(AUTOMATIC1111)

SDXL은 SD1.5에 비해 훨씬 뛰어난 이미지를 생성하는 모델입니다. 많은 경우 LoRA 등을 사용하지 않고 base 모델만으로도 충분히 괜찮은 이미지를 생성해주죠. 다만, 아직도 여러가지 확장은 안정적이지 않고 아직도 지원되지 않는 것들도 많습니다. 그 중 하나가 ControlNet이었습니다. ControlNet을 사용하면 피사체의 구도, 특히 인물의 자세를 원래의 이미지와 동일하게 복사할 수 있어서 무척 유용한 확장입니다. 거의 모든 확장 중에서 거의 최고의 확장이라고 할 수 있습니다. ControlNet에 대한 좀더 자세한 사항은 이 글(1)과 이 글(2)을 읽어보시기 바랍니다. 사실 ControlNet에 관한 사항은 위의 글 두개에 모두 담았기 때문에 이 글에서는 반복할 필요가 없으니, 반복되는..

SDXL 4093가지 예술가 스타일

SDXL base 모델을 사용해서 여러 예술가들의 스타일을 테스트해보신 분이 있어 소개시켜 드립니다. 여기에 들어가보시면 직접 보실 수 있는데, 총 4387명의 스타일을 정리했다고 합니다. 아래가 대문입니다. 여기에서 예술가 이름을 입력해서 검색할 수도 있고, 아래쪽에 나열된 스타일을 클릭해서 예술가를 찾아갈 수도 있습니다. 예를 들어 "Gogh"로 검색하면 아래와 같이 고흐 스타일의 이미지를 볼 수 있습니다. 또 naturalism 을 선택하면 아래와 같이 4분의 예술가 스타일이 나열됩니다. 이처럼 미리 분류된 tag를 사용해 예술가 스타일을 찾을 수 있습니다. 아래로 내리면 아래와 같이 여러가지 여기에서 아티스트 스타일과 이름을 볼 수 있습니다. 특정한 스타일이 없을 경우, 쭉 훝어보면서 원하는 스타..