인공지능과 공간정보

AI 이미지/AI Video

AnimateDiff 모핑 비디오(ComfyUI)

하늘이푸른오늘 2025. 1. 9. 22:36

이 워크플로는 아래와 같은 모핑(morphing) 비디오를 생성합니다. (모핑이란 하나의 형체가 전혀 다른 이미지로 변화하는 기법을 말합니다. 위키 참조) 프롬프트를 사용해 각각의 이미지를 미세하게 조정할 수도 있고, 변환 패턴도 조정할 수 있습니다. 

소프트웨어

이 글에서는 노드 기반의 스테이블 디퓨전 GUI인 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법과 초보가이드를 확인하시기 바랍니다. 

이 워크플로의 원리

개요

모핑 비디오는 AnimateDiff 를 이용해서 프레임간의 일관성을 유지합니다. 이 워크플로에서는 아래와 같이 4개의 참조 이미지를 사용하는데, 각각 1/4 간격으로 비디오에 삽입합니다. 이 4장의 비디오는 SDXL 모델을 사용해 독립적으로 생성하였습니다. 

이미지 주입

비디오 생성과정에서 IP adapter를 사용하여 이미지를 주입합니다. 각 이미지는 마스크를 사용하여 주입함으로써, 비디오의 일부에만 영향을 미치도록 합니다.

동적 패턴

비디오를 자세히 보시면 비디오 중심으로부터 시작해서 바깥으로 퍼지는 움직임을 보실 수 있습니다. 이는 QR ControlNet 을 비디오 프레임에 주입한 효과입니다.

후처리 옵션

스테이블 디퓨전을 사용하여 이미지를 생성한 후, 원하시면 다음과 같은 작업을 추가로 실시할 수 있습니다(모두 워크플로 내에 포함되어 있습니다).

  • 고해상도로 비디오 Upscale 
  • 프레임을 내삽하여 부드러운 비디오 생성
  • 비디오에 음악 삽입
  • 색 발란스의 수정

따라하기

1 단계: 워크플로 불러오기

아래의 파일 또는 이미지를 다운로드 받아서 ComfyUI 에 불러옵니다. 화면에 Drag&Drop해도 되고 메뉴에서 Workflow->Open을 선택해도 됩니다.

animatediff_morph_txt2video2.json
0.07MB

이 워크플로는 대부분 그냥 그대로 사용할 수 있지만, 때때로 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요할 수 있습니다.

2 단계: 모델 다운로드

이 워크플로에서는 다음과 같은 모델들을 사용합니다.

체크포인트 모델

Juggernaut Reborn(SD 1.5) 과 Juggernaut XL (SDXL) 를 다운로드 받아, ComfyUI/models/checkpoints 폴더에 넣어줍니다. (A1111과 모델을 공유할 경우, 이 글을 보세요.)

다 받아진 후 화면을 리프레시(F5)하고 Images 그룹에 있는 [Load Checkpoint]  노드 및 Settings 그룹에 있는 [Load Checkpoint] 노에서 해당 모델을 선택합니다.

IP adapter

IP adapter 는 얼굴과 옷을 일관성있게 유지하는 데 사용합니다. SD1.5 IP adapter Plus 모델을 다운로드 받아 ComfyUI/models/ipadapter에 넣어줍니다. 

다음으로 SD 1.5 CLIP vision 모델을 다운로드 받아 ComfyUI/models/clip_vision 폴더에 넣어줍니다. 그리고 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 라는 이름으로 파일명을 변경해 줍니다. 

이 두 개의 모델은 IPAdapter Unified Loader 모드에서 사용합니다. (별도로 지정할 필요가 없습니다)

콘트롤넷

QR Code Monster ControlNet 모델을 다운로드 받아 ComfyUI/models/controlnet 폴더에 넣어줍니다. 

다운로드가 완료되면 화면을 새로고침(F5)하고 QRCode ControlNet 그룹에 있는 [Load Advanced Contolnet Model] 노드에서 선택합니다.

AnimateDiff

AminateDiff MM-Stablilized High 모델을 다운로드 받아, ComfyUI/models/animatediff_models에 넣어줍니다.

다운로드가 완료되면 화면을 새로고침(F5)하고 [Load AnimateDiff Model] 노드에서 선택합니다.

Upscaler

4x-Ultrasharp upscaler 모델을 다운로드 받아, ComfyUI/models/upscale_models 폴더에 넣어줍니다.

3 단계: 비디오 생성

이제 [Queue] 버튼을 누르면 비디오 생성이 시작됩니다.

메모리 에러가 발생하면 run_video_gpu.bat 파일을 편집하여 --disable-smart-memory 옵션을 추가해줍니다. 그래도 에러가 발생할 경우에는 생성되는 비디오의 크기를 줄여주면 해결됩니다.

.python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --disable-smart-memory

아래가 생성된 비디오입니다.

비디오 변경

이미지와 전이의 균형

이 비디오는 IP-Adapter와 QR Code 콘트롤넷 사이에 균형을 잡아 생성됩니다. IP adapter는 기본적으로 정적인 이미지를 생성하는데 사용됩니다. 또한 QR Code 콘트롤넷은 패턴 비디오를 따르도록 합니다.

정적 이미지 생성시 프롬프트를 변경할 경우, QR Code 콘트롤넷의 효과를 조정해야 할 수도 있습니다. 이 경우, 다음을 조정합니다.

  • strength 증가
  • end_percent 증가

IP-adapter의 설정값은 거의 변경이 필요없지만, 필요하다면 위와 비슷하게 변경할 수 있습니다.

씨드(Seed)

KSampler 노드에서 씨드값을 변경하면 다른 이미지로 변경되고, 이에 따라 비디오가 변경됩니다.

프롬프트

프롬프트를 사용하면 각 이미지를 변경할 수 있습니다.

스타일

프롬프트를 바꾸거나, 체크포인트 파일을 바꾸면 스타일이 달라집니다. 이 글에서는 일반적인 목적의 juggernaut 모델을 사용하였으나, 원하면 다른 것으로 바꾸시면 됩니다. 

또한 이 워크플로에서 이미지 생성 프롬프트에는 아래와 같은 키워드가 추가되어 있습니다.

vivid color, 3D animation

동적 패턴

동적 패턴은 [Load Video (Path)] 노드에서 변경할 수 있습니다. 

아래는 몇가지 예입니다. 
https://imgur.com/FZojh3v.mp4 https://imgur.com/EHe7cAU.mp4 https://imgur.com/pAcpNXv.mp4
https://imgur.com/aRw6U8r.mp4 https://imgur.com/0eVlPZH.mp4 https://imgur.com/DlcJRtS.mp4

비디오 크기

이 워크플로에서 비디오 크기는 432x768 로 설정되어 있습니다. 원하시면 변경해도 되지만, 이때 Images 그룹에 있는 이미지들과 종횡비를 맞춰주어야 합니다.

비디오 길이

이 워크프로는 총 96 프레임의 비디오를 생성합니다.

비디오 길이를 변경하려면 프레임수(위에서 batch_size)를 변경하면 됩니다. 단, 이를 조정하고 나서, [Create Fade Mask Advanced]에 포함된 프레임 숫자도 같은 비율로 조정해 주어야 합니다.

업스케일

이 워크플로는 Upscale 그룹에서 업스케일을 실행합니다. 원하시면 업스케일 모델을 바꿀 수 있으며, 이미지 크기도 변경할 수 있습니다.  업스케일에 관한 내용은 여기를 읽어보시기 바랍니다.

프레임 내삽

프레임 내삽 설정은 [RIFE VFI] 노드에서 변경할 수 있습니다. 여기에서는  2배로 설정되어 있습니다.

색 교정

[Color Correct (mtb)]노드에서는 비디오에 나타나는 색 결함을 수정합니다. 

이상입니다.

이 글은 Stable-diffusion-art.com의 글을 번역하면서 제가 필요한대로 설정을 바꾸고 테스트하면서 작성했습니다.

====

 

'AI 이미지/AI Video'의 다른글

  • 현재글AnimateDiff 모핑 비디오(ComfyUI)

관련글

댓글

티스토리툴바