이 ComfyUI 워크플로는 세 개의 이미지를 생성한 후, 각각을 기반으로 Stable Video Diffuision 비디오를 생성하고, 이들을 결합해 하나의 비디오로 만드는 워크플로입니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
따라하기
1단계: 모델 다운로드
SVD TX 1.1 모델을 다운로드 받아야 합니다. 먼저 여기에서 사용 동의서를 작성한 후, 여기에서 모델을 다운로드 받으시면 됩니다.
이미지 생성에는 JuggernautXL 모델을 사용합니다.
이 두 개의 모델을 다운받은 후에는 ComfyUI\models\checkpoints 폴더에 넣어줍니다. (A1111과 모델을 공유하실 경우, 이 글을 읽어보세요)
2단계: ComfyUI 워크플로 다운로드
아래의 JSON 파일을 다운로드 받고, 좌측위 메뉴에서 Workflow->Open을 선택해 워크플로를 불러들입니다.
이 워크플로를 사용하기 위해서는 아래와 같은 작업이 필요할 수 있습니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3단계: 모델 지정하기
맨 좌측의 [Load Checkpoint] 모델에서는 아래와 같이 JuggernautXL 모델을 선택합니다. 만약 안보이면 화면을 새로고침하시면 됩니다.
SVD 모델은 가운데 위에 있는 [Image Only Checkpoint Loader] 노드에서 선택해줍니다.
4 단계: 프롬프트 검토
이 워크플로에서는 먼저 3개의 사이보그 이미지를 생성하고 그 이미지를 기준으로 비디오를 생성하게 됩니다. 아래는 사이보그를 생성하는 프롬프트입니다.
사이보그1: photo of a cyborg, half human, mechanical tentacles, city ruin background, dark movie theme
사이보그2: photo of a female cyborg, half robotic face, half human, glowing eyes, long floating hairs are snake wires, mechanical bionic, city ruin background, dark movie theme, windy
사이보그3: photo of a male cyborg, half human,long floating mechanical hair, mechanical bionic, city ruin background, dark movie theme, ready for action
여기에서 보는 것처럼, 세 개의 프롬프트에서 환경(city ruin background, dark movie theme)를 비슷하게 유지하고 있어서 비슷한 분위기가 연출되고 있습니다.
5 단계: 비디오 생성
이제 [Queue] 버튼을 누르면 비디오가 생성됩니다. 아래는 webp 포맷입니다.
비디오 변경 방법
원하는 장면이 있으면 프롬프트를 바꿔주면 됩니다. 그런데, 비디오까지 생성하고나서 마음에 안들면 시간 낭비가 됩니다. 이때, 가장 왼쪽에 있는 [Fast Groups Muter] 노드에서 Image to Video 라고 된 부분을 끄고 돌리면 이미지만 생성됩니다. 이미지가 마음에 들면 그때 다시 켜주고 돌려주시면 되고요.
 |
 |
이미지가 마음에 들더라도 생성되는 이미지가 마음에 들지 않을 수 있습니다. 이때는 비디오 생성용 KSampler에서 씨드 번호를 바꿔주시면 됩니다.
아래는 이미지의 씨드번호만 바꾸어 생성해본 결과입니다.
이상입니다.
이 글은 stable-diffusion-art.com의 글을 번역하면서 약간 수정해 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기