이 워크플로는 높은 품질의 이미지를 생성하는 Flux1 dev 모델과, 이미지로부터 비디오를 생성하는 Stable Video Diffusion(SVD)를 결합하여 짧은 비디오를 생성하는 워크플로입니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
따라하기
1단계: 모델 다운로드
GGUF unet 모델
저는 Flux dev GGUF 모델을 사용합니다(참고 Schnell 모델). 링크에 들어가면 아래와 같이 여러개의 파일이 보이는데, 원하는 것만 골라서 다운로드 받으시면 됩니다. 저는 3070을 사용하는데, 이중에서 F16, Q8_0, Q3_K_S 등 세가지를 받았습니다. F16도 잘 돌아갑니다. 다운로드 받은 파일은 ComfyUI\models\unet 속에 넣어주시면 됩니다.
CLIP 모델
다음은 CLIP 모델입니다. 먼저 여기에 들어가서 t5 clip encoder GGUF 파일을 다운로드 받아, ComfyUI\models\clip 에 넣어줍니다. 마찬가지로 아래와 같이 많은 파일이 보이는데, 저는 여기도 마찬가지로 같은 버전으로 받았습니다.
다음으로 일반적인 클립인 clip-l 모델을 다운로드 받아서 동일한 폴더에 넣어줍니다.
아래가 제가 다운로드 받은 결과입니다.
vae 모델
마지막으로 vae 모델이 필요합니다. 여기에 들어가서 다운로드 받은뒤, ComfyUI\models\vae 폴더에 넣어주시면 됩니다. 원하시면 구분하기 쉽도록 파일명을 flux-dev-gguf.safetensors 로 변경해주시면 좋습니다.
SVD 모델
SVD XT 모델을 다운로드 받아, ComfyUI\models\checkpoints 폴더에 넣어줍니다.
2단계: 워크플로 불러오기
아래의 JSON 파일을 ComfyUI에 불러옵니다. 좌측위의 Workflow->Open 메뉴를 사용하면 됩니다. 참고로 이 워크플로는 ComfyUI Example 사이트에 있는 FLUX 샘플에서 Loader 부분만 GGUF 용으로 변경한 것입니다.
이 워크플로를 불러오면 대부분 오류가 발생할 것입니다. 그러한 경우, 다음과 같은 작업이 필요합니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3단계: 프롬프트 검토
이 워크플로에서는 아래와 같이 아주 간단한 프롬프트를 사용합니다. 원하시는대로 고쳐 사용하시면 됩니다.
프롬프트: Photo of a guppy fish tank
4단계: 이미지 생성
워크플로 좌측에 보시면 아래와 같은 [Fast Groups Muter] 노드가 있습니다. 그룹 단위로 실행 여부를 선택할 수 있는 편리한 노드입니다. 먼저 아래쪽에 있는 "Enable Image to Video"을 끄고 실행하면 이미지만 생성됩니다.
이미지가 마음에 들면, 그때 아래와 같이 스위치를 바꿔주고 실행하면 이번엔 이미지는 생성되지 않고, 비디오만 생성됩니다. 비디오도 마음에 들 때까지 여러번 생성할 수 있습니다.
이제 [Generate] 버튼을 누르면 아래와 같은 비디오가 생성됩니다.
다른 예제
아래는 프롬프트를 바꾸고 생성해 본 겁니다. 이 프롬프트는 ChatGPT의 도움을 받아 생성한 겁니다.
프롬프트: A tranquil aquarium filled with lush green aquatic plants, where vibrant guppies swim gracefully. Soft light filters through the water, casting a peaceful glow, enhancing the serene and harmonious underwater atmosphere.
이상입니다~
민, 푸른하늘
이 글은 stable-diffusion-art.com의 글을 참고하여 GGUF 용으로 바꾸고 다른 예제로 변경해 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기