이 워크플로는 Flux AI 모델을 사용하여 고품질 이미지를 생성하고 이를 CogVideo를 사용해 비디오로 전환하는 워크플로입니다. 이렇게 하면 텍스트 프롬프트만으로도 비디오를 생성할 수 있을 뿐 아니라, 원래의 CogVideo txt2vid 모델보다 품질이 좋은 비디오를 생성할 수 있습니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 요즘 가장 널리 사용되고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
따라하기
1 단계: Flux1 dev GGUF 모델 다운로드
여기에는 간단하게만 정리했습니다. 더 자세한 내용은 이 글을 참고하세요.
GGUF unet 모델
아래 사이트에서 파일을 다운로드 받아, ComfyUI\models\unet 폴더에 넣어줍니다.
여기에는 아주 많은 파일이 들어있는데, 다 받을 필요는 없습니다. 저는 f16, Q8_0, Q3_K_S 등 세가지 종류만 받았습니다.
CLIP 모델
아래 사이트에서 파일을 다운로드 받아, ComfyUI\models\clip 폴더에 넣어줍니다. 마찬가지로 다 받을 필요가 없고, 다운로드 받은 unet과 동일한 버전만 받으시면 됩니다.
vae 모델
마지막으로 vae 모델이 필요합니다. 여기에 들어가서 다운로드 받은뒤, ComfyUI_windows_portable\ComfyUI\models\vae 폴더에 넣어주시면 됩니다. 원하시면 구분하기 쉽도록 파일명을 flux-dev-gguf.safetensors 로 변경해주시면 좋습니다.
2 단계: 워크플로 불러오기
아래의 JSON 파일을 다운로드 받아서, ComfyUI 화면에 Drag&Drop 합니다.
이 워크플로를 불러오면 대부분 오류가 발생할 것입니다. 그러한 경우, 다음과 같은 작업이 필요합니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 프롬프트 검토
머리가 큰 보라색 피부 외계인이 아이스크림을 먹고 있다는 내용입니다. 원하시면 다른 내용으로 바꾸시면 됩니다.
프롬프트: A realistic photo of a cute alien with a large head with rough purple skin, eating ice-cream in human clothes on NY city busy street, front view, wearing a hat
4 단계: 비디오 생성
먼저 좌측 위에 있는 [Fast Groups Muter] 노드에서 아래와 같이 비디오 생성 그룹은 끄고 실행시켜봅니다. 생성된 이미지가 마음에 안들면, 씨드번호를 변경해서 마음에 들때 까지 돌립니다.
이미지가 마음에 들면, 아래와 같이 두개를 모두 켜두고 실행시킵니다. 씨드번호가 고정되어 있기 때문에 Flux 부분은 시행되지 않고 CogVideo 그룹만 실행됩니다.
아래는 이렇게 해서 생성된 비디오입니다. 704*480 해상도에 49 프레임을 생성하는데 50분 정도가 소요되네요(비디오 생성시간 만). 거의 동일한 조건인데 비디오 생성시간이 어떤건 15분 어떤건 1시간 10분... 들쭉 날쭉하는 이유를 잘 모르겠네요.
그래도 어쨌든 정말 품질은 좋네요~~ ㅎ
아래는 다른 예입니다.
프롬프트: A beautiful woman gently tilts her head back, feeling a soft breeze on her face. She is surrounded by large, blooming pink roses and fluffy clouds, creating a dreamy, ethereal atmosphere. The delicate interplay of light and color enhances the serene and romantic mood of the scene.
민, 푸른하늘
이 글은 stable-diffusion-art.com의 글을 참고하여 GGUF 용으로 변경하는 등 편집하여 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기