LTX 비디오는 고품질 비디오를 아주 빠르게 생성할 수 있는, 자신의 PC에서 돌릴 수 있는 비디오 모델입니다. LTX 는 img2vid 모드가 있어서, 이미지를 비디오로 바꿔줄 수 있습니다.
Flux 모델은 현재 고품질의 이미지를 생성할 수 있는 가장 좋은 선택지중 하나입니다. 이 글에서는 Flux의 이미지 품질과 LTX의 빠른 비디오 생성을 통합한 워크플로를 선보입니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
따라하기
1 단계: 모델 다운로드
여기에는 간단하게만 정리했습니다. 더 자세한 내용은 이 글을 참고하세요.
Flux dev GGUF unet 모델
아래 사이트에서 파일을 다운로드 받아, ComfyUI\models\unet 폴더에 넣어줍니다.
여기에는 아주 많은 파일이 들어있는데, 다 받을 필요는 없습니다. 저는 f16, Q8_0, Q3_K_S 등 세가지 종류만 받았습니다.
CLIP 모델
아래 사이트에서 파일을 다운로드 받아, ComfyUI\models\clip 폴더에 넣어줍니다. 마찬가지로 다 받을 필요가 없고, 다운로드 받은 unet과 동일한 버전만 받으시면 됩니다.
vae 모델
마지막으로 vae 모델이 필요합니다. 여기에 들어가서 다운로드 받은뒤, ComfyUI_windows_portable\ComfyUI\models\vae 폴더에 넣어주시면 됩니다. 원하시면 구분하기 쉽도록 파일명을 flux-dev-gguf.safetensors 로 변경해주시면 좋습니다.
LTX-video 모델
LTX 체크포인트 파일을 다운로드 받은 후, ComfyUI\models\checkpoints 폴더에 넣어줍니다.
T5XXL 텍스트 인코더를 다운로드 받아 ComfyUI\models\clips 폴더에 넣어줍니다.
2단계: 워크플로 불러오기
아래의 JSON 파일을 ComfyUI에 불러옵니다. 좌측위의 Workflow->Open 메뉴를 사용하면 됩니다.
이 워크플로를 불러오면 대부분 오류가 발생할 것입니다. 그러한 경우, 다음과 같은 작업이 필요합니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 프롬프트 검토
웅장한 고성을 배경으로, 아름다운 마녀가 화염 마법을 캐스팅하는 모습입니다. 원하시면 다른 내용으로 교체하셔도 됩니다. 이러한 프롬프트는 ChatGPT를 이용하면 쉽게 작성할 수 있습니다.
프롬프트: A mesmerizing scene featuring a beautiful witch with flowing hair and an elegant, mystical appearance. She is casting a glowing, ethereal spell, with magical sparks and trails lighting up the surroundings. The backdrop showcases a grand, ancient castle under a twilight sky, with ivy climbing its weathered walls and soft lights glowing from its windows. The scene feels enchanting and otherworldly, with subtle, dynamic animations in the spell and environment, such as a gentle breeze moving her hair and glowing embers floating in the air, camera zooming in her face
4 단계: 이미지 생성
이제 [Queue]버튼을 누르면 비디오가 생성됩니다.
아래는 다른 비디오입니다.
워크플로 설명
이 워크플로는 세 부분으로 구성됩니다.
- Flux.1 dev GGUF모델을 사용한 이미지 생성
- 비디오의 움직임을 향상시키기 위한 노이즈 추가
- 이미지와 프롬프트를 사용하여 LTX-Video 생성
이 워크플로 맨 왼쪽을 보시면 아래와 같은 [Fast Groups Muter] 노드가 있습니다. 아래와 같이 "Enable Flux"만 켜고 돌리면 이미지가 생성됩니다. 여러번 돌려봐서 이미지가 마음에 들면 그 때 아래 두개도 켜고 돌리면 해당 이미지로 비디오가 생성됩니다.
이상입니다.
개인적인 느낌
LTX 모델의 비디오 생성속도가 아주 빠른 반면, 괜찮은 비디오 얻기가 쉽지 않습니다. 아마 위의 비디오를 얻는 데까지 15번 정도 생성한 것 같네요. 이렇다면 생성속도가 빠르다는 것이 전혀 이점이 아닐 수도 있다는 생각입니다. ㅠㅠ
이상입니다.
이 글은 stable-diffusion-art.com의 글을 참고로, GGUF 버전으로 변경하고 테스트하여 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기