Hunyuan Video는 자신의 PC에서 돌릴 수 있는 여러가지 비디오 모델중 가장 품질이 좋은 축에 속하는 모델입니다. 거기다가 다른 모델에 비하면 속도도 상당히 빠른 편입니다. Hunyuan Video 는 텍스트-비디오, 참조이미지를 사용한 비디오, 이미지-비디오 등을 지원하며, LoRA와 함께 사용하는 것도 가능한, 다재다능한 모델입니다.
다만, 많은 사용자들이 지적하는 가장 큰 문제는 생성 속도가 상당히 늦다는 것이었습니다. (49 프레임, 480p 비디오를 생성할 때 약 6분 정도 소요되었습니다. 여기를 읽어보세요) 이 글에서는 Hunyuan 이미지-비디오 생성속도를 3배 올리는 방법을 소개시켜드립니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력하며, 현재 거의 대세로 자리잡고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
Teacache의 원리
Teacache는 샘플링을 하는 도중 모든 신경망이 동일하게 작용하는 것이 아니라, 일부 신경망 블록은 거의 변화가 없다는 것을 관찰하여 이를 활용하여 속도를 올립니다. 연구자들은 디퓨전 모델이 최초의 샘플링 단계에서 대략적인 이미지를 생성한 후, 이어지는 단계에서 디테일을 채워간다는 것을 파악했습니다.
Teacache 는 샘플링을 하는 동안 일부 단계에서 실제 샘플링을 하는 대신 지능적으로 캐시로 대체합니다. 즉, 현재의 입력이 캐시와 비슷할 경우, 캐시로 저장된 출력을 사용하고, 입력이 상당히 다를 때만 캐시를 재 계산하는 방식을 취합니다. 사용자가 임계값을 지정하여 얼마나 캐시를 재계산할지 결정할 수 있습니다. TeaCache: 생성속도를 두배로 글도 읽어보시기 바랍니다.
Hunyuan Teacache 이미지-비디오 따라하기
이 워크플로는 입력 이미지를 시작 프레임으로 하는 Webp 비디오를 생성합니다(원하시면 mp4로 출력하셔도 됩니다) 아래는 4090 에서 720p(1280x720 픽셀) 비디오를 생성하는데 소요되는 시간입니다.
| Teacache 설정 | 생성 시간 |
| 1.0 x | 16 분 |
| 1.6 x | 11 분 |
| 4.4 x | 5 분 |
저의 경우엔 720p 비디오를 생성하는 것 자체가 목적이 아니라서, 저는 480p(720x480 픽셀) 비디오를 생성하도록 설정했습니다. Teacache를 적용하지 않았을 때의 생성시간은 약 6분 정도였는데, 이 워크플로를 적용하니 2:30초 정도 걸리네요.
1 단계: 모델 다운로드
이미 Hunyuan 이미지-비디오 워크플로를 실행하셨을 경우, 아래의 모델은 모두 설치되어 있을 것입니다.\
아래의 모델을 다운로드 받아 ComfyUI > models > diffusion_models 폴더에 넣어줍니다.
아래의 텍스트 인코더 모델을 다운로드 받아 ComfyUI > models > text_encoders 폴더에 넣어줍니다.
아래의 CLIP vision 모델을 다운로드 받아 ComfyUI > models > clip_vision 폴더에 넣어줍니다.
아래의 Wan VAE 모델을 다운로드 받아 ComfyUI > models > vae 폴더에 넣어줍니다.
2 단계: 워크플로 불러오기
아래의 Json 파일을 다운로드 받아 ComfyUI로 불러옵니다.
위의 워크플로를 사용할 때, 없는 커스톰 노드를 가져오기를 해도 설치가 안되는 경우, 아래의 워크플로를 사용하시 바랍니다(저도 이 워크플로를 사용하고 있습니다). 이 워크플로는 4.4x 속도를 빠르게 하는 옵션 대신, 2.1x 옵션으로 제한되는 것만 다릅니다.
이 워크플로를 불러오면 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요합니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 입력 이미지 업로드
첫 프레임으로 사용할 이미지를 업로드 합니다. 아래의 이미지를 사용하셔도 됩니다.
4 단계: 프롬프트 검토
생성하고자 하는 비디오 내용을 긍정적 프롬프트에 입력합니다.
5 단계: 비디오 생성
이제 [Queue] 버튼을 누르면 아래와 같은 비디오가 생성됩니다.
speedup 옵션을 바꾸면서 테스트해본 결과입니다. 참고로, 아래의 생성속도는 샘플링 시간만 고려한 것입니다.
 |
 |
 |
| Original(1x): 생성시간 4:58 | Fast(1.6x) : 생성시간 3:29 | Faster(2.1x) : 생성시간 2:30 |
보시는 것처럼, Faster option을 적용해도 생성되는 비디오의 품질은 거의 문제가 없고, 속도는 2배정도 빨라지네요. 아주 좋습니다. ㅎ
이상입니다.
이 글은 stable-diffusion-art.com의 글을 번역하면서 제 테스트 결과로 대체하여 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기