Wan 2.1 Video는 소비자용 컴퓨터를 사용해서 고품질의 비디오를 생성할 수 있는 생성형 인공지능 비디오 모델입니다. 그런데, AI 비디오 기업 중 하나인 Remade AI에서 Wan 2.1 Video를 위한 재미있는 LoRA모델을 공개했습니다. 보통의 LoRA는 특정 캐릭터나 스타일을 만들어 넣는 것이 보통이지만, 이 LoRA는 Wan 2.1 비디오에 캐릭터를 회전시키거나 찌브러뜨리거나 부풀리는 등의 특수 효과를 넣어주는 역할을 합니다.
 |
|
| rotate |
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력하며, 현재 거의 대세로 자리잡고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
Remade LoRA for Wan 2.1 Video
Wan AI사에서 공개한 Wan 2.1은 오픈소스 비디오 모델입니다. Wan 2.1은 아래와 같은 여러가지 모델이 존재합니다.
- 텍스트- 비디오 14B 모델 : 480p 및 720p 지원
- 이미지-비디오 14B 720p 모델: 720p 지원
- 이미지-비디오 14B 480p 모델: 480p 지원
- 텍스트-비디오 1.3B 모델: 480p 지원
Remade AI는 입력 이미지를 사용하여 특별한 효과를 내는 비디오를 생성할 수 있는 여러가지 LoRA를 공개했습니다. 아래는 공식 데모에 올려진 비디오의 예입니다.
 |
 |
| Rotate | Crush |
 |
 |
| Inflate | Squish |
Lotation LoRA 따라하기
ComfyUI는 Wan 2.1 Video 모델의 LoRA를 기본으로 지원합니다.
그냥 아래와 같이 [Load Diffusion Model] 과 [KSampler] 노드 사이에 [LoraLoaderModelOnly] 노드를 끼워주기만 하면 됩니다. LoRA 는 디퓨전 모델을 변형하는 것이므로, 불러온 디퓨전 모델 다음에 붙여주는 것입니다.
아래의 워크플로는 480p Image-to-Video 모델과 Rotate LoRA를 사용하여 아래와 같은 이미지를 생성합니다.
1 단계: 모델 다운로드
우선, 아래와 같은 Wan2.1 모델들을 다운로드 받습니다. 단, 예전에 쓴 Wan 2.1 Video 모델로 비디오 생성하기(ComfyUI)를 실행해 보셨다면 이 모델들은 이미 설치되어 있을 것입니다.
아래의 모델을 다운로드 받아 ComfyUI > models > diffusion_models 폴더에 넣어줍니다.
아래의 텍스트 인코더 모델을 다운로드 받아 ComfyUI > models > text_encoders 폴더에 넣어줍니다.
아래의 CLIP vision 모델을 다운로드 받아 ComfyUI > models > clip_vision 폴더에 넣어줍니다.
아래의 Wan VAE 모델을 다운로드 받아 ComfyUI > models > vae 폴더에 넣어줍니다.
다음으로, 아래의 LoRA 모델을 다운로드 받은 후, ComfyUI\models\loras\wan 폴더 안에 넣어줍니다.
2 단계: 워크플로 불러오기
아래의 Json 파일을 다운로드 받아 ComfyUI로 불러옵니다.
이 워크플로를 불러오면 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요합니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 이미지 설정
아래와 같이 비디오 첫 프레임으로 사용할 이미지를 선택합니다. 아래의 이미지를 사용하셔도 됩니다.
4 단계: 이미지 크기 설정
이 워크플로는 480p(720*480) 비디오를 생성하는 diffusion_models.wan2.1_i2v_480p... 모델을 사용합니다. 따라서 입력하는 이미지가 720*480 또는 480*720에 맞아야 합니다.
이 워크플로에서는 크기가 약간 달라도 생성할 수 있도록 이미지 크기를 자동 설정해줍니다. 여기서 사용하는 이미지가 아래위로 긴 이미지이므로, 폭을 480으로 맞추거나, 높이를 720으로 설정하고 남는 쪽은 자동으로 설정하도록 아래와 같이 구성했습니다.
아래는 폭을 480으로 고정하고 높이는 계산하는 방식입니다. 사용할 때에는 Note에 있는 내용을 읽어보시고 사용하면 됩니다.
5 단계: 프롬프트 검토
프롬프트에는 입력한 이미지와 맞는 내용을 추가하여야 합니다. 단, 이 LoRA는 "r0t4tion 360 degrees rotation"이라는 트리거 워드(trigger word) 가 필요합니다.
6 단계: 비디오 생성
이제 [Queue] 버튼을 누르면 비디오가 생성됩니다. 아래는 생성되는 비디오의 예입니다. 생성시간은 GTX 3070을 사용했을 때 대략 18분 정도 소요되네요.
다른 LoRA 사용하기
Wan2.1 14B 480p I2V LoRAs 페이지에 들어가면 여러가지 특수효과를 생성하는 많은 LoRA가 존재합니다. 아래는 이중에서 일부를 가져온 것입니다.
| 특수 효과 | LoRA Model | Trigger words |
| 회전 | rotate_20_epochs.safetensors | r0t4tion 360 degrees rotation |
| 짜부러 뜨리기 | squish_18.safetensors | sq41sh squish effect |
| 부풀리기 | inflate_20_epochs.safetensors | infl4t3 inflates it |
| 케이크 자르기 | cakeify_16_epochs.safetensors | c4k3 cakeify it |
| 바람 빼기 | deflate_20_epochs.safetensors | d3d1at3 deflate it |
| 짓누르기 | crush_20_epochs.safetensors | c5us4 crushes it |
| 총쏘기 | gun_20_epochs.safetensors | p5lls g4un pulls a gun and starts shooting |
| 근육 뽐내기 | muscle_18_epochs.safetensors | t2k1s takes off clothes revealing a lean muscular body and shows off muscles |
| 신부로 변신 | bride_50_epochs.safetensors | 8r1d3 bride effect |
| 강아지로 둘러싸기 | puppy_50_epochs.safetensors | pu11y puppy effect |
| 애기로 만들기 | baby_50_epochs.safetensors | 848y baby effect |
| 레드카펫 사진찍기 | vip_50_epochs.safetensors | v1p red carpet transformation |
| 모나리자 | mona_lisa_45_epochs.safetensors | m0n4 Mona Lisa transformation |
| 공주로 변신 | princess_45_epochs.safetensors | pr1nc355 princess transformation |
| 타잔으로 변신 | jungle_50_epochs.safetensors | 1ung13 jungle transformation |
| 해적선장으로 변신 | pirate_captain_50_epochs.safetensors | p1r4t3 pirate captain transformation |
| 사무라이로 변신 | samurai_50_epochs.safetensors | 54mur41 samurai transformation |
| 기모노 입히기 | zen_50_epochs.safetensors | z3n1fy zen transformation |
| 쌍권총 암살자 변신 | assassin_45_epochs.safetensors | 3p1c epic transformation |
| 도끼 전사 변신 | warrior_45_epochs.safetensors | warr10r warrior it |
| 르네상스 회화 변신 | painting_50_epochs.safetensors | p41nt1ng painting frame it |
| 디즈니 공주 변신 | disney_princess_45_epochs.safetensors | d15n3y Disney princess transformation |
| 백설공주 변신 | snow_white_50_epochs.safetensors | sn0w_wh1t3 Snow White transformation |
| 클래시? | classy_45_epochs.safetensors | c1455y classy transformation |
| 번개맞고 튕겨나가 | fus_ro_dah_20_epochs.safetensors | fus_r0_d4h force push effect |
| 예수님께 안기기 | hug_jesus_20_epochs.safetensors | h54g hugs jesus |
| 슈퍼 사이안 변신 | super_saiyan_35_epochs.safetensors | 5up3r super saiyan transformation |
| 로봇 얼굴 갈라지 | robot_face_reveal_35_epochs.safetensors | r8b8t1c robotic face reveal |
원하는 LoRA는 다운로드 받아서 ComfyUI\models\loras\wan 폴더에 넣어줍니다.
그 다음 사용하고 싶은 LoRA를 [LoRALoaderModeOnly]에서 선택해줍니다.
그 다음 원하는 이미지를 [Load Image]에서 선택해주고, 이미지 크기를 설정해줍니다.
마지막으로 [Queue] 버튼을 눌러주면 비디오가 생성됩니다. 아래는 위의 아가씨를 여러가지로 처리해 결과입니다.
 |
 |
 |
| 짜부러 뜨리기 | 해적 선장 변신 | 애기로 만들기 |
이상입니다.
이 글은 stable-diffusion-art.com의 글을 번역하면서 일부 수정하고 제 테스트 결과로 대체하여 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기