이 글에 있는 ComfyUI 워크플로는 아래와 같은 시베리안 고양이 비디오를 생성합니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
따라하기
1 단계: 모델 다운로드
체크포인트 모델: Delibrate v2 모델을 다운로드 받아 ComfyUI\models\checkpoints 폴더에 넣어줍니다. (A1111과 모델을 공유할 경우 여기를 보세요)
AnimateDiff 모델: AnimateDiff v3 motion 모델을 다운로드 받아, ComfyUI\models\animatediff_models 폴더에 넣어줍니다.
ControlNet 모델: QR Monster 모델을 다운로드 받아, ComfyUI\models\ControlNet에 넣어줍니다.
2 단계: 워크플로 불러오기
아래의 JSON 파일을 ComfyUI에 불러옵니다. 좌측위의 Workflow->Open 메뉴를 사용하면 됩니다.
이 워크플로는 대부분 그냥 그대로 사용할 수 있지만, 때때로 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요할 수 있습니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 패턴 불러오기
아래는 시계방향으로 회전하는 동영상입니다. 이 동영상을 다운로드 받은 후, [Load Video(Upload)] 노드에서 지정합니다.
3 단계: 프롬프트 검토
이 워크플로에서는 아래와 같은 프롬프트를 사용하고 있습니다. 판타지와 프랙탈 스타일로 시베리안 고양이의 얼굴을 클로즈업시킨 이미지를 생성합니다. 원하시면 다른 프롬프트로 변경하셔도 됩니다.
4 단계: 실행하기
[Queue] 버튼을 누르면 워크플로가 실행됩니다. 아래는 생성된 비디오입니다.
비디오 변경 방법
이 워크플로에서는 아래와 같은 프롬프트를 사용합니다.
프롬프트: a colorful 3D siberian cat made of geometry, close up head, fantasy art, fractal, spiral paint
부정적 프롬프트: disfigured, low contrast, girl, human
여기에서 siberian cat을 원하는대로 바꿔주면 완전히 다른 비디오를 얻을 수 있습니다. 아래는 beautiful girl로 바꾸고 실행시킨 결과입니다.
또한 씨드 번호를 바꾸면 새로운 비디오를 얻을 수 있습니다.
QR monster 콘트롤넷에 사용되는 동영상을 바꿔주면 배경의 움직임을 제어할 수 있습니다. 예를 들어 아래는 시계방향으로 돌면서 안으로 말려 들어가는 효과를 보여줍니다.
아래는 이 파일을 사용하여 골든 리트리버 비디오를 생성한 예입니다. batch_size로 120으로 늘려서 비디오의 길이를 늘렸습니다.
이상입니다.
이 글은 stable-diffusion-art.com의 글을 참고로, 예전 글에 올린 워크플로를 수정하여 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기