이 글에 있는 ComfyUI 워크플로는 아래와 같은 멎진 추상 비디오 아트를 생성합니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
따라하기
이 워크플로는 AnimateDiff 노드에 Prompt Travel 을 적용합니다.
1 단계: 모델 다운로드
체크포인트 모델: Delibrate v2 모델을 다운로드 받아 ComfyUI\models\checkpoints 폴더에 넣어줍니다. (A1111과 모델을 공유할 경우 여기를 보세요)
AnimateDiff 모델: AnimateDiff v3 motion 모델을 다운로드 받아, ComfyUI\models\animatediff_models 폴더에 넣어줍니다.
2 단계: 워크플로 불러오기
아래의 JSON 파일을 ComfyUI에 불러옵니다. 좌측위의 Workflow->Open 메뉴를 사용하면 됩니다.
이 워크플로는 대부분 그냥 그대로 사용할 수 있지만, 때때로 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요할 수 있습니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 실행하기
[Queue] 버튼을 누르면 워크플로가 실행됩니다. 아래는 생성된 비디오입니다.
비디오 변경 방법
이 워크플로는 프롬프트 트래블(Prompt travel)을 사용합니다. 여기에서는 아래와 같이 프롬프트가 정의되는데
“0” : “Sphere”,
“16” : “cube”,
“32” : “diamond”,
여기에서 숫자는 프롬프트가 시작되는 시간으로서, 0 프레임, 16프레임, 32 프레임에서 각각의 프롬프트가 적용됩니다.
씨드 번호를 바꾸면 새로운 비디오를 얻을 수 있습니다. 씨드 번호만 바뀌어도 완전히 다른 비디오가 만들어질 수 있습니다. 프롬프트에는 그다지 많은 정보가 없기 때문입니다.
video_length를 늘리면 비디오의 길이가 길어지게 됩니다. 이 때, 프롬프트에서 적절히 시작하는 시간을 변경해 주는 게 좋습니다.
이상입니다.
이 글은 stable-diffusion-art.com의 글을 번역하면서 제가 테스트한 결과로 대체하며 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기