Kling AI 는 이미지를 video로 변환할 수 있는 최고의 온라인 비디오 생성기 중 하나입니다. Kling은 text-to-image 생성기만 가지고 있지만, 자신의 PC 에서 고품질 이미지를 생성할 수 있는 Flux AI 모델과 궁합이 잘맞습니다.
대부분의 경우 이미지로 부터 비디오를 생성할 때, 텍스트 프롬프트에 움직임을 기술한 후, 그 다음에는 생각한 대로 이미지가 만들어지길 기도하는 방법뿐이 없습니다. 하지만 Kling 을 사용할 때 아래와 같이 움직임을 정밀하게 지시하는 방법이 존재합니다.
미리 준비할 사항
이 글에서는 Flux AI 모델을 사용해 이미지를 생성한 후, Kling AI 를 사용해 비디오를 생성합니다.
Flux AI 모델은 ComfyUI나 Forge를 사용해 돌릴 수 있습니다(ComfyUI의 경우, 16GB 이상의 VRAM이 필요하여 저는 정리하지 않았습니다. 이 글을 참고하세요).
Kling을 사용해서 AI 비디오를 생성하려면 계정이 필요합니다. 사용방법은 이 글을 참고하세요.
Kling 에서 움직임을 지시하는 방법
아래는 Flux AI 모델로 생성한 이미지 입니다. 이 이미지를 사용해서 소년이 불을 뛰어 넘는 비디오로 만들어 보겠습니다.
1단계: 이미지 업로드
Kling의 image-to-video 페이지로 들어간 후, 이미지 캔버스에 이 이미지를 업로드합니다.
2단계: 프롬프트 입력
주제와 움직임을 설명하는 프롬프트를 입력합니다. 움직임을 문장으로 지정해야 합니다. 아니라면 비디오에 원하는 움직임이 표현되지 않습니다. 아래는 사용한 프롬프트입니다.
프롬프트: A boy skating fast jump over the fire pit
3단계: 모션 브러시 추가
Kling AI에서는 Motion Brush를 사용하여 객체가 어떻게 이동할 지를 지정할 수 있습니다.
1. 먼저 Motion Brush를 클릭합니다.
2. Area 1을 선택하고, 비디오에서 이동시킬 객체를 마스크합니다. (이때 위쪽에 있는 Auto-Segmentation을 누르면 마스킹을 쉽게할 수 있습니다.)
3. Track 1을 선택하고 이동하는 경로를 그려줍니다.
4. 마지막으로 Confirm 을 선택합니다.
3단계: 비디오 생성
이제 [Generate]를 누르면 비디오가 생성됩니다.
참고사항
1. 모션 브러시와 프롬프트는 함께 작동합니다. 따라서 모션 브러시로 그린 움직임을 설명할 수 있는 프롬프트를 사용해야 합니다.
2. 모션 브러시 외에도 카메라 움직임을 지시할 수도 있지만, 현재는 두가지를 한꺼번에 사용할 수 없습니다.
이상입니다. 이 글은 stable-diffusion-art.com의 글을 번역하며 테스트하여 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기