중국 MiniMax AI라는 기업에서 새로운 Hailou 라는 text-to-video / image-to-video 도구를 공개했습니다. 문장을 입력하면 짧은 고품질 비디오로 변환해 주는 도구입니다. 현재 6초짜리 비디오를 제공하지만, 향후엔 10초짜리 비디오까지 제공할 예정이라고 합니다. 생성되는 비디오는 해상도가 1280x720 이며, 초당 프레임 수는 25인 HD 급 비디오입니다.
현재Hailou 은 MiniMax 웹사이트에서 무료로 시험해 볼 수 있습니다. MiniMax는 최근 알리바바와 텐센트로부터 6억 달러에 달하는 투자를 받았으며, AI 비디오 시장에서 강력한 경쟁자가 될 것으로 생각됩니다.
참고로 MiniMax의 공식 트레일러를 보시면, 길이가 길면서도 일관성이 유지되고 사실적인 영화급 비디오를 생성하는 놀라운 능력을 보이고 있습니다. 보시는 것처럼 OpenAI의 소라(Sora), Kling, Runway의 Gen-3, Luma 등이 주도하는 고품질 인공지능 비디오 생성 시장을 흔들 것으로 보입니다.
MiniMax Video-1 비디오 생성방법
hailou AI 사이트에 들어간 후 [Try now] 버튼을 선택합니다. 24년 12월 말 현재 가입하면 1100 크레딧을 받을 수 있고, 비디오 하나당 30 크레딧이 소모됩니다.
Text to Video 탭을 누른 뒤, 원하는 비디오 내용에 대한 설명을 입력합니다. 이때 ChatGPT나 DeepL 등을 사용해서 한글을 영어로 번역해서 넣어주면 됩니다. 가능한 한 동작을 포함한 프롬프트를 넣어주시는 게 좋습니다.
아래는 ChatGPT에서 " 20 대 남녀 한 쌍이 스키장에서 스노보드를 타고 내려오고 있다. 둘다 빨간색의 화려한 꽃무늬 스키복을 입고 있다. 서로 마주보며 즐거운 웃음을 터뜨린다. 이 내용을 영어 프롬프트로 바꿔줘"라고 입력해서 받은 프롬프트입니다.
프롬프트: A young man and woman in their 20s are snowboarding down a ski slope. They are both wearing vibrant red ski outfits with bold floral patterns. They are facing each other, laughing joyfully.
이렇게 입력하고 아래쪽에 있는 [Create] 버튼을 눌러줍니다. 그러면 가입절차가 진행되고, 가입을 완료하면 30 크레딧을 소비하여 비디오가 생성됩니다. 약 2-3분정도가 지나면 비디오가 완성됩니다.
아래가 생성된 비디오입니다.
그런데 너무 움직임이 정적이네요. 프롬프트를 고쳐 새로 생성해봤습니다.
프롬프트: A young man and woman in their 20s are snowboarding down a steep slope at a ski resort. They are both wearing vibrant red ski outfits with bold floral patterns. As they ride down, they meet each other and burst into joyful laughter.
오... 훨씬 나아졌네요.!!
주변에 사람들이 너무 없어서 조금 북적이는 환경으로 바꿔보았습니다. 오 좋네요. 프롬프트를 바꿀때마다 정말 잘 반영해줍니다!!
프롬프트: A busy ski resort with many people enjoying skiing. Above them, ski lifts are visible. A young man and woman in their 20s are snowboarding down a steep slope. They are both wearing vibrant red ski outfits with bold floral patterns. As they ride down, they meet each other and burst into joyful laughter.
MiniMax AI 비디오 프롬프트 예
프롬프트: Batman eating a hamburger in Central Park, New york. Ducks, trees, people in background. Noon time.
앗!! 위의 3개를 생성했더니, 앞에 2300명이 대기중이라면서 거의 2시간 후에나 생성된다고 나오네요... 3개까지만 빠르게 생성해주고, 그 다음부터는 유료회원이 되어야 빠르게 생성이 가능한가 봅니다.
프롬프트: In a futuristic high-tech laboratory, the camera looks down from above, showing a woman dressed in an elegant evening gown conversing with a holographic avatar. The avatar is rendered with flowing lights and soft colors, accompanied by dynamic effects, creating an artistic and dreamlike atmosphere. The camera slowly rotates, capturing the subtle facial expressions of the avatar and the woman’s astonished reactions. In the background, glowing high-tech equipment and light effects highlight the modern aesthetics and visual impact of this virtual interaction.
프롬프트 : A spacious living room with a Nordic-style interior. A chandelier shines above, and large windows offer a view of a lake surrounded by forest. A couple in their 50s is sitting in the living room, drinking wine and watching TV. The camera pans from the couple to slowly reveal the large windows and the TV.
Image-to-Video
MiniMax는 Image-to-Video, 즉, 이미지를 제공하면 그 이미지와 프롬프트를 바탕으로 비디오를 생성하는 기능도 제공합니다. 아래는 점묘파의 대표작중 하나인 쇠라의 '그랑 자트 섬의 일요일 오후'를 출발 이미지로 제공하고, 아무 프롬프트도 입력하지 않고 생성한 비디오입니다.
프롬프트를 입력하지 않아서인지 앞쪽에 있는 인물들이 사라지든 등의 오류를 보이네요.
다음은 다비드의 "알프스를 넘는 보나파르트"를 입력 이미지로 사용하고 아래와 같은 프롬프트를 추가하여 생성한 비디오입니다.
프롬프트: Napoleon is crossing the Alps. The rugged mountain path is taking a toll on his horse, which struggles against the strong winds that blow his cloak and the horse's reins. Despite the harsh conditions, Napoleon commands his troops to continue marching with unwavering determination. In the background, snow-covered peaks and treacherous mountains can be seen, while soldiers laboriously drag cannons up the steep slopes. The camera begins focused on Napoleon but slowly pulls back, turning to reveal a close-up of his soldiers as they push forward.
MiniMax AI 비디오에 대한 촌평
5초라는 시간은 비디오로 봤을 때는 너무 짧은 듯합니다. 한 장면에 20초 정도는 되어야 여러 클립을 모아서 스토리를 만들 수 있을 것 같거든요.
비디오 품질은... 꽤 괜찮습니다. 많이 시험해보지는 않았지만, 사실적이든 환타지 스타일이든 잘 만들어 내는 것 같네요. https://hailuoai.video/ 대문에 가면 여러가지 비디오들이 있으니 참고하세요. 아래는 제가 제일 즐겁게 봤던 비됴입니다.
아무튼... 우리나라가 AI 분야가 상당히 낮은 수준이라는 이야기를 듣기는 했는데.... 우리나라도 좀 더 실용적인 서비스가 나왔으면 하네요.
이상입니다.
이 글은 stable-diffusion-art.com의 글을 번역하면서 제가 생성한 비됴로 대체해서 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기