전체 글 1762

AnimateDiff 모핑 비디오(ComfyUI)

이 워크플로는 아래와 같은 모핑(morphing) 비디오를 생성합니다. (모핑이란 하나의 형체가 전혀 다른 이미지로 변화하는 기법을 말합니다. 위키 참조) 프롬프트를 사용해 각각의 이미지를 미세하게 조정할 수도 있고, 변환 패턴도 조정할 수 있습니다. 소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 노드 기반의 스테이블 디퓨전 GUI인 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법과 초보가이드를 확인하시기 바랍니다. 이 워크플로의 원리개요모핑 비디오는 AnimateDiff 를 이용해서 프레임간의 일관성을 유지합니다. 이 워크플로에서는 아래와 같이 4개의 참조 이미지를 사용하는데, 각각 1/4 간격으로 비디오에 삽입합니다. 이 4장의 비디오는 SDXL ..

SDXL 모델과 Flux1.dev 모델 비교

SDXL 과 Flux1.dev는 인공지능 이미지 모델중 가장 유명한 두가지 모델입니다. 둘다 1024x1024 급의 고해상도 이미지 생성을 지원합니다. 현재 시점으로는 SDXL 쪽이 더 많은 자원(모델 학습용 도구, ControlNet이나 LoRA 등)이 존재하지만, 아마도 근시일 내로 Flux 모델도 보완될 것이라고 보입니다.그러면 SDXL 모델은 지워버리고 Flux로 갈아타야 할까요? 이 글에서는 SDXL과 Flux1.dev 모델의 장단점을 비교해 보겠습니다.소프트웨어생성 속도텍스트 생성프롬프트 이해도자세 제어물체의 배치손 렌더링얼굴스타일결론소프트웨어이 글에서는 SD Forge 웹UI를 사용하여 이미지를 비교해 보겠습니다. 아래는 사용할 체크포인트 모델이빈다.SDXL 1.0 모델Flux1 Dev NF..

종이접기 인간 댄스 비디오(ComfyUI)

이 워크플로는 댄스 비디오를 종이접기(Origami) 스타일로 변환하는 워크플로입니다. 오리가미의 색과 형태는 원하는 대로 바꿀 수 있습니다. 배경은 일반적으로 입력 비디오를 따르지만, 프롬프트로 일부 변경할 수 있습니다.소프트웨어워크플로의 원리따라하기소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다. 워크플로의 원리ControlNet이 워크플로에서는 세가지 ControlNet을 사용하여 비디오의 구도를 복제합니다.Depth 콘트롤넷 : Depth Anything 전처리기를 하여 depth 필드를 추출합니다. 일반 Midas 전처리기는 문제가 있습니다.QR code..

동물 댄스 비디오 워크플로

이 워크플로는 스테이블 디퓨전을 사용해 댄스 비디오의 주체를 동물로 변경하는 워크플로입니다. 이 워크플로에 사용되는 기법은 아래와 같습니다.IP-adapter - 일관된 캐릭터 생성다중 콘트롤넷 - 프레임간의 일관된 움직임AnimateDiff - 프레임간의 일광성LCM LoRA -  빠른 비디오 생성목차는 아래와 같습니다.소프트웨어워크플로 따라하기비디오 변경 방법소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 빠르면서도 유연하여 사용자 저변을 급속히 확대하고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면,설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.워크플로 따라하기1단계: ComfyUI 워크플로 불러오기아래의 파일을 다운로드 받아 ComfyUI 화면에 Drag&Drop..

Kling AI 비디오에서 움직임 지시 방법

Kling AI 는 이미지를 video로 변환할 수 있는 최고의 온라인 비디오 생성기 중 하나입니다. Kling은 text-to-image 생성기만 가지고 있지만, 자신의 PC 에서 고품질 이미지를 생성할 수 있는 Flux AI 모델과 궁합이 잘맞습니다. 대부분의 경우 이미지로 부터 비디오를 생성할 때, 텍스트 프롬프트에 움직임을 기술한 후, 그 다음에는 생각한 대로 이미지가 만들어지길 기도하는 방법뿐이 없습니다. 하지만 Kling 을 사용할 때 아래와 같이 움직임을 정밀하게 지시하는 방법이 존재합니다.미리 준비할 사항Kling 에서 움직임을 지시하는 방법미리 준비할 사항이 글에서는 Flux AI 모델을 사용해 이미지를 생성한 후, Kling AI 를 사용해 비디오를 생성합니다.Flux AI 모델은 Co..

Flux 및 SD에서 프리셋 스타일 사용하기

스타일 프리셋이란 스테이블 디퓨전 혹은 Flux AI 모델에 사용할 수 있는, 널리 사용되는 스타일 모음입니다. 스타일 프리셋을 사용하면 이미지의 스타일을 빠르게 바꿀 수 있습니다.예를 들어, JuggernautXL_version6 모델을 기반으로 아래와 같은 프롬프트로 생성하는 이미지에 여러가지 스타일 프리셋을 결과입니다. 프롬프트: a man in silver suit on streetbase (프리셋 x)craft clayanime이 글에서는 SD Forge 웹UI, AUTOMATIC1111 웹UI 및 ComfyUI 웹UI에서 스타일 프리셋을 사용하는 방법을 설명합니다.스테이블 디퓨전이 처음이라면 기본적인 이론을 참고하시기 바랍니다.스타일 프리셋의 작동원리SD Forge에서 스타일 프리셋 사용방법A..

MiniMax AI를 사용한 AI 비디오 생성

중국 MiniMax AI라는 기업에서 새로운 Hailou 라는 text-to-video / image-to-video 도구를 공개했습니다. 문장을 입력하면 짧은 고품질 비디오로 변환해 주는 도구입니다. 현재 6초짜리 비디오를 제공하지만, 향후엔 10초짜리 비디오까지 제공할 예정이라고 합니다. 생성되는 비디오는 해상도가 1280x720 이며, 초당 프레임 수는 25인 HD 급 비디오입니다.현재Hailou 은 MiniMax 웹사이트에서 무료로 시험해 볼 수 있습니다. MiniMax는 최근 알리바바와 텐센트로부터 6억 달러에 달하는 투자를 받았으며, AI 비디오 시장에서 강력한 경쟁자가 될 것으로 생각됩니다.참고로 MiniMax의 공식 트레일러를 보시면, 길이가 길면서도 일관성이 유지되고 사실적인 영화급 비디..

SD-Forge에서 Flux Lora 사용법

LoRA 모델은 Flux AI 체크포인트 모델을 보완해주기 위한 중요한 도구입니다. LoRA 모델을 사용하면 Flux가 학습하지 않은 스타일이나 특정한 얼굴을 담은 이미지를 생성할 수 있습니다.이 글에서는 SD-Forge (Stable Diffusion Forge) 웹UI에서 Flux를 LoRA와 함께 사용하는 법을 설명합니다. 또한 이를 통해 여러  LoRA 모델을 사용해 여러 이미지간에 비슷한 얼굴을 생성하는 방법도 알아보겠습니다.소프트웨어Flux AI 용 LoRA 모델 사용법문제 해결유명인 얼굴을 융합해 얼굴을 일관성 있게 유지하기소프트웨어Flux AI와 LoRA를 사용하는 가장 쉬운 방법은 SD Forge 웹UI를 사용하는 것입니다. SD-Forge는 Flux-AI를 매우 잘 지원합니다.Forge..

Kling을 사용한 AI 비디오 생성

Kling은 최신 비디오 생성기입니다.  텍스트나 이미지 프롬프트를 입력받아 짤막한 비디오 클립을 생성합니다. 이 글에서는 Kling을 사용해 아래와 같은 비디오를 생성하는 방법을 알아보겠습니다.A Persian cat wearing sunglasses walking on a desert with pyramids in background.Flux AI + Kling AI img2vidKling 이란?Kling 사용법Kling 사용시 팁Kling 사용시 팁Kling 이란?Kling은 Kuaishou AI 팀이 개발한 AI 모델입니다. 공개 당시부터 인터넷에 센세이션을 일으켰죠. 심지어는 OpenAI의 비디오 생성 인공지능인 소라(Sora)의 대항마라고도 알려져 있습니다.Kling 사용법Kling은 웹서비스..

Flux AI 모델을 사용한 img2img와 인페인트

Image-to-Image를 사용하면 기존의 이미지로부터 새로운 이미지를 생성할 수 있습니다. 인페인트를 사용하면 이미지중 일부를 새로 생성할 수 있습니다. Flux AI 모델은 img2img와 인페인트 모두 지원합니다. 이 글 Flux AI 모델을 사용하여 img2img 및 인페인트를 적용하는 방법에 대한 글입니다.소프트웨어Flux-AI 모델을 사용한 Image-to-ImageFlux-AI 모델을 사용한 인페인트소프트웨어이글에서는 AUTOMATIC1111로부터 파생된 SD-Forge를 사용합니다. SD-Forge의 설치방법은 이 글을 보세요. 또한 SD_Forge 사용법은 AUTOMATIC1111 사용법과 거의 비슷하니 이를 참고하시면 됩니다.Flux-AI 모델을 사용한 Image-to-Imageimg..

VRAM이 적은 PC에서 Flux AI 실행시키기

Fulx AI 는 2024년 8월 현재 가정용 PC에서 돌릴 수 있는 가장 좋은 오픈소스 AI 이미지 생성기 입니다. 하지만 파라미터가 120억개에 이르러 요구 VRAM 용량이 무지막지합니다. 이 글에 따르면 ComfyUI 에서도 최소 16GB가 필요하니까요. 하지만 고성능 GPU 카드가 없어도  6GB  VRAM으로도 Flux AI를 돌릴 수 있는 방법이 있습니다. SD Forge WebUI를 사용하는 방법입니다.Forge란?low VRAM NF4 Flux 모델이란?Forge에서 Flux AI NF4 모델을 사용하는 방법Forge란?SD Forge는 스테이블 디퓨전용 AUTOMATIC1111 의 포크중 하나입니다. 속도와 GPU VRAM 소모를 최적화할 수 있도록 백본을 새로 작성하였다고 합니다. A1..

스타일이 비슷한 이미지 만들기 - Style Aligned

스타일이 비슷한 이미지를 만드는 것은 로고나 서적 일러스트레이션과 같은 창조적인 작업에서 매우 유용한 기법입니다. 이 글은 스테이블 디퓨전에서 이러한 이미지를 생성하는 방법을 설명합니다.아래는 이 글에서 기술하는 기법을 사용하여 생성된 일관성있는 로고의 예입니다.또다른 예로서 아래와 같은 이미지를 생성할 수도 있습니다.이 글에서는 다음과 같은 내용을 다룹니다.Style Aligned 를 사용한 일관성있는 스타일(AUTOMATIC1111 및 ComfyUI)ControlNet Reference를 이용한 일관성있는 스타일(AUTOMATIC1111)AUTOMATIC1111과 ComfyUI의 구현상 차이점AUTOMATIC1111과 ComfyUI에서 사용하는 방법소프트웨어스타일 전송의 원리AUTOMATIC1111 ..

SAG - 이미지 배경 살리기

SAG(Self-attention Guidance, 자기 주의 안내)는 전체적인 두고를 보존하면서 이미지의 디테일을 향상시킵니다. 따라서 이미지가 생성하는 무의미한 디테일을 수정하는데 유용합니다.아래의 예에서는 신사분이 매고 있는 보우타이를 수정하고, 배경에 있는 기타 디테일을 수정하였습니다.원 이미지SAG 적용소프트웨어SAG의 원리ComfyUI다른 예제소프트웨어이 글에서는 ComfyUI를 사용합니다. ComfyUI는 약간 복잡해 보이지만, AUTOMATIC1111보다 빠르면서도 워크플로를 마음대로 수정할 수 있어서 인기가 높아지고 있는 Web UI입니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다. SAG의 원리SAG에 대한 상세한 내용은 홍수성 님 등이 ..

여러 각도에서 일관된 캐릭터 생성 방법

바라보는 방향이 달라져도 일관된 AI 캐릭터를 생성해야 하는 경우가 있으신가요? 이 글에서는 아래와 같이 동일한 캐릭터의 9x9 그리드를 그리는 방법을 설명합니다. 여러 이미지에 동일한 캐릭터가 필요한 아트웤에 사용할 수 있습니다.소프트웨어이 워크플로의 작동 원리AUTOMATIC1111ComfyUI문제 해결소프트웨어 이 글에서는 가장 널리 사용되고 있는 스테이블 디퓨전용 웹 UI인 AUTOMATIC1111과, 점점 사용자가 늘어나고 있는 ComfyUI 를 사용합니다.AUTOMATIC1111AUTOMATIC1111은 스테이블 디퓨전 모델의 웹 GUI 중에서 가장 대중적이고 널리 사용되고 있습니다. 설치 방법은 이 글은 보시고, 메뉴를 비롯한 기초적인 내용은 AUTOMATIC1111 가이드를 읽어보세요.Co..

AI 카툰 캐릭터 생성하기 - ComfyUI

이 글에서는 위와 같은 3d 캐릭터를 만드는 방법을 설명합니다. 위의 캐릭터는 제가 젊었던 시절의 사진을 아무거나 적당히 선택해서 생성한 것입니다 (원본보다 훨씬 낫습니다.ㅎㅎ)사용한 워크플로는 이전 글과 거의 동일하며, 약간 수정만 했습니다. 그래서 글도 상당부분 중복되는 점 참고하시기 바랍니다.소프트웨어따라하기다른 인물 테스트요약 및 느낌요약 및 느낌소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다. 이 글에서는 IP-Adapter 중에서 FaceID Plus v2 모델을 사용합니다. FaceID 모델은 입력 이미지에서 얼굴을 추출하여 임베딩으로 변환한 뒤 IP..