Stable Diffusion 85

Flux AI 개요

2024년 8월 1일 Flux. 1 이 출시된 이래, 이와 관련된 여러가지 활동이 이루어지고 있습니다. 많은 사람들이 사용방법을 알아내고, 이를 돌리기 위한 도구를 만들기 위해 노력해 왔습니다. 이제 조금 정리되었으므로, Flux의 도구와 자원을 정리해볼 때입니다.Flux AI 모델이란?Flux AI 모델의 작동 원리Flux AI 모델을 상업적으로 사용할 수 있나?Flux AI 모델 사용 방법Flux AI 로 야한 이미지를 생성할 수 있나?Flux와 스테이블 디퓨전의 차이Flux AI 모델이란?Flux AI 모델은 Black Forest Labs에서 개발되었으며, 사실적인 이미지를 생성하는데 뛰어난 이미지 생성용 인공지능 모델입니다. Flux AI 모델은 아래와 같은 세가지 모델이 존재합니다.Flux.1..

AnimateDiff 모핑 비디오(ComfyUI)

이 워크플로는 아래와 같은 모핑(morphing) 비디오를 생성합니다. (모핑이란 하나의 형체가 전혀 다른 이미지로 변화하는 기법을 말합니다. 위키 참조) 프롬프트를 사용해 각각의 이미지를 미세하게 조정할 수도 있고, 변환 패턴도 조정할 수 있습니다. 소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 노드 기반의 스테이블 디퓨전 GUI인 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법과 초보가이드를 확인하시기 바랍니다. 이 워크플로의 원리개요모핑 비디오는 AnimateDiff 를 이용해서 프레임간의 일관성을 유지합니다. 이 워크플로에서는 아래와 같이 4개의 참조 이미지를 사용하는데, 각각 1/4 간격으로 비디오에 삽입합니다. 이 4장의 비디오는 SDXL ..

SDXL 모델과 Flux1.dev 모델 비교

SDXL 과 Flux1.dev는 인공지능 이미지 모델중 가장 유명한 두가지 모델입니다. 둘다 1024x1024 급의 고해상도 이미지 생성을 지원합니다. 현재 시점으로는 SDXL 쪽이 더 많은 자원(모델 학습용 도구, ControlNet이나 LoRA 등)이 존재하지만, 아마도 근시일 내로 Flux 모델도 보완될 것이라고 보입니다.그러면 SDXL 모델은 지워버리고 Flux로 갈아타야 할까요? 이 글에서는 SDXL과 Flux1.dev 모델의 장단점을 비교해 보겠습니다.소프트웨어생성 속도텍스트 생성프롬프트 이해도자세 제어물체의 배치손 렌더링얼굴스타일결론소프트웨어이 글에서는 SD Forge 웹UI를 사용하여 이미지를 비교해 보겠습니다. 아래는 사용할 체크포인트 모델이빈다.SDXL 1.0 모델Flux1 Dev NF..

동물 댄스 비디오 워크플로

이 워크플로는 스테이블 디퓨전을 사용해 댄스 비디오의 주체를 동물로 변경하는 워크플로입니다. 이 워크플로에 사용되는 기법은 아래와 같습니다.IP-adapter - 일관된 캐릭터 생성다중 콘트롤넷 - 프레임간의 일관된 움직임AnimateDiff - 프레임간의 일광성LCM LoRA -  빠른 비디오 생성목차는 아래와 같습니다.소프트웨어워크플로 따라하기비디오 변경 방법소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 빠르면서도 유연하여 사용자 저변을 급속히 확대하고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면,설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.워크플로 따라하기1단계: ComfyUI 워크플로 불러오기아래의 파일을 다운로드 받아 ComfyUI 화면에 Drag&Drop..

Flux 및 SD에서 프리셋 스타일 사용하기

스타일 프리셋이란 스테이블 디퓨전 혹은 Flux AI 모델에 사용할 수 있는, 널리 사용되는 스타일 모음입니다. 스타일 프리셋을 사용하면 이미지의 스타일을 빠르게 바꿀 수 있습니다.예를 들어, JuggernautXL_version6 모델을 기반으로 아래와 같은 프롬프트로 생성하는 이미지에 여러가지 스타일 프리셋을 결과입니다. 프롬프트: a man in silver suit on streetbase (프리셋 x)craft clayanime이 글에서는 SD Forge 웹UI, AUTOMATIC1111 웹UI 및 ComfyUI 웹UI에서 스타일 프리셋을 사용하는 방법을 설명합니다.스테이블 디퓨전이 처음이라면 기본적인 이론을 참고하시기 바랍니다.스타일 프리셋의 작동원리SD Forge에서 스타일 프리셋 사용방법A..

Stable Diffusion 3를 내 PC에서 돌리는 방법

얼마전, ComfyUI에서 API를 통해 SD3를 돌리는 방법을 올려드렸는데, 이 글에서는 자신의 컴퓨터에서 스테이블 디퓨전 3 미디엄(Stable Diffusion 3 medium)을 돌리는 방법에 대해 설명드립니다.소프트웨어시스템 요구사항ComfyUI에서 사용방법비교비교소프트웨어이 글에서는 ComfyUI를 사용하여 SD3 medium을 돌리는 방법을 사용합니다. ComfyUI는 매우 빠르게 사용자가 늘고 있는, 이제는 사실상 AUTOMATIC1111보다 더 많이 활용되는 것으로 예상되는 Stable Diffusion용 웹UI 입니다. ComfyUI를 설치하는 방법과 기초적인 사용법은 이 글을 읽어보시고, 좀 더 잘 활용하는 방법은 튜토리얼을 읽어보시기 바랍니다.시스템 요구사항SD3 미디엄 모델을 돌리..

단계 정렬(Align Your Steps) 사용방법

단계 정렬(AYS, Align Your Steps)는 Nvidia 팀에서 역 디퓨전 공식을 보다 정확하게 풀기위하여 제안한 것으로, 샘플링 프로세스를 변경한 것입니다. 논문에 따르면 AYS를 사용하면 10단계만으로도 고품질의 이미지를 생성할 수 있다고 합니다.단계 정렬이란?ComfyUI에서 단계 정렬을 사용하는 방법단계 정렬(Align Your Steps) 리뷰결론단계 정렬이란?단계정렬(Align Your Steps 는 새로운 모델이 아니라, 기존 샘플링 프로세스에 변화를 준 것입니다. 좀 더 정확하게 말씀드리자면 잡음 스케줄(noise schedule)을 변경시킨 것입니다. 따라서 단계 정렬은 어떤 모델과도 함께 사용할 수 있습니다.단계 정렬을 이해하려면 먼저 샘플링 프로세스를 이해해야 합니다. 여기에..

스테이블 디퓨전 3: SDXL 및 스테이블 캐스케이드와 비교

스테이블 디퓨전 3(Stable Diffusion 3)는스테이블 디퓨전 모델 중에서 가장 최신의 가장 대형 모델입니다. Stability AI의 발표에 따르면, 자신의 기존 모델(스테이블 캐스케이드 및 SDXL)보다 텍스트 생성 능력과 프롬프트를 이해하고 따르는 능력이 훨씬 뛰어나다고 합니다.이 글에서는 Stable Diffusion 3와, 스테이블 캐스케이드, SDXL을 비교합니다. 비교할 대상은 아래와 같습니다.이 글의 목차는 아래와 같습니다.스테이블 디퓨전 3 사용방법텍스트 렌더링프롬프트 이해 및 따르기자세 제어물체의 구도손 렌더링얼굴 렌더링스타일결론스테이블 디퓨전 3 사용방법스테이블 디퓨전 3는 자신의 컴퓨터에 설치해서 사용하는 방법은 불가능하며, 개발자 API 를 통해서만 사용할 수 있습니다. ..

ComfyUI로 스테이블 디퓨전 3 API 사용하기

Stable Diffusion 3는 Stability AI의 최신 txt2img(텍스트-이미지) 변환 모델입니다. 스테이블 캐스케이드(Stable Cascade) 및 스테이블 디퓨전 XL(SDXL)과 같은 이전 모델보다 텍스트를 생성하는 성능 및 프롬프트를 이해하고 따르는 능력이 훨씬 뛰어납니다.이 모델은 현재 많은 관심을 받고 있지만, API를 이용해서만 사용할 수 있습니다.이 글에서는 ComfyUI에서 Stable Diffusion3를 사용할 수 있는 방법을 알려드리겠습니다.따라하기1단계: ComfyUI 매니저 설치2단계: SAI API 노드 설치3단계: API 키 정의 4단계: 워크플로 불러오기샘플 이미지따라하기스테이블 디퓨전 개발사인 Stablility AI에서는 스테이블 디퓨전 3 API를 지원..

3D 카툰 캐릭터

이 글에 있는 워크플로를 사용하면 아래와 같은 3D 카툰 캐릭터를 생성할 수 있습니다. 소프트웨어 따라하기 소프트웨어 AUTOMATIC1111 이 글에 있는 워크플로는 가장 널리 사용되고 있는 스테이블 디퓨전용 웹 GUI인 AUTOMATIC1111을 사용합니다. AUTOMATIC1111의 설치 방법은 이 글을 보시고, 초보자 가이드도 참고하세요. 체크포인트 모델 이 글에서는 SDXL 의 미세조정 모델중 하나인 Samaritan 3D character 모델을 사용합니다. 모델을 다운로드 받은 후, stable-diffusion-webui\models\Stable-Diffusion 폴더에 넣어줍니다. 참고로 이 폴더 속에 하위 폴더를 설치해서 넣어도 됩니다. 저의 경우에는 SDXL 용 모델은 별도로 XL 이..