AI 이미지/Flux AI 12

TeaCache: 생성속도를 두배로

AI 이미지 생성속도를 올리고 싶으신가요? TeaCache를 사용하면 품질에는 거의 영향을 미치지 않으면서도 디퓨전 모델의 속도를 올릴 수 있습니다. 구현하기도 쉽고, 무엇보다 Flux와 Hunyuan Video와 같은 최신 이미지/비디오 생성모델에 적용할 수 있다는 장점이 있습니다.이 글에서는 TeaCache의 작동원리와 함께, Flux 및 HunyuanVideo에 적용하는 워크플로를 소개시켜드립니다.소프트웨어TeaCache 란?TeaCache의 작동 원리Flux에서 TeaCache 사용하기Hunyuan에서 TeaCache 사용하기소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력한 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기..

Flux GGUF와 이미지 프롬프트

이미지는 많은 것을 이야기 합니다. 스타일이나 분위기 처럼 말로는 할 수 없는 것을 표현할 수 있죠. 이것이 스테이블 디퓨전에서 이미지 프롬프트 어댑터(IP-Adapter)가 강력한 이유입니다. 이제 Flux  모델에서도 IP adpter를 사용할 수 있게 되었습니다.이 글에서는 Flux.1 dev GGUF모델에서 이미지 프롬프트를 사용하기 위한 세가지 워크플로를 소개합니다.Flux Redux : 변형 이미지 생성. 이것은 크기가 다르면서도 비슷한 이미지를 생성하는 데 사용됩니다. 새로운 이미지는 이미지 프롬프트만으로 제어합니다.Flux Redux Control : 텍스트 프롬프트와 이미지 프롬프트를 사용해 이미지를 제어합니다.Flux Redux Advanced : 텍스트와 이미지 프롬프트의 상대적인 가..

Flux Fill GGUF 를 사용한 자동 인페인트 아웃페인트

제가 꽤 오래전에 SDXL 모델을 사용한 자동 인페인트 아웃페인트 워크플로를 소개시켜드렸습니다. 인페인트(inpainting)란 이미지의 일부만 다시 그리는 것을 말합니다. 옷이나 스타일을 바꾸고 싶거나 배경중 일부를 지우고 싶을 때 등에 사용합니다. 아웃페인트(outpainting) 이란 이미지를 바깥쪽을 채우는 방식으로 이미지를 키우는 것을 말합니다. 아래는 예전 글에서 만들어 둔 예로서, 좌측 원본 이미지(1024x1024)를 1536x1024 크리고 늘린 이미지입니다.특히 이 워크플로에서는 이미지를 분석해서 프롬프트를 자동으로 만들어주는 기능이 들어 있어서 그냥 원하는 새로 그리고자 하는 부분만 지정하면 자동으로 인페인트/아웃페인트가 되는 장점이 있습니다.이러한 워크플로는 Flux.1 dev Fi..

Flux.1 Fill GUFF 인페인트 - ComfyUI

일반 Flux 체크포인트 모델로 인페인팅을 할 수도 있지만, 잡음 제거 강도를 세밀하게 조정하는 등 여러가지 어려움이 있을 수 있습니다. 너무 올리면 이미지 일관성이 깨지고, 너무 낮게 잡으면 아무것도 변하지 않습니다. 그런데, 중간 정도로 설정하게 되면 원래 색상에서 크게 벗어나지 않는다는 점이 문제가 됩니다.이 글에서는 Flux.1 Fill GUFF 모델을 사용해서 이러한 한계를 극복할 수 있는 워크플로를 소개해 드립니다.소프트웨어Flux Fill 모델이란Flux 모델과 Flux Fill 모델을 사용한 인페인트 비교따라하기워크플로 설명스타일 변경소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및..

Flux 모델에서 LoRA 사용하기 - ComfyUI

이 워크플로는 Flux dev GGUF 모델을 사용하여 사이버펑크 스타일 이미지를 생성하는 워크플로입니다. 생성된 이미지는 AI 업스케일러를 사용해 4배 확대합니다.소프트웨어따라하기워크플로 설명스타일 변경소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1 단계: Flux1 dev GGUF 모델 다운로드여기에는 간단하게만 정리했습니다. 더 자세한 내용은 이 글을 참고하세요.GGUF unet 모델아래 사이트에서 파일을 다운로드 받아, ComfyUI\models\unet 폴더에 넣어줍니다.flux1-dev GGUF여기에는 아주 많은 파일이 들어있는데, 다 받을 ..

Flux1 dev GUFF 모델에서 ControlNet 사용하기

Xlabs AI에서 ComfyUI에서 사용할 수 있는 Flux용 ControlNet 모델과 관련 커스톰 노드(x-flux-comfyui)를 개발했습니다. 이 글은 이 것들을 사용하는 방법에 관한 글입니다.소프트웨어따라하기참고다른 ContolNet소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 요즘 가장 널리 사용되고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1단계: 모델 다운로드참고로, 3070에서 이 워크플로를 돌리려고 하니, F16은 메모리 부족 에러를 일으켰습니다. 그래서 Q3_K_S 모델로 바꿨더니 겨우겨우 돌아가네요. ㅠㅠGGUF unet 모델저는 Flux dev GGUF 모델을 사용합니다(참고 Sch..

ComfyUI에서 Flux GGUF 사용하기

GGUF(GGML Universal File) 파일 형식은 텐서와 메타데이터를 단일 파일에 저장하는 바이너리 형식 포맷으로서, 모델 데이터를 빠르게 저장하고 로드할 수 있도록 설계되었다....(중략).... GGUF 파일은 일반적으로 PyTorch나 Tensor와 같은 다른 머신 러닝 라이브러리로 개발된 모델을 변환하여 생성된다.(출처: GGUF-wiki)저는 머신러닝에 대해선 거의 모르지만, GGUF는 그냥 공통 파일 포맷 정도로 생각하면 되고, 무엇보다 대형모델을 빠르게 돌릴 수 있는 장점이 있다고 합니다.사실 제가 GGUF까지 관심을 둘만한 일은 아닙니다. 그런데... Stable Diffusion 보다 성능이 좋다는 Flux 모델을 사용하고 싶은데, SD-Forge에서는 소형모델이나마 지원해주는데..

Flux AI 개요

2024년 8월 1일 Flux. 1 이 출시된 이래, 이와 관련된 여러가지 활동이 이루어지고 있습니다. 많은 사람들이 사용방법을 알아내고, 이를 돌리기 위한 도구를 만들기 위해 노력해 왔습니다. 이제 조금 정리되었으므로, Flux의 도구와 자원을 정리해볼 때입니다.Flux AI 모델이란?Flux AI 모델의 작동 원리Flux AI 모델을 상업적으로 사용할 수 있나?Flux AI 모델 사용 방법Flux AI 로 야한 이미지를 생성할 수 있나?Flux와 스테이블 디퓨전의 차이Flux AI 모델이란?Flux AI 모델은 Black Forest Labs에서 개발되었으며, 사실적인 이미지를 생성하는데 뛰어난 이미지 생성용 인공지능 모델입니다. Flux AI 모델은 아래와 같은 세가지 모델이 존재합니다.Flux.1..

SDXL 모델과 Flux1.dev 모델 비교

SDXL 과 Flux1.dev는 인공지능 이미지 모델중 가장 유명한 두가지 모델입니다. 둘다 1024x1024 급의 고해상도 이미지 생성을 지원합니다. 현재 시점으로는 SDXL 쪽이 더 많은 자원(모델 학습용 도구, ControlNet이나 LoRA 등)이 존재하지만, 아마도 근시일 내로 Flux 모델도 보완될 것이라고 보입니다.그러면 SDXL 모델은 지워버리고 Flux로 갈아타야 할까요? 이 글에서는 SDXL과 Flux1.dev 모델의 장단점을 비교해 보겠습니다.소프트웨어생성 속도텍스트 생성프롬프트 이해도자세 제어물체의 배치손 렌더링얼굴스타일결론소프트웨어이 글에서는 SD Forge 웹UI를 사용하여 이미지를 비교해 보겠습니다. 아래는 사용할 체크포인트 모델이빈다.SDXL 1.0 모델Flux1 Dev NF..

SD-Forge에서 Flux Lora 사용법

LoRA 모델은 Flux AI 체크포인트 모델을 보완해주기 위한 중요한 도구입니다. LoRA 모델을 사용하면 Flux가 학습하지 않은 스타일이나 특정한 얼굴을 담은 이미지를 생성할 수 있습니다.이 글에서는 SD-Forge (Stable Diffusion Forge) 웹UI에서 Flux를 LoRA와 함께 사용하는 법을 설명합니다. 또한 이를 통해 여러  LoRA 모델을 사용해 여러 이미지간에 비슷한 얼굴을 생성하는 방법도 알아보겠습니다.소프트웨어Flux AI 용 LoRA 모델 사용법문제 해결유명인 얼굴을 융합해 얼굴을 일관성 있게 유지하기소프트웨어Flux AI와 LoRA를 사용하는 가장 쉬운 방법은 SD Forge 웹UI를 사용하는 것입니다. SD-Forge는 Flux-AI를 매우 잘 지원합니다.Forge..