ComfyUI 39

FLUX: 새롭고 혁신적인 이미지 생성 모델

2024년 8월 1일, Black Forest Labs가 출범하며, Flux 시리즈의 이미지 생성 모델을 발표하였습니다(링크). 생성형 인공지능이 전세계적으로 급속하게 성정하고 있는 가운데, Flux는 Stablility AI의 Stable Diffusion을 대체하는 생성모델로 각광을 받으며 화려하게 등장했습니다.미디어용 생성형 AI에 특화된 신생 스타트업인 Black Forest Labs가 발표한 Flux는, 오픈 소스 이면서도 인상적인 성능을 보여주고 있으며, Stable Diffusion 3 뿐만 아니라 DALL-E와 미디저니와 같은 이미지 AI의 선두 업체들과도 경쟁할 수 있는 제품입니다.FLUX.1기술적 특징FLUX.1 사용 방법사업 전략과 라이선스향후 전망FLUX.1 이란대규모의 이미지와 캡..

RunDiffusion에서 ComfyUI 실행하기

숨막히는 AI 이미지를 생성하고 싶은데, 자신의 PC는 너무나 꼬져서 이미지 한장 생성하는데에도 허덕거리시나요?이럴 때 가장 좋은 방법은 클라우드(Cloud) 서비스를 사용하는 것입니다. RunDiffusion 클라우드 서비스에서 ComfyUI 인터페이스를 실행하면 현재의 최고의 이미지 생성모델(SD3.5, Flux 등)을 이용해 이미지와 비디오를 생성할 수 있습니다.특히 RTX3070과 같이 어중간한 GPU를 가지고 있다면, 간단한 이미지 생성에는 자신의 PC를 사용하고, 복잡한 워크플로나 비디오 생성과 같이 시간이 많이 소요되는 경우에는 클라우드 서비스를 활용해 보완할 수 있습니다.RunDiffusion이란?RunDiffusion의 장점RunDiffusion의 비용RunDiffusion에서 Comfy..

Mochi GGUF txt2vid (ComfyUI)

Mochi는 PC에서 돌릴 수 있는 최고의 비디오 AI 모델중 하나입니다. Mochi를 사용하면 텍스트 프롬프트를 480p 비디오로 바꿀 수 있습니다.이 글에서는 ComfyUI에서 Mochi GGUF를 설치하고 돌릴 수 있는 방법을 알려드립니다.소프트웨어Mochi AI 모델따라하기소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력한 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.Mochi AI 모델Mochi란?Mochi는 Genmo AI에서 개발한 개방형 비디오 AI 모델입니다. 아래에서 보시는 것처럼 비디오 생성 리더보드에서 2 등으로 평가받는, 매우 뛰어난 모델입니다.라이선스공개된 버전은 Mochi 1 Preview로..

Flux Fill GGUF 를 사용한 자동 인페인트 아웃페인트

제가 꽤 오래전에 SDXL 모델을 사용한 자동 인페인트 아웃페인트 워크플로를 소개시켜드렸습니다. 인페인트(inpainting)란 이미지의 일부만 다시 그리는 것을 말합니다. 옷이나 스타일을 바꾸고 싶거나 배경중 일부를 지우고 싶을 때 등에 사용합니다. 아웃페인트(outpainting) 이란 이미지를 바깥쪽을 채우는 방식으로 이미지를 키우는 것을 말합니다. 아래는 예전 글에서 만들어 둔 예로서, 좌측 원본 이미지(1024x1024)를 1536x1024 크리고 늘린 이미지입니다.특히 이 워크플로에서는 이미지를 분석해서 프롬프트를 자동으로 만들어주는 기능이 들어 있어서 그냥 원하는 새로 그리고자 하는 부분만 지정하면 자동으로 인페인트/아웃페인트가 되는 장점이 있습니다.이러한 워크플로는 Flux.1 dev Fi..

Flux 모델에서 LoRA 사용하기 - ComfyUI

이 워크플로는 Flux dev GGUF 모델을 사용하여 사이버펑크 스타일 이미지를 생성하는 워크플로입니다. 생성된 이미지는 AI 업스케일러를 사용해 4배 확대합니다.소프트웨어따라하기워크플로 설명스타일 변경소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1 단계: Flux1 dev GGUF 모델 다운로드여기에는 간단하게만 정리했습니다. 더 자세한 내용은 이 글을 참고하세요.GGUF unet 모델아래 사이트에서 파일을 다운로드 받아, ComfyUI\models\unet 폴더에 넣어줍니다.flux1-dev GGUF여기에는 아주 많은 파일이 들어있는데, 다 받을 ..

ComfyUI에서 Flux GGUF 사용하기

GGUF(GGML Universal File) 파일 형식은 텐서와 메타데이터를 단일 파일에 저장하는 바이너리 형식 포맷으로서, 모델 데이터를 빠르게 저장하고 로드할 수 있도록 설계되었다....(중략).... GGUF 파일은 일반적으로 PyTorch나 Tensor와 같은 다른 머신 러닝 라이브러리로 개발된 모델을 변환하여 생성된다.(출처: GGUF-wiki)저는 머신러닝에 대해선 거의 모르지만, GGUF는 그냥 공통 파일 포맷 정도로 생각하면 되고, 무엇보다 대형모델을 빠르게 돌릴 수 있는 장점이 있다고 합니다.사실 제가 GGUF까지 관심을 둘만한 일은 아닙니다. 그런데... Stable Diffusion 보다 성능이 좋다는 Flux 모델을 사용하고 싶은데, SD-Forge에서는 소형모델이나마 지원해주는데..

성냥개비 예술작품

이 글에서는 아래와 같은 성냥개비 예술작품 이미지를 생성하는 매우 간단한 워크플로를 설명합니다.소프트웨어따라하기워크플로 설명소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1단계: 모델 다운로드이 글에서는 Dreamshaper XL 모델을 사용합니다. 다운로드 받은 후, ComfyUI\models\checkpoints 폴더에 넣어줍니다. A1111과 모델을 공유하시는 분은 여기를 참고하세요.2 단계: 워크플로 불러오기아래의 JSON 파일을 ComfyUI에 불러옵니다. 좌측위의 Workflow->Open 메뉴를 사용하면 됩니다.이 워크플로는 대부분 그냥 그대..

시베리안 냥이 애니메이션

이 글에 있는 ComfyUI 워크플로는 아래와 같은 시베리안 고양이 비디오를 생성합니다.소프트웨어따라하기비디오 변경 방법소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1 단계: 모델 다운로드체크포인트 모델: Delibrate v2 모델을 다운로드 받아 ComfyUI\models\checkpoints 폴더에 넣어줍니다. (A1111과 모델을 공유할 경우 여기를 보세요)AnimateDiff 모델: AnimateDiff v3 motion 모델을 다운로드 받아, ComfyUI\models\animatediff_models 폴더에 넣어줍니다.ControlNet 모..

흑백 사진 속 빨간 스포츠카 (ComfyUI)

이 글은 흑백사진 속에 중심이 되는 객체만 빨간색(또는 다른 색)으로 강조하는 아래와 같은 이미지를 생성하는, 매우 간단한 워크플로를 설명합니다.소프트웨어따라하기워크플로 설명인페인트를 추가한 워크플로소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1단계: 모델 다운로드이 글에서는 Juggernaut XL 모델을 사용합니다. 다운로드 받은 후, ComfyUI\models\checkpoints 폴더에 넣어줍니다. A1111과 모델을 공유하시는 분은 여기를 참고하세요.2 단계: 워크플로 불러오기아래의 JSON 파일을 ComfyUI에 불러옵니다. 좌측위의 Work..

동물 과일 접시 만들기 - ComfyUI

이 초보자용 워크플로를 사용하면 잠깐만에 아래와 같은 동물 과일 접시를 생성할 수 있습니다.소프트웨어따라하기이미지 변경 방법워크플로 설명소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1단계: 모델 다운로드이 글에서는 Juggernaut XL 모델을 사용합니다. 다운로드 받은 후, ComfyUI\models\checkpoints 폴더에 넣어줍니다. A1111과 모델을 공유하시는 분은 여기를 참고하세요.2 단계: 워크플로 불러오기아래의 JSON 파일을 ComfyUI에 불러옵니다. 좌측위의 Workflow->Open 메뉴를 사용하면 됩니다.이 워크플로는 대부분..