공간정보와 인터넷지도

Fulx AI 는 2024년 8월 현재 가정용 PC에서 돌릴 수 있는 가장 좋은 오픈소스 AI 이미지 생성기 입니다. 하지만 파라미터가 120억개에 이르러 요구 VRAM 용량이 무지막지합니다. 이 글에 따르면 ComfyUI 에서도 최소 16GB가 필요하니까요. 하지만 고성능 GPU 카드가 없어도  6GB  VRAM으로도 Flux AI를 돌릴 수 있는 방법이 있습니다. SD Forge WebUI를 사용하는 방법입니다.Forge란?low VRAM NF4 Flux 모델이란?Forge에서 Flux AI NF4 모델을 사용하는 방법Forge란?SD Forge는 스테이블 디퓨전용 AUTOMATIC1111 의 포크중 하나입니다. 속도와 GPU VRAM 소모를 최적화할 수 있도록 백본을 새로 작성하였다고 합니다. A1..

스타일이 비슷한 이미지를 만드는 것은 로고나 서적 일러스트레이션과 같은 창조적인 작업에서 매우 유용한 기법입니다. 이 글은 스테이블 디퓨전에서 이러한 이미지를 생성하는 방법을 설명합니다.아래는 이 글에서 기술하는 기법을 사용하여 생성된 일관성있는 로고의 예입니다.또다른 예로서 아래와 같은 이미지를 생성할 수도 있습니다.이 글에서는 다음과 같은 내용을 다룹니다.Style Aligned 를 사용한 일관성있는 스타일(AUTOMATIC1111 및 ComfyUI)ControlNet Reference를 이용한 일관성있는 스타일(AUTOMATIC1111)AUTOMATIC1111과 ComfyUI의 구현상 차이점AUTOMATIC1111과 ComfyUI에서 사용하는 방법소프트웨어스타일 전송의 원리AUTOMATIC1111 ..

SAG(Self-attention Guidance, 자기 주의 안내)는 전체적인 두고를 보존하면서 이미지의 디테일을 향상시킵니다. 따라서 이미지가 생성하는 무의미한 디테일을 수정하는데 유용합니다.아래의 예에서는 신사분이 매고 있는 보우타이를 수정하고, 배경에 있는 기타 디테일을 수정하였습니다.원 이미지SAG 적용소프트웨어SAG의 원리ComfyUI다른 예제소프트웨어이 글에서는 ComfyUI를 사용합니다. ComfyUI는 약간 복잡해 보이지만, AUTOMATIC1111보다 빠르면서도 워크플로를 마음대로 수정할 수 있어서 인기가 높아지고 있는 Web UI입니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다. SAG의 원리SAG에 대한 상세한 내용은 홍수성 님 등이 ..

바라보는 방향이 달라져도 일관된 AI 캐릭터를 생성해야 하는 경우가 있으신가요? 이 글에서는 아래와 같이 동일한 캐릭터의 9x9 그리드를 그리는 방법을 설명합니다. 여러 이미지에 동일한 캐릭터가 필요한 아트웤에 사용할 수 있습니다.소프트웨어이 워크플로의 작동 원리AUTOMATIC1111ComfyUI문제 해결소프트웨어 이 글에서는 가장 널리 사용되고 있는 스테이블 디퓨전용 웹 UI인 AUTOMATIC1111과, 점점 사용자가 늘어나고 있는 ComfyUI 를 사용합니다.AUTOMATIC1111AUTOMATIC1111은 스테이블 디퓨전 모델의 웹 GUI 중에서 가장 대중적이고 널리 사용되고 있습니다. 설치 방법은 이 글은 보시고, 메뉴를 비롯한 기초적인 내용은 AUTOMATIC1111 가이드를 읽어보세요.Co..

이 글에서는 위와 같은 3d 캐릭터를 만드는 방법을 설명합니다. 위의 캐릭터는 제가 젊었던 시절의 사진을 아무거나 적당히 선택해서 생성한 것입니다 (원본보다 훨씬 낫습니다.ㅎㅎ)사용한 워크플로는 이전 글과 거의 동일하며, 약간 수정만 했습니다. 그래서 글도 상당부분 중복되는 점 참고하시기 바랍니다.소프트웨어따라하기다른 인물 테스트요약 및 느낌요약 및 느낌소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다. 이 글에서는 IP-Adapter 중에서 FaceID Plus v2 모델을 사용합니다. FaceID 모델은 입력 이미지에서 얼굴을 추출하여 임베딩으로 변환한 뒤 IP..

스테이블 디퓨전에서 어떤 특정한 인물의 얼굴을 넣으려면 LoRA를 학습시키거나 또는 dreambooth 를 사용해 checkpoint모델을 학습 시켜야 합니다.하지만, 새로운 모델을 학습시키는 것은 매우 시간이 걸리는 일입니다. 그런데, 이렇게 학습시킬 필요 없이 어떤 얼굴을 즉시 삽입할 수 있다면 어떨까요?이 ComfyUI 워크플로는 입력 이미지로부터 어떤 인물의 얼굴을 복사합니다. 마치 맞춤형 LoRA나 체크포인트 모델처럼 사용할 수 있지만, 학습 시킬 필요는 없는 겁니다. 심지어는 매우 빠르고 편리합니다.참고: 이 글은 IPAdapter Unified Loader FaceID 노드를 사용하도록 갱신한 워크플로입니다.소프트웨어따라하기다른 인물 사용 실험김태리조인성송혜교테스트 결과 요약소프트웨어이 글에..

얼마전, ComfyUI에서 API를 통해 SD3를 돌리는 방법을 올려드렸는데, 이 글에서는 자신의 컴퓨터에서 스테이블 디퓨전 3 미디엄(Stable Diffusion 3 medium)을 돌리는 방법에 대해 설명드립니다.소프트웨어시스템 요구사항ComfyUI에서 사용방법비교비교소프트웨어이 글에서는 ComfyUI를 사용하여 SD3 medium을 돌리는 방법을 사용합니다. ComfyUI는 매우 빠르게 사용자가 늘고 있는, 이제는 사실상 AUTOMATIC1111보다 더 많이 활용되는 것으로 예상되는 Stable Diffusion용 웹UI 입니다. ComfyUI를 설치하는 방법과 기초적인 사용법은 이 글을 읽어보시고, 좀 더 잘 활용하는 방법은 튜토리얼을 읽어보시기 바랍니다.시스템 요구사항SD3 미디엄 모델을 돌리..

Hyper-SD와 Hyper-SDXL은 1~8 단계만에 고품질의 이미지를 생성할 수 있다고 주장하는 농축형(distilled) 스테이블 디퓨전 모델입니다. 이글에서 다루는 내용은 다음과 같습니다.하이퍼 스테이블 디퓨전 모델의 작동원리LCM, Turbo, Lightning 등 다른 패스트 모델과의 차이AUTOMATIC1111 및 ComfyUI에서 사용하는 방법최적 이미지 설정다음은 목차입니다.소프트웨어하이퍼 스테이블 디퓨전 모델이란?ComfyUI에서 하이퍼 SDXL 사용방법하이퍼 SDXL 이미지 비교소프트웨어논문저자가 공개한  하이퍼-SD UNet과 LoRA모델을 사용하려면, ComfyUI를 사용할 필요가 있습니다. 다만, LoRA 모델은 어떠한 체크포인트 모델과도 호환됩니다.하이퍼-SD 방법론으로 학습된..

교란 어텐션 유도(Perturbed Attention Guide)은 샘플링 프로세스를 간단히 수정하여 스테이블 디퓨전 이미지를 향상시키는 것을 말합니다. 아래는 목차입니다.교란 어텐션 유도(PAG)이란?ComfyUI에서 PAG 사용법PAG 설정교란 어텐션 유도란?Perturbed Attention Guide(PAG)는 샘플링 프로세스를 변경하여 이미지 품질을 높이는 것입니다. 이 기법은 SD1.5와 SDXL 모델에 적용할 수 있습니다.좀 더 자세한 사항은 안동훈 님외의 Self-Rectifying Diffusion Sampling with Perturbed-Attention Guide를 참고하세요.U-Net에서의 어텐션(Attention)스테이블 디퓨전 SD1.5 및 SDXL 모델은 U-Net이라는 심층..

AUTOMATIC1111과 ComfyUI에는 Euler, Heun, DDIM 등등 여러가지 샘플링 방법이 존재합니다. 이 글에서는 샘플러가 무엇인지, 작동 원리, 그리고 어떤 차이점이 있는지, 어떤 걸 사용하는 게 좋은지 등을 다룹니다.샘플링이란?샘플러(Sampler) 개요샘플러 평가이미지 수렴속도품질샘플링이란?이미지를 생성하기 위해서는 , 스테이블 디퓨전은 먼저 잠재 공간(latent space)에 완전히 무작위(random) 이미지를 생성합니다. 잡음 예측기(noise predictor)는 이미지로부터 잡음을 예측하고, 원래의 잡음 이미지에서 그 만큼의 예측된 잡음을 제거해줍니다.이 프로세스를 여러번 반복하면 최종적으로 깨끗한 이미지를 얻을 수 있습니다.이와 같은 잡음 제거(denoising) 프로세..

단계 정렬(AYS, Align Your Steps)는 Nvidia 팀에서 역 디퓨전 공식을 보다 정확하게 풀기위하여 제안한 것으로, 샘플링 프로세스를 변경한 것입니다. 논문에 따르면 AYS를 사용하면 10단계만으로도 고품질의 이미지를 생성할 수 있다고 합니다.단계 정렬이란?ComfyUI에서 단계 정렬을 사용하는 방법단계 정렬(Align Your Steps) 리뷰결론단계 정렬이란?단계정렬(Align Your Steps 는 새로운 모델이 아니라, 기존 샘플링 프로세스에 변화를 준 것입니다. 좀 더 정확하게 말씀드리자면 잡음 스케줄(noise schedule)을 변경시킨 것입니다. 따라서 단계 정렬은 어떤 모델과도 함께 사용할 수 있습니다.단계 정렬을 이해하려면 먼저 샘플링 프로세스를 이해해야 합니다. 여기에..

스테이블 디퓨전 3(Stable Diffusion 3)는스테이블 디퓨전 모델 중에서 가장 최신의 가장 대형 모델입니다. Stability AI의 발표에 따르면, 자신의 기존 모델(스테이블 캐스케이드 및 SDXL)보다 텍스트 생성 능력과 프롬프트를 이해하고 따르는 능력이 훨씬 뛰어나다고 합니다.이 글에서는 Stable Diffusion 3와, 스테이블 캐스케이드, SDXL을 비교합니다. 비교할 대상은 아래와 같습니다.이 글의 목차는 아래와 같습니다.스테이블 디퓨전 3 사용방법텍스트 렌더링프롬프트 이해 및 따르기자세 제어물체의 구도손 렌더링얼굴 렌더링스타일결론스테이블 디퓨전 3 사용방법스테이블 디퓨전 3는 자신의 컴퓨터에 설치해서 사용하는 방법은 불가능하며, 개발자 API 를 통해서만 사용할 수 있습니다. ..

Stable Diffusion 3는 Stability AI의 최신 txt2img(텍스트-이미지) 변환 모델입니다. 스테이블 캐스케이드(Stable Cascade) 및 스테이블 디퓨전 XL(SDXL)과 같은 이전 모델보다 텍스트를 생성하는 성능 및 프롬프트를 이해하고 따르는 능력이 훨씬 뛰어납니다.이 모델은 현재 많은 관심을 받고 있지만, API를 이용해서만 사용할 수 있습니다.이 글에서는 ComfyUI에서 Stable Diffusion3를 사용할 수 있는 방법을 알려드리겠습니다.따라하기1단계: ComfyUI 매니저 설치2단계: SAI API 노드 설치3단계: API 키 정의 4단계: 워크플로 불러오기샘플 이미지따라하기스테이블 디퓨전 개발사인 Stablility AI에서는 스테이블 디퓨전 3 API를 지원..

스테이블 디퓨전 WebUI Forge를 사용하면 Stable Video Diffusion(SVD) 비디오를 생성할 수 있습니다. 특히 SD Forge를 사용하면 GUI내에서 모든 SVD 비디오 제작에 필요한 모든 단계를 수행할 수 있습니다.이 글은 SD Forge에 SVD 모델을 설정하고 실행시켜 아래와 같은 비디오를 생성하는 방법을 다룹니다.소프트웨어SVD 모델 설치SVD 모델을 사용해 비디오 생성하기SVD 설정소프트웨어이 글을 따라하시려면 먼저 SD Forge를 설치하셔야 합니다.Forge는 AUTOMATIC1111으로부터 파생된 웹 UI로 사용법은 비슷하지만, 콘트롤넷 등의 필수 확장을 내장하였고, 속도가 빠른 것이 특징입니다. SD Forge 설치 방법은 이 글을 읽어보시기 바랍니다. 사용법은 A..

Stable Video 3D(SD3D)는 이미지를 단 한장 입력받아서, 3차원으로 회전하는 동영상을 생성해주는 AI 모델입니다. Stability AI에서는 이 모델을 비 상업적 목적에 한해 공개했습니다. 아래는 입력 이미지와 이를 이용해 생성헌 3차원 회전 이미지입니다. 이 글의 목차는 아래와 같습니다. 소프트웨어 따라하기 이미지 조정 SV3D의 원리 소프트웨어 이 글에서는 ComfyUI를 사용합니다. ComfyUI 에 대해 잘 모르신다면 설치 및 사용법 기초와 투토리얼을 읽어보시기 바랍니다. 따라하기 1단계: SV3D 워크플로 불러오기 아래의 json 파일 혹은 이미지 파일을 다운로드 받은 후, ComfyUI 화면에 Drag&Drop하면 워크플로가 불러들여집니다. 이 워크플로는 대부분 그냥 그대로 사..