공간정보와 인터넷지도

Text-to-video는 말 그대로 단어로 쓰여진 설명을 사용해 비디오를 생성하는 매우 까다로운 작업입니다. 디퓨전 기반의 text-to-video 모델은 매우 빠른 속도로 발전하고 있습니다. 이 글에서는 자신의 PC에서 직접 사용할 수 있는 text-to-video 모델 중 가장 유명한 것중 하나인 AnimateDiff를 소개하고 그 작업과정을 보여드립니다. 참고: 2023년 9월 10일에 AnimateDiff v1.5_v2가 공개되어, 기존에 작성된 글을 수정합니다. 이 글에 있는 내용을 따라해보기 위해서는 먼저 AUTOMATIC1111을 설치하여야 합니다. AUTOMATIC1111은 Mac, 구글 Colab에서도 사용할 수 있지만, 저는 윈도 버전 설치방법만 설명하였으니 참고하세요. 1. Anim..

이 글에서는 이전 글까지 만들어온 워크플로에 img2img 기법을 적용하는 방법을 소개합니다. 이 시리즈는 아래와 같이 구성되어 있습니다. 스테이블 디퓨전 - ComfyUI 사용법(1) - 기초 - 아주 간단한 기본 SDXL 워크플로를 생성합니다. 스테이블 디퓨전 - ComfyUI 사용법(2) - 조건부여 - SDXL 에만 적용되는 조건부터를 추가하고, 조건부여 파라미터 변경에 따른 이미지 영향을 시험합니다. 스테이블 디퓨전 - ComfyUI 사용법(3) - Refiner - 완전한 SDXL 프로세스를 위해 refiner 모델을 추가합니다. 스테이블 디퓨전 - ComfyUI 사용법(4) - LoRA - 커스텀 노드를 설치하고 LoRA를 사용하는 워크플로를 생성합니다. 스테이블 디퓨전 - ComfyUI 사..

이 글에서는 이전 글에서 만든 워크플로에 좀 더 고급 기법을 수용할 수 있도록 수정함과 동시에 ComfyUI를 좀더 효율적으로 사용하고, 필요에 따라 워크플로를 만들 수 있는 여러가지 방법을 소개합니다. 이 글은 아래와 같이 구성되어 있습니다. 스테이블 디퓨전 - ComfyUI 사용법(1) - 기초 - 아주 간단한 기본 SDXL 워크플로를 생성합니다. 스테이블 디퓨전 - ComfyUI 사용법(2) - 조건부여 - SDXL 에만 적용되는 조건부터를 추가하고, 조건부여 파라미터 변경에 따른 이미지 영향을 시험합니다. 스테이블 디퓨전 - ComfyUI 사용법(3) - Refiner - 완전한 SDXL 프로세스를 위해 refiner 모델을 추가합니다. 스테이블 디퓨전 - ComfyUI 사용법(4) - LoRA ..

제가 제일 처음 사용하던 스테이블 디퓨전 UI인 Easy Diffusion이 3.0으로 업그레이드 되었습니다. Easy Diffusion 은 말 그대로 정말 사용하기 쉬운 장점이 있는 반면, LoRA, ControlNet 과 같은 중요한 요소들이 지원이 안되어서 아쉬웠습니다. 그런데 이번에 업그레이드 되면서 왠만한 기본 확장는 모두 지원하게 된 것 같습니다. Easy Diffusion 변경 목록에는 3.0에 다음과 같은 사항이 추가 되었다고 나옵니다. ControlNet - 일반적인 ControlNet 모델을 기본적으로 통합해서 ControlNet을 완벽하게 지원합니다. 참조용 이미지를 선택한 다음 ControlNet 필터/모델을 선택하고 실행하기만 하면 됩니다. 추가 구성이나 다운로드가 필요하지 않습니..

현재 제가 사용중인 AUTOMATIC1111 버전은 1.5.1 입니다. 그동안 1.5.2, 1.6.0 RC 버전이 나왔고, 오늘 1.6.0 정식버전이 나왔습니다. 저는 그동안 새 버전이 나오면 자동으로 업그레이드 되는 걸로 생각했었는데, 여러번 껏다가 켜봐도 그대로 이길래 검색해보니, 자동 업데이트가 이루어지려면 약간의 작업이 필요하더군요. 먼저 stable-diffusion-webui 의 기본 디렉토리(저는 C:\sd\stable-diffusion-webui 입니다만, 자신의 환경에 따라 달라집니다)에 들어가서 webui-user.bat 를 편집하고 아래와 같이 "git pull"을 추가해줍니다. 자동 업데이트가 싫으신 분은 이 파일을 수정하지 마시고, 필요할 때 stable-diffusion-webu..

엊그제 쓴 SDXL 모델 스타일 106가지라는 글에서는, AUTOMATIC1111 확장인 StyleSelectorSDXL 1.0을 소개했습니다. 사실상, 이 106가지 스타일이란, StyleSelectorSDXL 확장에서 제공하는 스타일을 하나씩 나열한 것에 불과했습니다. 즉, "woman" 또는 "city"와 같이 간단한 프롬프트만 입력한 상태에서 StyleSelector가 제공하는 스타일을 선택하면 다른 스타일과는 완전히 다른 새로운 이미지가 만들어졌습니다. 이 StyleSelector를 ComfyUI에서도 사용할 수 있습니다. 커스톰 노드인 SDXL Prompt Styler를 설치하면 됩니다(사실 Style Selector for SDXL 1.0 도 이 SDXL Prompt Styler를 따라한 것..

스테이블 디퓨전으로 이미지를 생성하는 경우, 대부분 AUTOMATIC1111 웹UI를 사용합니다. 하지만, ComfyUI 는 훨씬 미세하게 조정할 수 있고, 스테이블 디퓨전의 자료처리 과정을 잘 이해할 수 있다는 점에서 나름 쓸만한 대안입니다. 저는 현재 ComfyUI에 대해 잘 모르기도 하고, AUTOMATIC1111을 사용하는 것이 편한 경우가 많아서 두가지 모두를 사용하고 있습니다. ComfyUI가 여러가지 장점이 있지만, 사용하기 쉽지 않다는 단점이 있습니다. 기능이 어딘가 숨겨져 있을텐데, 매뉴얼도 마땅치 않고... 그래서 제가 사용하면서 알게된 팁 몇가지를 공유합니다. 물론 제가 까먹지 않기 위한 목적이 큽니다. 참고로 이 글에 있는 내용은 제가 알고 싶어서 찾아봤던 것들을 정리한 것입니다. ..

스테이블 디퓨전 SDXL 1.0은 기존의 SD 1.5, SD 2.1 을 대체하는 새로운 모델입니다. 예전 모델에 비해 모델의 크기도 커지고, 다양한 방법으로 학습되어 훨씬 다양한 스타일의 이미지를 생성할 수 있습니다. 특히 SD 1.5의 경우에는 LoRA가 없이 생성한 이미지는 대부분 여러가지 오류를 포함하거나 미적으로 부족한 경우가 많았는데, SDXL은 base 모델만 사용해도 상당히 쓸만한 이미지가 생성된다는 점에서 매우 매력적입니다. 현재로서는 SD 1.5를 기반으로 LoRA, ControlNet 등 확장 모델이 많이 있고 많은 사람들이 사용하고 있어서 SD1.5가 SDXL보다 널리 사용되고 있지만, 앞으로는 SDXL이 이를 대체할 수 있을 것으로 생각됩니다. 이 글은 SDXL의 기본(base) 모..

스테이블 디퓨전으로 이미지를 생성해보셨다면, 아마도 LoRA는 사용해 보셨을 겁니다. (LoRA 사용법은 이 글을 읽어보세요) 특히 SD 1.5에서는 LoRA 없이는 정상적인 이미지를 만들기 힘들 정도죠. 그런데 LyCORIS 모델은 사용해 보셨나요? 저도 한번도 접해볼 기회가 없었습니다. LyCORIS 모델이란 무엇인가? LyCORIS는 LoRA beYond Conventional methods, Other Rank adaptation Implementations for Stable Diffusion(스테이블 디퓨전을 위한, 일반적인 방법론을 넘어서는 LoRA, 또다른 계수 적용법(Rank adaptation) 구현) 의 약자입니다. (제가 번역하고도 무슨 뜻인지 모르겠네요 ㅠㅠ) LyCORIS는 Lo..

스테이블 디퓨전은 매우 강력한 AI 이미지 생성기입니다. 그런데, 스테이블 디퓨전은 사용자들이 개발하는 확장이 있어 더 많은 기능이 추가되고 더 편리하게 사용할 수 있습니다. 이 글에서는 스테이블 디퓨전의 대표 UI인 AUTOMATIC1111에서 사용할 수 있는 확장(extension)) 몇가지를 소개합니다. ControlNet 사용법 : https://www.internetmap.kr/entry/Stable-Diffusion-ControlNet1 URL : https://github.com/Mikubill/sd-webui-controlnet ControlNet 은 참조 이미지에 있는 이미지의 형태나 자세 색 등을 기반으로 (프롬프트에 입력된 내용을) 이미지로 생성하는, AUTOMATIC1111에서 가장..