공간정보와 인터넷지도

얼마전에 LoRA는 필요없다 - ComfyUI IP-Adapter라는 글에서, 별도로 학습한 체크포인트나 LoRA 모델 없이 어떤 사람의 얼굴을 복제하는 방법을 알려드렸습니다. 이 글도 비슷한 내용입니다. 다만, InstantID라는 기법을 이용한 것만 다릅니다. 아래는 InstantID를 사용해 얼굴을 복제한 예입니다. 뭔가 나사가 빠진 듯 하네요. 다른 예를 봐도 아시겠지만, 이 기법은 (적어도 제가 테스트해 본 바로는) 복제한 얼굴이 닮은 정도를 비율로 따지면 10~20% 정도가 아닐까... 싶은 정도입니다. InstantID 란 InstantID 대신 사용할 수 있는 것 AUTOMATIC1111 사전 준비 콘트롤넷(ControlNet) 확장 설치 InstantID 모델 설치 AUTOMATIC111..

DALL-E 3는 ChatGPT 혹은 "일상의 AI 컴패니언"을 표방하고 있는 마이크로소프트 Copilot에서 사용할 수 있습니다. 이 글에서는 DALL-E 3와 스테이블 디퓨전의 장단점을 비교해 보겠습니다. 아래는 이 글의 목차입니다. DALL-E 3란 스테이블 디퓨전이란 DALL-E 3와 Stable Diffusion XL 비교 프롬프트 이해 및 반영 텍스트 렌더링 스타일 인페인트와 아웃페인트 프롬프트 콘트롤넷 결론 DALL-E 3를 사용한 스테이블 디퓨전 개선 DALL-E 3란 DALL-E 3는 텍스트 문장을 이미지로 변환해주는 text-to-image 생성형 인공지능입니다. DALL-E 3의 학습 방법이나 모델 아키텍처는 제임스 벧커와 동료들이 저술한 "Improving Image Generati..

얼마 전 ComfyUI를 이용해서 무한 줌 영상을 만드는 글에는 아래와 같이 [Efficient Loader] 노드와 [KSampler (Efficient)] 노드를 사용했습니다. 그 글에서는 자세하게 설명하지 않았지만, 아래에서 보시는 것처럼 [Efficient Loader] 노드는 체크포인트 모델, VAE, LoRA 모델, 프롬프트, 레이턴트 이미지 등 모델에 관련된 거의 대부분의 기능이 합쳐져 있는 노드입니다. 이 노드를 [KSmapler (Efficient)] 노드와 함께 사용하면 워크플로를 아주 깔끔하게 구성할 수 있어 편리한 듯합니다. 참고: 얼마전 Efficiency Node 를 관리하던 LucianoCirino님이 이 노드 관리를 포기하신다고 선언해서, jags111 님의 GitHub 사이..

무한 줌 아트는 어떤 이미지가 끝없이 줌인 또는 줌아웃하는 듯한 착각을 불러 일으키는 시각 예술입니다. 아래가 그러한 예입니다. 이 글은 스테이블 디퓨전의 웹UI 중 하나인 ComfyUI를 사용해서 이러한 이미지를 생성하는 방법에 대한 글입니다. 사이 처음에는 AUTOMATIC1111 으로 무한 줌 이미지를 만드는 방법을 올리려고 했습니다. 제가 구독하고 있는 Stable Diffusion Art 사이의 글을 참고로 해서요. 간략히 정리하면, AUTOMATIC1111에서 Infinite zoom 확장을 설치한 다음, 적절한 시간마다 원하는 프롬프트를 입력하면 된다는 내용입니다. 그다지 어렵지 않을 걸로 생각했습니다. 그런데, 딱 첫번째 실험을 하려고 [Generate]버튼을 눌렀더니 에러가 발생했습니다...

SDXL은 SD1.5에 비해 훨씬 뛰어난 이미지를 생성하는 모델입니다. 많은 경우 LoRA 등을 사용하지 않고 base 모델만으로도 충분히 괜찮은 이미지를 생성해주죠. 다만, 아직도 여러가지 확장은 안정적이지 않고 아직도 지원되지 않는 것들도 많습니다. 그 중 하나가 ControlNet이었습니다. ControlNet을 사용하면 피사체의 구도, 특히 인물의 자세를 원래의 이미지와 동일하게 복사할 수 있어서 무척 유용한 확장입니다. 거의 모든 확장 중에서 거의 최고의 확장이라고 할 수 있습니다. ControlNet에 대한 좀더 자세한 사항은 이 글(1)과 이 글(2)을 읽어보시기 바랍니다. 사실 ControlNet에 관한 사항은 위의 글 두개에 모두 담았기 때문에 이 글에서는 반복할 필요가 없으니, 반복되는..

SDXL base 모델을 사용해서 여러 예술가들의 스타일을 테스트해보신 분이 있어 소개시켜 드립니다. 여기에 들어가보시면 직접 보실 수 있는데, 총 4387명의 스타일을 정리했다고 합니다. 아래가 대문입니다. 여기에서 예술가 이름을 입력해서 검색할 수도 있고, 아래쪽에 나열된 스타일을 클릭해서 예술가를 찾아갈 수도 있습니다. 예를 들어 "Gogh"로 검색하면 아래와 같이 고흐 스타일의 이미지를 볼 수 있습니다. 또 naturalism 을 선택하면 아래와 같이 4분의 예술가 스타일이 나열됩니다. 이처럼 미리 분류된 tag를 사용해 예술가 스타일을 찾을 수 있습니다. 아래로 내리면 아래와 같이 여러가지 여기에서 아티스트 스타일과 이름을 볼 수 있습니다. 특정한 스타일이 없을 경우, 쭉 훝어보면서 원하는 스타..

엊그제 쓴 SDXL 모델 스타일 106가지라는 글에서는, AUTOMATIC1111 확장인 StyleSelectorSDXL 1.0을 소개했습니다. 사실상, 이 106가지 스타일이란, StyleSelectorSDXL 확장에서 제공하는 스타일을 하나씩 나열한 것에 불과했습니다. 즉, "woman" 또는 "city"와 같이 간단한 프롬프트만 입력한 상태에서 StyleSelector가 제공하는 스타일을 선택하면 다른 스타일과는 완전히 다른 새로운 이미지가 만들어졌습니다. 이 StyleSelector를 ComfyUI에서도 사용할 수 있습니다. 커스톰 노드인 SDXL Prompt Styler를 설치하면 됩니다(사실 Style Selector for SDXL 1.0 도 이 SDXL Prompt Styler를 따라한 것..

이 글은 주로 ComfyUI 에서 SDXL refiner 모델을 사용하는 방법을 다룹니다. 이 시리즈는 아래와 같이 구성되어 있습니다. 스테이블 디퓨전 - ComfyUI와 SDXL 사용법(1) - 기초 - 이 글. 아주 간단한 기본 SDXL 워크플로를 생성합니다. 스테이블 디퓨전 - ComfyUI와 SDXL 사용법(2) - 조건부여 - SDXL 에만 적용되는 조건부터를 추가하고, 조건부여 파라미터 변경에 따른 이미지 영향을 시험합니다. 스테이블 디퓨전 - ComfyUI와 SDXL 사용법(3) - Refiner - 완전한 SDXL 프로세스를 위해 refiner 모델을 추가합니다. 스테이블 디퓨전 - ComfyUI와 SDXL 사용법(4) - LoRA - 커스텀 노드를 설치하고 LoRA를 사용하는 워크플로를 ..

스테이블 디퓨전을 사용하는 분들중 대부분은 AUTOMATIC1111 웹UI를 사용합니다. 그만큼 대중적이기도 하고 사용하기 쉽기 때문입니다. 하지만, 사용할 수 있는 방식이 정해져 있다보니 어떤 절차를 거쳐 이미지가 생성하는지 알기도 힘들고, 이 절차를 마음대로 수정하기도 쉽지 않습니다. ComfyUI는 이러한 AUTOMATIC1111의 단점을 극복할 수 있는 웹UI입니다. Stable Diffusion 모델의 워크플로를 좀 더 자세히 알 수 있고 세밀하게 조정할 수 있습니다. 대신 사용하기가 쉽지는 않죠. 이 글에서는 이전 글에 이어 빈 ComfyUI 캔버스로부터 시작해서 SDXL 모델을 사용해서 이미지를 생성하기 까지 한 단계씩 워크플로를 만들어가는 과정을 설명합니다. 이 글은 아래와 같이 구성되어 ..

SDXL은 최신 Stable Diffusion 기술입니다. SD 1.5/2.1에 비해 생성되는 이미지의 품질이 매우 높아졌습니다. SDXL은 언어모델이 다르기 때문에 스테이블 디퓨전 v1에서 사용되는 프롬프트와는 약간 다릅니다. 이 글에서는 여러가지 스타일의 SDXL 프롬프트와, 그 결과로 생성된 이미지를 보여드립니다. 이를 기본으로 해서 여러가지 테스트를 해보시거나, 필요하신 새로운 프롬프트를 개발하실 수 있을 것입니다. 소프트웨어 설치 SDXL은 Stable Diffusion을 설치한 후 여기에 SDXL 모델을 탑재하여 사용하는 방법과, Stable Diffusion를 개발한 Stability AI에서 제공한 테스트 사이트인 Clipdrop에서 사용하는 방법이 있습니다. 물론 검색해 보시면 여기에서 ..