2023/06 14

Stable Diffusion 텍스트 효과

Stable Diffusion 을 사용해서 이미지를 생성하다보면 가끔 글씨가 포함되는 경우가 있습니다. 하지만, 대부분의 경우 무슨 내용인지 모르는 경우가 대부분이죠. 이번 글에서는 스테이블 디퓨전 ControlNet을 사용해서 텍스트를 만드는 방법을 알아보겠습니다. 방법 1 : ControlNet과 txt2img 사용 1. 아래처럼 검은 바탕에 흰색 글씨의 이미지를 만듧니다. 그림의 크기는 768x512 입니다. 2. AUTOMATIC1111 에서 txt2img 페이지를 엽니다. 3. ControlNet 부분을 펼치고 위에서 만들었던 이미지를 불러옵니다. 이 이미지는 depth map으로 사용합니다. Depth map에서 하얀색이 앞쪽을 나타내므로 글씨가 앞으로 튀어나오는 효과가 만들어집니다. 4. 콘..

스테이블 디퓨전으로 QR 코드 만들기

제가 구독하고 있는 (그리고 제일 많이 참고하는) stable-diffusion-art.com에 재미있는 글이 올라왔습니다. 스테이블 디퓨전으로 QR 코드를 제작할 수 있다는 내용입니다. 흑백에 네모네모한 QR 코드가 스테이블 디퓨전과 전혀 관계가 없을 것 같은데, 아래와 같은 걸 만든다는 겁니다. 보기에는 그냥 점들이 군데 군데 있는 것 빼고는 평범한 그림일 듯 싶고, QR 코드 냄새는 별로 안나는데도, QR코드 스캐너를 사용하면 진짜 읽히기까지 합니다!! (잘 읽히지 않으면 그림 크기를 변경하거나 카메라를 앞뒤로 움직여 보세요. 인식이 잘되는 건 아닙니다. 제 경험으로는 초점이 흐릿하게 잘 맞지 않을 때 인식이 더 잘되는 것 같더군요~ ㅎㅎ) 이 사이트의 주인장 Andrew씨도 Reddit 에 올라온..

비디오 렌더링: 제로샷 텍스트지원 Video-to-Video 변환

스테이블 디퓨전은 기본적으로 텍스트를 기반으로 이미지를 생성해주는 이미지 생성형 AI입니다. 앞서 몇번의 글에서 언급한 것처럼, 스테이블 디퓨전은 여러 이미지 간의 일관성을 유지하기 힘들었습니다. 지금까지는요. 하지만, 이제는 이미지간의 일관성을 넘어 비디오를 기반으로 새로운 비디오를 생성하는 게 가능해졌다는 내용입니다. 적용된 기술을 간단하게 말씀드리면, 기존 디퓨전 모델에 전체적인 스타일을 유지하는 제약조건, 색상을 유지하는 제약조건, 형태를 유지하는 제약조건, 텍스처를 유지하는 제약조건 등을 모두 통합해서, 비디오의 전체적인 일관성 뿐만 아니라, 국부적 시간적 일관성을 유지하는 데 성공했다는 내용입니다. 아직 소프트웨어는 공개되지 않았지만, 정식 논문 발표와 함께 공개될 예정이라고 하는데, 이 방법..

스테이블 디퓨전을 사용해서 비디오 만들기(Video2Video)

이 글은 기존에 존재하는 비디오를 사용해서, 그 자세만 복사해 새로운 비디오를 만드는 방법입니다. 스테이블 디퓨전(Stable Diffusion)은 이미지 생성형 AI 입니다. 따라서 일반적인 방법으로는 비디오를 만들기 어렵습니다. 비디오는 기본적으로 프레임으로 이루어지며, 프레임을 이미지로 보면 불가능하지는 않습니다. 그러나, 아래의 글을 읽어보시면 알겠지만, 프레임별로 동일성을 유지하기 힘들어 튀는 비디오가 만들어지기 쉽습니다. 이 글에는 아래와 같이 Video를 기반으로 새로운 비디오를 만드는 방법 5가지를 설명합니다. 그런데, 제 컴이 꼬져서 모든 걸 따라하다간 몇날 며칠이 걸릴지 몰라, 맨 처음과 맨 마지막 방법에 대해서만 직접 해보면서 설명합니다. 다른 방법은 원본 글을 읽어보세요. Contr..