AI는 이미지를 어떻게 만들어낼까?

AI 이미지 생성 서비스를 처음 사용해보면 신기한 느낌이 듭니다.프롬프트 창에 몇 줄의 문장을 입력했을 뿐인데, 몇 초 뒤에 그럴듯한 이미지가 만들어집니다.

예를 들어 이렇게 입력했다고 해보겠습니다.

지하철 플랫폼에 서 있는 젊은 한국 여성, 영화 같은 조명, 사실적인 사진 스타일

그러면 AI는 실제로 존재하지 않는 지하철역과 실제로 존재하지 않는 인물을 만들어냅니다.

그렇다면 여기서 한 가지 질문이 생깁니다.

AI는 이미지를 어디선가 찾아서 가져오는 것일까요?
아니면 새롭게 만들어내는 것일까요?

이번 글에서는 AI가 이미지를 만들어내는 기본 원리를 초보자도 이해할 수 있도록 쉽게 정리해보겠습니다.

AI는 이미지를 저장해두고 꺼내는 것이 아니다

먼저 가장 중요한 점부터 짚고 가겠습니다.

AI 이미지 생성은 저장된 사진을 찾아서 보여주는 기술이 아닙니다.

AI는 학습 과정에서 수많은 이미지를 봅니다.
사람, 동물, 건물, 풍경, 조명, 옷, 카메라 구도, 그림체, 사진 스타일 같은 시각적 정보를 학습합니다.

하지만 이미지를 하나하나 사진첩처럼 저장해두고, 사용자가 입력한 문장에 맞는 이미지를 찾아서 꺼내오는 것은 아닙니다.

AI가 학습하는 것은 이미지 파일 그 자체라기보다, 이미지 속에 반복적으로 나타나는 특징과 관계입니다.

예를 들어 고양이를 학습한다고 해보겠습니다.

AI는 고양이의 정면 모습, 옆모습, 뒷모습, 위에서 본 모습, 앉아 있는 모습, 뛰는 모습, 잠자는 모습 등 여러 예시를 봅니다.

그 과정에서 AI는 “고양이다움”을 이루는 패턴을 익힙니다.

고양이의 귀는 보통 어떤 형태인지.
눈은 얼굴의 어느 위치에 있는지.
털의 질감은 어떻게 보이는지.
몸의 비율은 어떤지.
앉아 있을 때와 뛰고 있을 때의 형태는 어떻게 다른지.

사람 얼굴도 마찬가지입니다.

눈, 코, 입의 위치.
얼굴의 비율.
피부의 질감.
머리카락의 흐름.
표정에 따른 얼굴의 변화.
조명에 따라 얼굴이 어떻게 보이는지.

AI는 이런 예시를 통해 이미지 속의 공통된 특징을 익힙니다.

즉 AI는 이미지를 외워서 꺼내는 것이 아니라, 이미지를 구성하는 패턴을 학습합니다.

AI 모델은 파라미터와 그 값으로 이루어져 있다

그렇다면 AI가 학습한 내용은 어디에 저장될까요?

AI가 학습했다고 해서 수많은 사진 파일을 그대로 안에 넣어두는 것은 아닙니다.

AI 모델 안에는 이미지를 해석하고 만들어내는 데 영향을 주는 수많은 조절값이 있습니다.
이 조절값을 파라미터라고 부릅니다.

파라미터는 쉽게 말해 AI가 이미지를 판단하고 만드는 방식에 영향을 주는 내부 기준입니다.

예를 들어 AI가 사람 얼굴을 만든다고 해보겠습니다.

얼굴의 전체 비율을 어떻게 잡을지,
눈과 코와 입의 위치를 어떻게 배치할지,
피부 질감을 어떻게 표현할지,
머리카락의 흐름을 어떻게 만들지,
조명이 닿는 부분과 그림자를 어떻게 처리할지.

이런 판단에 모델 내부의 파라미터들이 관여합니다.

중요한 것은 파라미터가 하나하나 “눈”, “코”, “머리카락”처럼 단순하게 나뉘어 있는 것은 아니라는 점입니다.

실제로는 많은 파라미터가 함께 작동하면서 이미지의 형태, 색감, 질감, 구도, 스타일을 만들어냅니다.

AI가 학습을 한다는 것은 이 파라미터들의 값이 조금씩 조정되는 과정입니다.

처음에는 이미지를 잘 만들지 못하던 모델이 여러 이미지와 설명을 학습하면서, 어떤 입력이 들어왔을 때 어떤 형태와 색, 질감, 구도를 만들어야 하는지 점점 더 잘 맞춰가게 됩니다.

즉 학습이 끝난 AI 모델은 수많은 파라미터와 그 파라미터 값들이 조정된 결과물입니다.

그래서 AI 이미지 생성은 저장된 사진을 꺼내는 기술이 아닙니다.

AI가 학습한 시각적 지식을 바탕으로, 사용자의 요구에 맞는 이미지를 새롭게 구성하는 기술입니다.

AI는 사물의 모양만 배우는 것이 아니다

AI가 학습하는 것은 사물의 모양만이 아닙니다.

현실적인 이미지를 만들려면 사물의 형태뿐 아니라, 빛과 그림자, 재질, 공간 관계, 움직임도 중요합니다.

예를 들어 빛이 왼쪽에서 들어오면 오른쪽에는 그림자가 생깁니다.
금속은 빛을 강하게 반사하고, 천은 부드럽게 접힙니다.
유리는 투명하거나 반사되어 보일 수 있고, 물은 주변 빛과 색을 받아 다르게 보입니다.

바람이 불면 머리카락이나 옷자락이 흔들릴 수 있습니다.
사람이 바닥에 서 있다면 발과 바닥 사이에 접촉감이 있어야 합니다.
물체가 테이블 위에 놓여 있다면, 그 아래에는 그림자와 무게감이 느껴져야 합니다.

AI는 여러 이미지와 설명을 학습하면서 이런 관계들도 함께 익힙니다.

물론 AI가 실제 물리 엔진처럼 빛, 바람, 충돌을 정확한 공식으로 계산하는 것은 아닙니다.

하지만 현실 세계의 이미지에서 반복적으로 나타나는 시각적 관계를 학습하기 때문에, 빛과 그림자, 재질, 공간감, 움직임이 어느 정도 자연스러운 장면을 만들어낼 수 있습니다.

그래서 AI가 현실적인 이미지를 만든다는 것은 단순히 “사람”, “건물”, “옷” 같은 개체를 잘 그린다는 뜻만은 아닙니다.

그 개체들이 빛을 어떻게 받는지,
공간 안에서 어떻게 배치되는지,
어떤 재질처럼 보이는지,
움직임이나 사건이 일어날 때 어떤 모습이 자연스러운지도 함께 반영한다는 뜻입니다.

이런 학습 결과 역시 모델 내부의 파라미터와 그 값에 반영됩니다.

그래서 모델마다 현실감을 표현하는 능력도 다릅니다.

어떤 모델은 빛과 피부 표현이 자연스럽고,
어떤 모델은 손이나 물체의 접촉이 어색할 수 있습니다.
어떤 모델은 정지 이미지는 잘 만들지만 움직임이 들어간 장면에서는 부자연스러울 수 있습니다.

결국 AI 모델의 차이는 단순히 그림체의 차이만이 아닙니다.

사물, 공간, 빛, 재질, 움직임 같은 요소를 얼마나 잘 해석하고 조합하는가의 차이이기도 합니다

AI 모델마다 결과가 다른 이유

AI 이미지 모델은 모두 비슷해 보일 수 있습니다.

어떤 서비스든 프롬프트를 입력하면 이미지를 만들어줍니다.
하지만 실제로는 모델마다 결과가 많이 다릅니다.

왜 그럴까요?

모델마다 학습한 자료가 다르고, 학습 방식이 다르고, 파라미터의 값도 다르기 때문입니다.

쉽게 말하면 각 모델은 서로 다른 경험을 통해 훈련된 AI입니다.

어떤 모델은 실사 인물 사진을 많이 학습했을 수 있습니다.
어떤 모델은 일러스트나 애니메이션 스타일에 더 강할 수 있습니다.
어떤 모델은 제품 사진이나 광고 이미지에 적합할 수 있습니다.
어떤 모델은 참조 이미지를 유지하면서 편집하는 데 강할 수 있습니다.
어떤 모델은 정지 이미지보다 영상을 자연스럽게 움직이는 데 더 강할 수 있습니다.

이 차이는 모델 안의 파라미터 값 차이에서 나옵니다.

학습한 자료가 다르면 파라미터 값도 다르게 조정됩니다.
파라미터 값이 다르면 같은 프롬프트를 해석하는 방식도 달라집니다.
해석이 달라지면 최종 이미지도 달라집니다.

그래서 같은 문장을 입력해도 모델에 따라 다른 결과가 나올 수 있습니다.

예를 들어 “지하철 플랫폼에 서 있는 여성”이라는 프롬프트를 넣어도, 어떤 모델은 영화 같은 실사 사진으로 만들고, 어떤 모델은 애니메이션풍으로 만들고, 어떤 모델은 패션 화보처럼 만들 수 있습니다.

또 “바람 부는 들판에 서 있는 사람”이라는 장면을 만들 때도 모델마다 다르게 표현할 수 있습니다.

어떤 모델은 옷자락과 머리카락의 움직임을 자연스럽게 표현할 수 있고,
어떤 모델은 바람의 방향이나 몸의 균형을 어색하게 만들 수 있습니다.

결국 AI 이미지 제작에서 중요한 것은 프롬프트만이 아닙니다.

어떤 모델을 쓰는지,
그 모델이 어떤 이미지를 잘 만드는지,
그 모델을 어떤 도구로 제어하는지도 중요합니다.

이 내용은 뒤에서 상업용 AI 서비스와 ComfyUI 같은 제작 환경을 설명할 때 다시 이어집니다.

프롬프트는 AI에게 주는 제작 지시서다

AI 이미지 생성에서 가장 익숙한 것은 프롬프트입니다.

프롬프트는 사용자가 AI에게 주는 제작 지시서입니다.

예를 들어 다음과 같은 문장이 프롬프트입니다.

지하철 플랫폼에 서 있는 젊은 한국 여성, 영화 같은 조명, 사실적인 사진 스타일

사람은 이 문장을 읽고 바로 장면을 상상할 수 있습니다.

하지만 AI는 이 문장을 사람처럼 그대로 이해하지 않습니다.
AI는 사용자의 문장을 이미지 제작에 사용할 수 있는 내부 신호로 바꿉니다.

쉽게 말하면, 프롬프트 안에 들어 있는 단서들을 뽑아내는 것입니다.

위 문장에는 여러 단서가 들어 있습니다.

지하철 플랫폼이라는 공간.
젊은 한국 여성이라는 인물.
영화 같은 조명.
사실적인 사진 스타일.
전체적인 분위기와 구도.

AI는 이런 단서들을 바탕으로 어떤 이미지를 만들어야 할지 방향을 잡습니다.

즉 프롬프트는 단순한 문장이 아닙니다.

AI가 이미지를 만들 때 참고하는 제작 지시서입니다.

참조 이미지는 눈으로 보여주는 단서다

프롬프트만으로 이미지를 만들 수도 있지만, 참조 이미지를 넣을 수도 있습니다.

예를 들어 이미 한 장의 인물 이미지가 있다고 해보겠습니다.

그 인물의 얼굴 분위기, 헤어스타일, 의상, 몸의 실루엣을 유지한 채 다른 장면을 만들고 싶을 수 있습니다.

이럴 때 참조 이미지를 사용합니다.

참조 이미지는 AI에게 주는 시각적 단서입니다.

프롬프트가 말로 설명하는 지시서라면, 참조 이미지는 눈으로 보여주는 예시입니다.

예를 들어 인물 사진을 참조 이미지로 넣으면 AI는 이런 요소들을 참고할 수 있습니다.

인물의 얼굴 분위기.
헤어스타일.
의상.
몸의 실루엣.
카메라 구도.
조명.
전체적인 색감.

물론 AI가 참조 이미지를 항상 완벽하게 유지하는 것은 아닙니다.
모델이나 설정에 따라 얼굴이 달라지거나, 의상이 바뀌거나, 배경이 예상과 다르게 변할 수도 있습니다.

하지만 기본적으로 참조 이미지는 AI에게 “이런 느낌을 참고해라”라고 알려주는 역할을 합니다.

정리하면 이렇습니다.

프롬프트는 말로 주는 제작 지시서입니다.
참조 이미지는 눈으로 보여주는 시각적 단서입니다.

AI는 이 두 가지를 바탕으로 무엇을 유지하고, 무엇을 바꾸고, 어떤 방향으로 새 이미지를 만들지 결정합니다.

AI는 보이지 않는 작업 공간에서 이미지를 만든다

이제 AI가 학습한 지식을 가지고 실제 이미지를 어떻게 만드는지 살펴보겠습니다.

우리가 그림을 그린다고 하면 보통 하얀 종이나 캔버스를 떠올립니다.

하지만 AI는 처음부터 사람이 볼 수 있는 이미지 위에 그림을 그리는 것이 아닙니다.

AI는 자신이 계산하기 좋은 보이지 않는 작업 공간에서 이미지를 만듭니다.

이 작업 공간에는 우리가 바로 볼 수 있는 사진이 들어 있는 것이 아닙니다.
이미지를 만들기 위한 압축된 정보가 들어 있습니다.

사람은 이미지를 픽셀로 봅니다.

예를 들어 빨간색 점, 파란색 점, 밝은 점, 어두운 점이 모여 하나의 사진을 이룹니다.

하지만 AI는 이미지를 사람이 보는 방식 그대로 다루지 않습니다.
AI는 이미지를 더 계산하기 쉬운 형태로 바꾸어 다룹니다.

AI 모델은 학습을 통해 조정된 파라미터 값을 바탕으로, 이 보이지 않는 작업 공간에서 이미지를 구성합니다.

사용자가 프롬프트를 입력하면 AI는 그 요구를 해석합니다.
그리고 자신이 학습한 지식을 바탕으로 어떤 형태, 색감, 구도, 조명, 재질, 공간 관계가 어울릴지 계산합니다.

그다음 이 내부 작업 공간에서 이미지의 큰 구조를 잡고, 형태를 만들고, 세부 묘사를 더해갑니다.

쉽게 말하면 이 공간은 AI가 이미지를 만들기 위해 사용하는 가상의 작업대입니다.

사람에게는 보이지 않지만, AI에게는 이 공간이 실제 제작이 이루어지는 장소입니다.

나중에 ComfyUI를 배울 때는 이 보이지 않는 작업 공간을 전문용어로 다시 만나게 됩니다.
하지만 지금은 이렇게만 이해하면 충분합니다.

AI는 사람이 보는 화면 위에서 바로 그림을 그리는 것이 아니라, 내부의 가상 작업 공간에서 이미지를 만든 뒤 마지막에 우리가 볼 수 있는 이미지로 바꿉니다.

이미지는 처음부터 선명하게 만들어지지 않는다

AI 이미지 생성에서 흥미로운 점은 이미지가 처음부터 선명하게 만들어지지 않는다는 것입니다.

많은 AI 이미지 생성 방식은 처음에 무작위적인 혼란 상태에서 시작합니다.

쉽게 말하면 아무 의미 없는 노이즈에서 시작합니다.

노이즈란 알아볼 수 없는 무작위 정보입니다.

TV 화면에 신호가 없을 때 보이는 지글지글한 화면을 떠올리면 됩니다.
아직 사람도 없고, 지하철도 없고, 배경도 없습니다.
그저 혼란스러운 정보만 있는 상태입니다.

AI는 이 혼란스러운 상태를 조금씩 정리합니다.

처음에는 흐릿한 덩어리가 생깁니다.
그다음 큰 구도가 잡힙니다.
그다음 사람의 형태가 나타납니다.
그다음 얼굴, 옷, 배경, 조명, 질감이 점점 구체화됩니다.

마치 안개 속에서 장면이 서서히 드러나는 것처럼, AI는 혼란스러운 노이즈를 점점 이미지답게 정리해갑니다.

그래서 AI 이미지 생성은 한 번에 완성된 그림을 꺼내는 과정이 아닙니다.

무작위적인 상태에서 시작해, 사용자의 요구에 맞는 이미지로 점점 정리해가는 과정입니다.

디퓨전은 노이즈를 정리해 이미지를 만드는 과정이다

이제 여기서 중요한 용어 하나가 나옵니다.

바로 디퓨전입니다.

디퓨전은 AI 이미지 생성에서 자주 등장하는 말입니다.
처음 들으면 어렵게 느껴질 수 있지만, 기본 개념은 단순합니다.

디퓨전은 노이즈를 조금씩 정리해 이미지로 만들어가는 과정입니다.

처음에는 아무것도 알아볼 수 없는 노이즈 상태입니다.
AI는 프롬프트와 참조 이미지를 참고하면서 이 노이즈를 조금씩 정리합니다.
그 결과 점점 의미 있는 이미지가 만들어집니다.

예를 들어 프롬프트에 “지하철 플랫폼에 서 있는 여성”이라고 적었다면, AI는 노이즈를 그런 장면에 가깝게 정리합니다.

이 부분은 사람의 얼굴처럼 보여야 한다.
이 부분은 옷의 형태가 되어야 한다.
이 부분은 지하철 벽이나 바닥이 되어야 한다.
조명은 지하철역의 인공조명처럼 보여야 한다.
전체 분위기는 영화적인 사진처럼 보여야 한다.

이런 방향으로 노이즈를 조금씩 정리하면서 이미지가 만들어집니다.

즉 디퓨전은 이미지를 복사해오는 과정이 아니라, 혼란스러운 정보를 이미지답게 정리해가는 과정입니다.

AI는 노이즈를 정리하는 법을 어떻게 배울까?

그렇다면 AI는 노이즈를 어떻게 정리해야 하는지 어떻게 알까요?

학습 과정에서 AI는 여러 이미지를 보면서 이미지가 망가지는 과정과 다시 복원되는 과정을 배웁니다.

먼저 깨끗한 이미지가 있습니다.
그 이미지에 조금씩 노이즈를 더합니다.
노이즈가 점점 많아집니다.
마지막에는 거의 알아볼 수 없는 상태가 됩니다.

이 과정을 단순하게 표현하면 이렇습니다.

깨끗한 이미지
→ 조금 흐려짐
→ 더 많이 흐려짐
→ 거의 알아볼 수 없는 노이즈 상태

AI는 이 과정을 통해 반대로 노이즈를 줄이며 이미지를 되살리는 법을 배웁니다.

생성할 때는 반대 방향으로 진행됩니다.

노이즈 상태
→ 흐릿한 형태
→ 큰 구도
→ 세부 묘사
→ 최종 이미지

물론 실제 과정은 훨씬 복잡합니다.
하지만 초보자 입장에서는 이렇게 이해하면 충분합니다.

AI는 학습을 통해 “혼란스러운 상태에서 의미 있는 이미지를 찾아가는 방법”을 배웁니다.

그리고 생성할 때는 그 방법을 사용해 사용자의 요구에 맞는 이미지를 만들어냅니다.

같은 프롬프트를 넣어도 결과가 다른 이유

AI 이미지 생성 서비스를 사용하다 보면 이런 경험을 하게 됩니다.

같은 프롬프트를 입력했는데도 결과 이미지가 매번 조금씩 다릅니다.

왜 그럴까요?

이유는 AI 이미지 생성이 보통 무작위적인 출발점에서 시작하기 때문입니다.

처음 출발점이 달라지면, 같은 지시를 받아도 결과가 달라질 수 있습니다.

예를 들어 두 사람이 같은 주제로 그림을 그린다고 생각해보겠습니다.

둘 다 “지하철 플랫폼에 서 있는 여성”이라는 주제를 받았다고 해도, 완전히 같은 그림을 그리지는 않을 것입니다.

한 사람은 인물을 화면 중앙에 배치할 수 있습니다.
다른 사람은 옆모습으로 그릴 수 있습니다.
한 사람은 어두운 조명을 강조할 수 있고, 다른 사람은 밝은 역 내부를 강조할 수 있습니다.

AI도 비슷합니다.

같은 프롬프트를 받아도 시작점과 설정에 따라 결과가 달라질 수 있습니다.

물론 어떤 경우에는 비슷한 결과를 다시 만들 수 있도록 출발점을 고정하는 기능도 있습니다.
이 개념은 나중에 ComfyUI나 다른 제작 도구를 다룰 때 다시 설명하겠습니다.

지금은 이렇게 이해하면 됩니다.

같은 프롬프트를 넣어도 AI가 매번 조금씩 다른 이미지를 만들 수 있는 이유는, 이미지 생성이 정해진 사진을 꺼내는 방식이 아니라 새롭게 구성하는 과정이기 때문입니다.

AI 이미지 생성의 전체 흐름

지금까지의 내용을 한 번에 정리해보겠습니다.

AI는 여러 이미지를 학습하면서 사물의 형태, 색, 질감, 구도, 조명, 스타일 같은 패턴을 익힙니다.

또한 빛과 그림자, 재질, 공간 배치, 움직임처럼 현실적인 장면을 만드는 관계도 함께 학습합니다.

이 학습 결과는 사진 파일처럼 저장되는 것이 아니라, 모델 내부의 파라미터와 그 값에 반영됩니다.

모델마다 학습한 자료와 파라미터 값이 다르기 때문에, 같은 프롬프트를 입력해도 결과가 다르게 나올 수 있습니다.

사용자가 프롬프트를 입력하면, AI는 그 문장에서 이미지 제작에 필요한 단서를 뽑아냅니다.

참조 이미지를 넣으면, AI는 그 이미지 안에 들어 있는 얼굴, 의상, 자세, 구도, 색감 같은 시각적 특징을 참고합니다.

그다음 AI는 보이지 않는 내부 작업 공간에서 이미지를 만들기 시작합니다.

처음에는 혼란스러운 노이즈 상태에서 출발합니다.
그리고 그 노이즈를 조금씩 정리하면서 사용자의 요구에 맞는 이미지를 만들어갑니다.

마지막에는 AI 내부에서 만들어진 결과를 우리가 볼 수 있는 이미지로 바꿔 보여줍니다.

전체 흐름은 이렇게 정리할 수 있습니다.

사용자가 프롬프트나 참조 이미지를 입력합니다.
AI는 그 안에서 제작에 필요한 단서를 뽑아냅니다.
AI 모델은 학습을 통해 조정된 파라미터 값을 바탕으로 이미지를 해석하고 구성합니다.
AI는 내부 작업 공간에서 노이즈를 정리하며 이미지를 만듭니다.
그 결과를 사람이 볼 수 있는 이미지로 바꿉니다.
최종 이미지가 완성됩니다.

더 짧게 정리하면 이렇습니다.

사용자의 요구
→ AI가 제작 단서로 해석
→ AI 모델의 학습 결과 활용
→ 내부 작업 공간에서 이미지 생성
→ 노이즈를 점점 정리
→ 최종 이미지 완성