한빛출판네트워크

깊은 심해, 어둠 속에서 은은한 빛을 자아내는 유령실고기 ‘피쉬카소’는 자신의 투명하고 신비로운 모습을 자랑스러워했습니다. 하지만 지금의 예술계에서는 그 아름다움을 담아낼 기법이 없어 답답했습니다. 피쉬카소는 새로운 예술을 꿈꾸었습니다.

“지금의 예술계는 정체되어 있어. 모두가 상상하지 못한 새로운 예술 방식을 만들어내야 해!”

피쉬카소는 기존의 예술 방식에서 벗어나기 위해 어공지능(Fishficial Intelligence, FI)의 첨단인 딥러닝에 관심을 갖고 Ocean Overflow에 올라오는 정보들에 귀를 기울였습니다. 특히 쏨뱅이 ‘쏨’의 창의적이고 영웅적인 업적들에서 큰 영감을 얻었습니다.

“창의력 하면 나도 뒤지지 않지. 그래, 내가 직접 새로운 이미지 생성 모델을 만들어보자!”

그러나 주변 생선들은 그를 비웃었습니다.

“예술쟁이가 무슨 코딩이야?”

“예술은 지느러미로 하는 거지, 기계에 맡기는 게 아니야!”

심지어 가까운 친구들마저도 그의 생각을 이해하지 못했습니다.

피쉬카소는 굴하지 않고 자신만의 모델을 개발하기 시작했습니다. 그는 노이즈에서 이미지를 생성해 내는 확산 모델(Diffusion Model)의 개념을 창안하고 빠르게 몇 가지 작품을 완성했습니다. 하지만 그의 시도는 다시 한번 비판에 직면했습니다.

“저건 예술이 아니야! 기계가 만든 모조품일 뿐이지.”

“전통과 생선의 존엄을 무시하는 행위야!”

예술계의 평론가들은 그의 작업을 인정하지 않았습니다.

피쉬카소는 갈등했습니다. 잘못된 길을 걷고 있는 건 아닐지. 모두가 반대하는데 계속해야 할지… 그러나 신념을 지키기로 결심했습니다.

“예술은 혁신에서 시작되는 거야. 내가 포기하면 나의 아름다움을 후세에 남길 수 없어.”

피쉬카소는 모델을 더욱 발전시켰습니다. 스테이블 디퓨전(Stable Diffusion)이라는 멋진 이름도 지어주었죠. 이 모델은 노이즈로부터 시작해 점진적으로 이미지를 생성하는 방식으로, 안정적으로 고품질의 작품을 만들어냈습니다.

피쉬카소가 스테이블 디퓨전으로 표현한 자신의 모습은 이전에 볼 수 없던 형태와 색채로 가득했습니다. 투명한 몸에서 발산되는 빛과 어둠의 조화는 신비로웠습니다. 처음에는 여전히 이해받지 못했지만, 점차 그의 작품에 매료되는 생선들이 나타나기 시작했습니다.

“정말 놀라워! 어떻게 이런 걸 그려냈지?”

“기존의 예술과는 완전히 달라. 새로운 감동이야!”

특히 젊은 생선들이 큰 관심을 보였습니다. 그리고 곧 너나 할 것 없이 이 모델을 활용하여 자신만의 작품을 만들기 시작했습니다.

스테이블 디퓨전은 전 바다 예술계에 혁명을 일으켰고, 피쉬카소는 최고의 예술가로 추앙받게 되었습니다. 얼마 후 피쉬카소는 Ocean Overflow가 후원하는 콘퍼런스에 초청되어 스테이블 디퓨전의 원리를 설명했습니다.

“처음은 간단한 정규 분포부터 시작합니다. 그런 다음 … 이렇게 몇 단계만 거치면, 짜잔! 스테이블 디퓨전이 완성됩니다.”

“참 쉽죠?”

그의 강의는 책으로 출간되어 바닷속 생태계에 다시 한번 어공지능 붐을 일으켰습니다.

딥러닝 용어 해설

• 확산 모델(디퓨전 모델) : 이미지에 노이즈를 단계적으로 추가하고 제거하면서 학습하여, 새로운 이미지를 생성하거나 기존 이미지를 복원하는 딥러닝 모델
• 노이즈 : 이미지에 무작위로 추가되는 작은 변화나 잡음. 확산 모델은 이 노이즈를 점진적으로 제거하여 원본 이미지나 새로운 이미지를 생성하도록 학습합니다.
• 스테이블 디퓨전 : 텍스트로 묘사한 이미지를 딥러닝을 이용해 무작위한 노이즈에서부터 단계적으로 생성하여 원하는 그림을 만들어내는 모델 혹은 이 모델을 이용한 특정 서비스

그림 속 딥러닝 용어 해설

• 최대 가능도 추정(Maximum Likelihood Estimation) : 모델이 실제 데이터를 가장 잘 추정할 수 있도록, 주어진 데이터가 나올 가능성을 최대화하여 모델의 매개변수(가중치)를 찾는 방법
• 가우스 혼합 모델(Gaussian Mixture Model, GMM) : 여러 개의 가우스 분포(정규 분포)를 합쳐서 복잡한 데이터의 분포를 표현하는 통계 모델
• 잠재 변수(Latent Variable) : 직접 관찰할 수 없지만 데이터의 숨겨진 특징이나 패턴을 나타내는 변수. 모델이 복잡한 데이터를 이해하고 표현하는 데 도움을 줍니다.
• EM 알고리즘(Expectation-Maximization, 기대값 최대화) : 관찰할 수 없는 숨겨진 데이터(잠재 변수)가 있을 때, 이를 추정하고 모델을 반복적으로 개선하여 데이터에 가장 잘 맞는 모델을 만드는 방법
• 오토인코더(AutoEncoder) : 입력 데이터를 압축한 후 다시 복원하면서 데이터의 중요한 특징을 학습하는 딥러닝 모델
• VAE (Variational Autoencoder, 변이형 오토인코더) : 데이터의 중요한 특징을 학습하여, 그와 비슷한 새로운 데이터를 생성할 수 있게 해주는 딥러닝 모델
• 계층형 VAE: 데이터의 복잡한 특징을 더 잘 학습하기 위해 여러 단계의 잠재 변수를 사용하여, 데이터를 효과적으로 이해하고 새로운 데이터를 생성할 수 있게 해주는 변이형 오토인코더
• 조건부 확산 모델: 텍스트나 레이블과 같은 특정 조건을 주었을 때, 그 조건에 맞는 이미지를 생성하기 위해 노이즈를 단계적으로 제거하며 학습하는 모델

『바닷속 딥러닝 어드벤처』는  『밑바닥부터 시작하는 딥러닝』 시리즈를 원작으로, 재미난 상상력을 더해 재구성한 연작 소설입니다. 이번 편은 원작 중 ‘이미지 생성 모델’을 다룬 5권에서 영감을 얻어 작성했습니다.