한빛출판네트워크

‘꽹’은 호기심 많고 모험을 사랑하는 괭이상어 공주입니다. 꽹 공주는 어느 날 옆 바다를 탐험하다가 늠름한 돌고래 왕자를 보았습니다. 꽹은 첫눈에 왕자에게 끌렸지만, 언어가 통하지 않아 마음을 전할 수 없어 답답해했습니다. 고민 끝에 Ocean Overflow에 도움을 청했고, 그곳에서 딥러닝의 대가로 소문난 쏨뱅이 ‘쏨’을 소개받았습니다.

“쏨 선생님, 저는 옆 바다 돌고래 왕자를 사랑하게 되었어요. 그런데 돌고래는 생선이 아니라서 제 마음을 전할 수 없어요. 저를 위해 언어 해독기를 만들어 주실 수 있나요?” 

공주가 간절하게 부탁하자 쏨은 알 수 없는 미소를 지으며 말했습니다.

“언어 해독기라... 쉬운 일은 아니에요. 돌고래의 언어는 초음파로 이루어져 있어 복잡하고 독특하거든요. 해독기를 만들려면 커다란 희생이 필요한데, 각오는 되셨나요?”

그날 이후 공주는 죽도록 고생했습니다. 낮에는 말도 안 통하는 돌고래들을 몇 날 며칠 쫓아다니며 초음파를 녹음하고, 밤에는 잡음 제거 등의 데이터 전처리를 해야만 했습니다. 돌고래 왕국에는 이상한 스토커 상어에 대한 흉흉한 소문이 퍼졌습니다. 하지만 마침내, 공주는 쏨이 만족할 만한 돌고래 언어 데이터셋을 완성하는 데 성공했습니다.

말 몇 마디에 엄청난 크기의 데이터셋을 얻게 된 쏨은 기뻐하며 작업에 착수했습니다.

“돌고래 언어는 시퀀스 데이터니까 순환 신경망(RNN)을 사용해 볼까요?”

그런데 모델 학습 과정이 순조롭지만은 않았습니다.

“기울기 소실 문제가 발생하는 것 같아요. 학습이 잘 안 되고 있어요.”

공주의 머릿속에는 그동안 고생한 나날들이 빠르게 스쳤습니다. 다행히 쏨은 역시 전문가였습니다.

“걱정 마세요. 장단기 메모리(LSTM)를 사용해 보죠. LSTM은 긴 시퀀스에서도 정보를 잘 기억하니까요.”

LSTM을 도입한 후 모델의 성능이 향상되기 시작했습니다. 그러나 돌고래 언어의 미묘한 뉘앙스를 완벽히 이해하기엔 부족했습니다.

“돌고래 언어는 맥락에 따라 의미가 크게 변하는 거 같아요. 어텐션 메커니즘을 추가하면 중요한 부분에 집중할 수 있을 거예요.”

이번에도 쏨이 해법을 제시했습니다. 공주는 고개를 끄덕이며 대답했습니다.

“좋은 생각이에요! 어서 어텐션을 적용해 봐요.”

어텐션 메커니즘을 도입하자 모델은 돌고래 언어의 복잡한 표현까지 정확하게 해석할 수 있게 되었습니다.

마침내 언어 해독기가 완성되었습니다. 꽹 공주는 설레는 마음으로 돌고래 왕자를 찾아갔습니다.

“안녕하세요? 저는 옆 바다의 공주 꽹이에요. 드디어 당신과 대화할 수 있어서 너무 기뻐요!”

해독기를 통해 공주의 목소리가 왕자에게 전해졌습니다. 돌고래 왕자는 깜짝 놀라며 말했습니다.

“스토커의 정체가 고..공주였다고? 나도 너..아니 당신과 이야기하고 싶었다..요!”

이렇게 공주와 왕자는 오해를 풀고, 함께 바다를 탐험하고 다양한 경험을 나누며 사랑을 키워갔습니다. 언어를 뛰어넘은 둘의 사랑, 그리고 딥러닝 전문가 쏨의 업적은 생선들 사이에서 전설이 되었습니다.

딥러닝 용어 해설

• 순환 신경망(RNN) : 문장이나 음성 같은 연속된 데이터에서 이전 정보를 기억하여 다음 결과에 반영함으로써 순서나 문맥을 이해하는 딥러닝 모델
• 기울기 소실(Vanishing Gradient) : 역전파를 통해 학습할 때 기울기가 너무 작아져 초기 층들이 제대로 학습되지 않는 현상
• 장단기 메모리(Long Short-Term Memory, LSTM) : 이전의 중요한 정보를 오래 기억하여 긴 문장이나 시간 순서 데이터를 효과적으로 처리할 수 있게 해주는 특별한 신경망
• 어텐션(Attention) : 입력 데이터 중 중요한 부분에 집중함으로써 필요한 정보에 더 많은 비중을 두어 모델이 더 효과적으로 이해하고 예측하도록 해주는 기술

『바닷속 딥러닝 어드벤처』는  『밑바닥부터 시작하는 딥러닝』 시리즈를 원작으로, 재미난 상상력을 더해 재구성한 연작 소설입니다. 이번 편은 원작 중 ‘순환 신경망(RNN)과 자연어 처리’를 다룬 2권에서 영감을 얻어 작성했습니다.