한빛출판네트워크

제공 : 한빛 네트워크
저자 : Edd Dumbill
역자 : 권정민
원문 : Big data, cool kids

빅데이터의 세상은 혼란스럽다. 우리는 더 이상 관계형 데이터베이스가 대부분을 장악했던 시장에 살고 있지 않다. 대신, 다양성의 베이비 붐이 도래했다.

데이터 세상의 이런 어린 천재들은 매우 전도 유망하지만 대부분의 시간을 운동장에서 서로 싸우는데 허비한다. 이 아이들의 자아는 때때로 너무 커서 각자 자신의 역할이 있고, 수박 겉핥기식 미디어는 아무런 도움이 되지 않는다는 사실을 받아들이지 못한다.

유명한 꼬마: 여기 보라구! 빅데이터가 가장 화제야!!
하둡: 내 데이터가 너 것보다 커!
SCIPY: 사이즈가 전부가 아냐, 하둡! 더 큰 게 와봐야, 더 세게 떨어질 뿐이야. 그리고 넌 겨우 코끼리 장난감 이름을 땄을 뿐이잖아?
R: 이전 문장들을 파낼 뿐이지만, 위대한 힘은 거대한 머리에서 나오는 거지.
모두: 하아?
SQL: 아, 어쨌든 다시 다 친하게 지내고 싶은 거지?
유명한 꼬마: 그래, SQL의 말을 들어봐! 사실 아무도 빅 데이터가 필요한 게 아니야. 다 스몰 데이터에 대한 거잖아. 바보들.

확실한 건, 우리는 빅데이터의 사춘기에서 방황하고 있고, 데이터가 어떻게 가치를 창출하고 사람들이 정부, 기업, 병원에서 받는 서비스의 품질을 높이는 데에 사용될 수 있는 지를 이해하는 초기 단계에 있다는 것이다. 주류 미디어에서는 빅 데이터에 대해서 떠들어대고 있지만, 많은 기업들은 우선 작은 데이터로 걸음마부터 배우는 것이 낫다.

데이터 회의론자들은 타당한 이유가 없이는 움직이지 않는다. 우리의 "스몰 데이터" 사용은 항상 결과가 일정하게 나오는 것은 아니었고, 정제되지 않은 익히 알려지거나, 혹은 암암리에 잘못 사용되어 오기도 했다. 예를 들어, 정부의 학교 시험에 대한 과한 의존성은 교육 기관의 끔직한 획일화 교육을 조장한다.

빅데이터의 약속이자 도박은 이것이다. 우리가 현재의 스몰 데이터를 가지고 전체 시스템에 대해 복잡하게 통계적으로 이해하면서 세부적인 수준의 통찰을 모두 얻을 수 있다는 것이다. 데이터는 우리에게 큰 그림과 세부적인 그림, 그것도 우리가 기존에는 얻을 수 없던 것을 가져다 준다는 것이다.

이런 감질나기 짝이 없는 비전 안에는 오늘날의 데이터 세상에서의 수많은 논란거리들이 숨어있다. 이런 변화를 일으키기 위해서는 뛰어난 데이터 과학자가 필요하다든가, 아무리 주의를 기울여도 자신도 모르는 사이에 빅브라더의 노예가 될 지도 모른다는 걱정 같은 것들이다.

따라서, 데이터 혁명이 진행되는 동안, 장기적 관점을 가지고 보는 것이 중요하다. 사용 도구와 직함과 알고리즘을 정하는 것은 매우 중요한 일이지만, 결론적으로 이런 것들은 우리의 사람, 기업, 정부 같은 더 큰 목적의 배경이 될 뿐이다. 오라일리의 스트라타에 "데이터가 일하게 하라"라는 모토를 내세운 것도 이런 연유에서이다. 기술이 아닌 데이터는 우리가 해결하고자 하는 문제와 우리 자신을 바로 연결시켜주므로 이 세계의 심장박동이라고 해도 과언이 아니다. 또한 이는 스트라타와 하둡 월드 컨퍼런스가 비즈니스적 주제부터 데이터 과학 및 도구까지의 매우 넓은 범위의 주제를 가지고 있는 이유이기도 하다.

만약 하둡 진영의 가장 노련한 지지자와 대화를 하게 된다면, 그들은 기술에 대해서만 말하지 않을 것이다. 그 사람들은 해결할 수 있는 문제들에 대해서 말할 것이다. 도구 하나만으로는 충분하지 않다. 실제로 필요한 것은 인력 프레임워크와 그들의 생각이다.

우리의 목표는 사람들 데이터 세상의 상태에 대해서 이해하도록 돕고 이런 지식을 사용하여 보다 경쟁력있고 창의적이 되도록 하는 것이다. 우리는 커지고 있는 데이터에 전문가 커뮤니티를 제공하고 우리의 데이터 사용 사례에 대한 생각의 컨텍스트를 만드는 것이 우리가 할 수 있는 최선이라고 생각한다.

커져가는 데이터 생태계의 소음과 에너지를 만끽하되, 해결하고자 하는 문제에서 눈을 떼지 말아라.