블록 데이터가 만드는 새로운 미래
블록데이터에 대한 인식과 이해는 데이터의 비밀을 탐색하고 빅데이터의 가치를 발견하면서 계속 무르익어 가고 있다.
어떤 의미에서 블록데이터와 빅데이터는 상생관계를 맺었다고 봐도 무방하다. 블록데이터의 기본 원리를 연구하는 과정에서 우리는 빅데이터를 참고하지만 블록데이터와 구분한다는 원칙을 세웠다.
블록데이터의 개념이 제시된 이래로 블록데이터를 설명하는 작업은 단 한 순간도 중단된 적이 없다. 이를 토대로 블록데이터의 개념을 좀 더 정확하게 파악하고 좀 더 정리된 표현으로 설명할 수 있기를 기대한다.
과학 기술, 인류의 사고 모델과 사회 구조에 대한 전망을 감안했을 때 블록데이터의 정의에 대해 다음과 같은 결론에 도달할 수 있었다.
"블록데이터는 높은 연관성을 지닌 각종 데이터가 특정한 플랫폼에서 꾸준히 통합된 결과물이다." 수학에서 미지수의 값을 대입하는 것처럼 블록데이터에 구체적 뜻이나 이미지를 부여할 수만 있다면 블록데이터에 대한 이해와 응용력을 높이는 데 도움이 되리라고 생각한다.
단순히 개념을 나열하는 것이 아니라 블록데이터 연구 전개와 블록데이터 사상에 대한 좌표계 작동 및 관련 규칙을 탐색하는 작업을 시도할 계획이다.
이를 발판 삼아 데이터의 사회학적 패러다임에 대한 사고를 연구해 블록데이터의 발전에 따른 공감대를 형성하고자 한다.
스트립 데이터 시대에서 블록데이터 시대로
취합된 데이터
빅데이터의 가치는 방대함과 연관성이 있다. 실제로 스트립 데이터는 이미 데이터의 취합을 실현했는데, 이는 일정한 조건 아래서 동일 유형과 동일 영역의 데이터가 집중하는 것으로 이런 종류의 집중을 데이터의 '지향성 취합'이라고 지칭한다.
전통적 기업의 회원카드 데이터, 전통적 금융업계의 은행카드 데이터부터 인터넷 기업의 전자상거래 데이터, 핀테크의 업계 데이터, 각 정부 부처에서 정보화 관리를 통해 생산한 보건, 교육, 교통 등 민생 데이터에 이르기까지 취합하여 사용된 데이터는 몇몇 업계와 영역으로 제한되어 있다.
이런 방식을 통해 동일 유형의 데이터끼리 연관성을 맺으면 사람들은 특정 영역의 전체적 상황과 최신 동향을 정확하게 파악할 수 있을 뿐 아니라 예측의 정확성을 높이고 생산과 생활비용 감소 등의 효과를 얻을 수 있었다. 한마디로 말해 데이터의 활용 수준이 더 높은 단계로 발전했다고 볼 수 있다. 그러나 이와 동시에 지향성 취합은 데이터의 몰개성화, 데이터의 개방성 차단, 데이터 독점이라는 문제도 가져왔다.
이런 점에서 데이터의 지향성 취합이라는 어려운 문제를 해결하는 작업은 블록데이터를 형성하기 위한 기반이자 블록데이터의 발전을 촉진하는 발판이라고 할 수 있다.
분산된 스트립 데이터나 블록데이터 모두 데이터의 집합이라는 공통점을 지닌다. 앞서 말했듯 데이터 중력파로 말미암아 데이터를 취합할 때 일정한 규칙이 작동한다.
즉 데이터의 지향성 취합이 일정 규모에 도달하면 데이터 중력장이 형성되는데, 이때의 데이터 중력장은 시공을 초월할 뿐 아니라 데이터의 에너지를 한 단계 끌어올리며 거대한 데이터 중력을 만들어낸다.
데이터 중력이 작용되는 가운데 데이터의 연관성이 취합되면 분산된 데이터 스트립 데이터는 '블록'으로 전환된다.
앞서 설명했듯이 분산된 스트립 데이터와 달리 블록데이터는 높은 연관성을 지닌 각종 데이터가 특정 플랫폼에서 꾸준히 취합되는 특징을 보이는데, 이를 일종의 연관성 취합이라고 봐도 무방하다. 그렇다면 연관성 취합과 지향성 취합의 차이점은 무엇일까? 먼저 지향성 취합은 동일 영역과 동일 유형의 데이터만을 취합한 것이지만, 연관성 취합은 다양한 데이터를 취합한 것이다.
그 다음 지향성 취합이 수직적 관계를 이루고 있는 데 반해 연관성 취합은 다양한 차원의 데이터를 수평적으로 아우르며 그들 사이의 연관성, 즉 내재적이고 긴밀한 수준 높은 차원의 연관성을 추구한다.
높은 연관성은 아무 데이터나 무작정 추가해 몸집을 키우는 것이 아니라 일정한 규칙에 따라 취합하는 것을 의미한다.
데이터의 연관성을 높을수록 취합의 힘은 커지고 업데이트 속도 역시 지속적으로 빨라진다. 따라서 연관성 분석과 발굴 작업의 규모와 수준은 끊임없이 향상된다.
둘째, 연관성 취합은 지향성 취합을 기반으로 꾸준히 진행된다. 지향성 취합이 규모의 효과를 가져왔다면 연관성 취합은 활성화 효과를 구현하고 순환 반복함으로써 질적 변화를 추구한다.
예를 들어 중국 구이양에서는 '사회 경영 빅데이터 클라우드 플랫폼'구축을 통해 지역 주민과 주민위원회가 소통할 수 있는 만남의 장을 마련했다. 해당 플랫폼은 지역 주민, 가정, 건물에 대한 기본 데이터를 수집할 뿐만 아니라 민원, 안전, 교육, 금융, 생황, 노인복지 등 지역 내 데이터를 통합적으로 제공한다. 그리고 여론에 대한 실시간 모니터링을 통해 데이터를 수집하고 취합한다.
이 작업을 통해 분산된 데이터를 가치있는 데이터로 탈바꿈시킴으로써 누구나 공유할 수 있고 누구에게나 열린 지역 블록데이터를 형성한다.
블록데이터의 연관성 취합은 특정한 물리적 공간이나 행정 구역에 국한되지 않고 특정 플랫폼에서 구현된다. 해당 플랫폼에는 특정한 물리적 공간을 비롯해 가상 공간, 운영 환경(에를 들면 소프트웨어 등)은 물론이고 리더기Reader 같은 도구가 포함된다.
블록데이터의 연관성 취합은 전통적인 정보의 비대칭성, 정보의 흐름을 가로막는 물리적 제약이나 영역별 한계를 뛰어넘을 것이다.
다양한 영역에 존재하는 다양한 유형의 다차원적 데이터를 취합해 정보의 생산, 전파, 가공, 구조를 대대적으로 바꿀 것이다. 여기서 한발 더 나아가 각 업계의 혁신을 위한 새로운 동력을 제공함으로써 각 영역의 철저한 변혁과 재탄생을 강력하게 추진할 것이다.
연관된 데이터
연관관계Association Relationship는 블록데이터의 특징이자 객관적 존재로, 우리에게 한 가지 어려운 숙제를 던진다. "연관관계를 데이터화시켜 분석하고 발굴한 뒤 정확히 판단하려면 어떻게 해야 하는가?" 연관 관계를 설명하는 데 나비 효과만큼 좋은 사례도 없다. 나비효과 이론은 1972년 에드워드 노턴 로렐즈Edward Norton Lorenz의 논문에서 제시된 이론으로 훗날 상대론, 양자론과 어깨를 나란히 하는 카오스 이론을 탄생시켰다.
카오스 이론은 계량화 분석과 질적 사고를 겸비한 방법으로, 동적 시스템을 탐구하는 작업에서는 단일한 데이터 관계가 아닌 온전한 연속성을 지닌 데이터 관계를 사용해야만 해서, 예측 등의 행위를 실천에 옮길 수 있다. 이를테면 인구 이동, 화학 반응, 사회적 행위 등이 여기에 포함된다.
카오스 시스템은 확실한 특성이 있는데, 그 중 몇가지는 다음과 같다.
첫째는 창발성인데 중요한 요소의 불확실성으로 말미암아 구체화되는 창발성은 파악하기가 어렵다.
둘째는 민감성인데 카오스 시스템의 작동 방향은 분산성에서 연속성, 저차원에서 고차원 방향으로 진행된다. 이때 민감성은 작동 과정에서 외부의 자극에 강력하게 반응하는 형태로 구체화된다.
셋째는 프랙털 특성Fractal characteristic인데 차원 분리성이라고 하며 차원 분리로 시공간이 계속 뒤엉키면서 무한한 자기유사성, 자기조직화성을 지닌 구조를 구축한다. 데이터 계산의 정확도 또는 실험의 분별률이 아주 높았을 때 그 속에 내재된 연관성과 질서를 발견할 수 있다.
카오스 이론에서는 "모든 사물의 원시 상태는 아무런 연관도 없는 조각처럼 보이지만 카오스 상태가 끝나면 무기적 상태의 조각들이 유기적 완전체로 뭉친다."라고 설명한다.
카오스 상태의 종료 여부는 외부의 자극이나 티핑포인트Tipping Point가 언제 나타나느냐에 따라 결정된다. 티핑포인트를 예측하는 것이 가능하다면 사물을 통제하고 사건에 미리 대처할 수 있다.
블록데이터는 데이터 세계의 카오스 이론을 설명하는 대표주자이며, 계량화 분석과 질적 사고를 겸비한 분석 방법으로 무원칙성과 불가측성의 특징인 데이터에서 내재된 규칙을 찾아 정확한 예측 결과르 내놓는 것을 목적으로 삼고 있다.
전형적인 카오스 시스템인 블록데이터는 겉으로 봤을 때는 무질서하고 혼란스러워 보이지만 다양한 측면에 걸쳐 규칙성을 유지하고 있으므로 장기적이고 철저한 분석을 거쳐 그 속에서 특정한 규칙을 찾아낼 수 있다. 또한 외부 정의 자극에 대해 무척 민감하게 반응하지만 내부적으로는 하나(또는 여러 개)의 티핑포인트를 갖추고 있다는 특징을 지닌다.
나비가 날갯짓을 하면 주변의 대기 시스템에 변화가 일어나고, 아주 약한 기류를 일으킬 수 있다. 이때의 아주 약한 기류가 주변의 대기나 기타 시스템을 변화시키면 연쇄 반응을 일으켜 급기야는 다른 시스템에 거대한 변화를 가져다줄 수 있다. 이 과정에서 나비의 날갯짓은 연쇄 반응을 일으킨 티핑포인트라고 할 수 있다.
동남아시나 금융시장이 금융계의 큰손이라고 불리는 조지 소로스의 말 한 마디, 일거수일투족에 촉각을 곤두세우는 것도 이런 까닭이다.
소로스의 언행은 금융계의 혼란과 기대를 유발하는 직접적 원인처럼 보이지만 본질적으로는 금융 시스템에서 '놓친 데이터'일 뿐이다. 시공여행에 대한 사례도 이 점을 설명한다. 누군가가 시간의 강 상류에 작은 돌 하나를 던져 하류에서 거대한 홍수가 일어났다. 변화를 일으킨 것은 돌이라는 티핑포인트다.
블록데이터는 이산화된 데이터를 취합해 그 안에서 높은 연관성을 이끌어낸 뒤 데이터 간의 유기적 결합을 통해 데이터 전체가 연계성을 띠는 관계를 구축하는 방식으로 작동한다.
그로 말미암아 특정한 티핑포인트가 발생했을 때 블록데이터는 사물의 발전 추세와 규칙을 재빨리 포착해 정확한 예측을 내놓을 수 있다.
데이터 취합은 연관관계를 연구하기 위한 전제 조건이다.
데이터가 사방에 흩어져 있으면 연관성을 찾아내고 비교하기가 쉽지 않으므로 꾸준한 데이터 취합을 통해 방대한 규모를 먼저 갖춰야 한다. 그래야 연관관계의 분석과 관련 규칙을 발굴할 수 있고, 데이터의 연관성 역시 정확하게 가늠할 수 있다. 연관성은 데이터 간의 연계를 통해 드러나는데, 외재적 연관성은 주로 하위 차원의 연계를 가리키지만 내재적 연관성은 상위 차원의 연계로 구체화된다.
양자역학에서 말하는 상보성이 무엇인가 하면, 이를테면 파동성과 입자성처럼 거시적 세계에서는 동시에 나타날 수 없는 두 가지 현상이 미시적 현상을 설명하거나 실험을 분석할 때 서로 보완적으로 작동하며, 어느 한쪽도 없어서는 안 된다는 사실을 보여준다. 이런 점에서 블록데이터의 연관성은 상보성과 같은 역할을 상당 부분 수행한다고 볼 수 있다.
연관관계를 분석하려면 먼저 각 데이터 사이에 존재하는 외재적 연관성 또는 명시적 연관성을 비교해야 한다. 앞서 말한 각 데이터는 정확히 무엇을 가리키는가? 결론적으로 말하면 관점에 따라 다양하게 구분될 수 있다. 인류사회의 형태라는 점에서 보면 미래의 데이터는 개인 데이터, 법인 데이터, 사회 데이터, 국가 데이터로 구분할 수 있다. 또한 데이터의 출처를 기준으로 했을 때는 인간, 사건, 사물의 데이터로 구분할 수 있다. 인간 이외의 각종 조직에 대한 데이터도 있다. 데이터의 시제라는 관점에서는 과거의 통계 데이터, 현재의 실시간 데이터, 미래의 예측 데이터로 구분된다. 데이터의 구현 형식이 기준일 때는 정형 데이터와 비정형 데이터, 추상 데이터, 다크 데이터 등으로 구분할 수 있다. 이처럼 각 데이터에 대한 식별과 수집, 저장, 전송, 사용은 블록데이터의 연관관계 분석을 위한 초석이라고 하겠다.
블록데이터는 연관관계를 분석하는 데 그치지 않고 연관성 규칙을 찾아내는 데 더욱 집중한다. 서로 연관된 데이터에는 내재적 관계와 모델이 숨겨져 있다. 그 속에서 관련 규칙을 찾아내는 것은 잠재적이며 가치 있고 높은 연관성을 지닌 내재적 정보를 발견하고 티핑포인트를 찾는 작업이라고 정의할 수 있다. 연관관계 분석은 이를테면 소비자가 구입한 제품처럼 단일 차원, 단일 측면Layer의 데이터를 토대로 진행된다. 이에 반해 관련 규칙을 찾아내는 것은 다차원, 다층면적 데이터 처리에 기반을 둔다.
다시 말해 연관관계 분석은 단일 속성에 존재하는 관계를 대상으로 삼고, 관련 규칙의 발굴은 각종 속성 사이에 존재하는 특정 관계를 처리함으로써 "특정 사건으로 말미암아 다른 사건이 일어난다"는 규칙을 보여준다. 연관관계의 분석과 관련 규칙의 발굴은 블록데이터라는 카오스 시스템이 작동하는 온전한 사이클Complete Cycle 안에서 동시에 진행되고 완료된다.
'맥주과 기저귀'는 빅데이터 연구의 효용성에 대한 대표적 사례로 손꼽힌다. 미국 월마트는 자사의 방대한 데이터 웨어하우스 시스템을 바탕으로 흥미로운 사실을 발견했다. 맥주와 기저귀를 같은 코너에 진열하면 두 제품의 판매량이 따로 진열했을 때보다 2배 증가한다는 것이다.
소비자의 행동에 대한 조사 분석을 통해 맥주와 기저귀 사이에 숨어있던 미국인의 소비 모델이 모습을 드러내면서 빅데이터는 마케팅 전략에 적극적으로 활용되기 시작했다.
이는 데이터의 연관관계 분석을 이용한 전형적 사례로, 블록데이터가 탄생함에 따라 '맥주와기저귀'이야기는 계속 이어질 것이다.
또 한편으로 미국인의 소비 행위를 바탕으로 미국 가정의 구성 모델과 사회적 기능 규칙에 대한 심도 있는 분석이 가능해질 것이다. 이와 함께 데이터의 관련 규칙을 발굴해 본질과 규칙에 좀 더 가까이 접근하는 방법을 탐색하고 분석할 수 있다.
그 밖에도 블록데이터는 대형 유통업체의 판매 전략보다 한층 광범위하게 응용되고 더 복잡해질 것이다. 티핑포인트에 대한 정확한 예측이 가능해지면 데이터의 연관성 규칙을 응용할 수 있는 범위도 기업 경영, 의사결정 등 한층 고차원적 영역으로 확대될 전망이다.
일반 대중에게 좀 더 익숙한 사례를 대형 전사상거래 사이트, 오픈마켓 등의 마케팅에서 찾아볼 수 있다. 이들은 연관관계 분석을 통해 사물과 제품, 브랜드 등에 필요한 마케팅 요소를 하나로 묶어 소비자의 니즈에 맞는 정확한 광고 서비스와 연결한다. 현재 연관관계 분석과 응용은 특정 인터넷 쇼핑업체에 국한되어 있지만 블록데이터의 관련 규칙에 기반을 둔 발굴 작업이 이루어진다면 데이터는 인터넷 쇼핑업체에서 취급하는 가장 가치 있는 자원이 될 것이다. 그리고 그때가 되면 이들 업체는 더 크게 성장할 것이다.
. 빅데이터, AI, 블록체인, 제4차 산업혁명시대의 본질을 관통하는 전략과 솔루션
- 블록 데이터 혁명, 빅데이터전략연구소 -
Posted from my blog with SteemPress : http://internetplus.co.kr/wp/?p=496