다양하고 대규모의 정형・비정형 데이터를 빠른 속도로 분석하여 새로운 가치를 찾아내는 제4차 산업혁명의 핵심인 빅데이터의 중요성이 점점 커지고 있습니다.
고려대학교 정보문화연구소 산하 <빅데이터 사회문제 연구센터, KURCBDSI>는 한국사회의 다양한 문제와 이슈를 빅데이터 분석 접근을 통해 원인을 규명하고 해결 방안에 대한 의미있는 제안을 하고자 2012년 5월 설립되었습니다.
본 연구센터는 사회문제와 관련한 다양한 연구 주제를 언론과 소셜, 정책이라는 세 가지 분석범위 안에서 상호 비교하며, 궁극적으로 분석결과를 통합하는 것을 목적으로 합니다. 외부 연구 자문진을 구성하는 등 연구 내용의 최적화를 위해 유연하고 탄력적인 시스템을 구축하고 있습니다. 더불어 본 연구센터는 빅데이터 수집 및 분석을 위해 외부 빅데이터 분석 전문기관과 MOU를 통해 산학협력을 통한 연구를 진행하고 있습니다.
다양한 AI 및 빅데이터 분석기반의 알고리즘을 구축하는 과정에서 다음과 같은 분석단계를 추구합니다.
Data Acquisition: Identifying and collecting relevant data sources from various formats.
Data Preprocessing: Cleaning, transforming, and preparing the data for analysis.
Feature Engineering: Extracting relevant features from the data that can be used by AI models for prediction or classification.
Model Selection & Training: Choosing and training an appropriate AI model on the prepared data.
Model Evaluation: Assessing the performance of the trained model.
Model Deployment & Monitoring: Integrating and monitoring the trained model in a real-world environment.
Insights & Actionable Results: Analyzing the model's outputs to generate insights for decision-making.
다양한 비정형 소셜데이터를 분석하기 위한 단계, 특히 연구센터에서는 정량적 방법과 함께 정성적인 데이터 분석도 융합한 방법적 Triangulation 을 추구한다.
빅데이터 분석을 통한 사회문제를 밝혀내고 새로운 이슈를 발굴하기 위해 본 연구센터는 빅데이터 분석 솔루션 STAR(Social Text Analysis Research)를 활용해 정형・비정형 데이터를 정량분석하고, 특화된 텍스트분석전문가 그룹(TAT: Text Analysis Team)의 정성분석을 동시 운영하고 있다. 통합적 빅데이터 분석 결과를 토대로 사회문제 관련 전문가 자문 등을 활용해 분석결과에 대한 의미화 과정을 추가적으로 진행하여 결과의 전문성을 높이고 있다.
빅데이터 사회문제 연구센터는 녹색기술센터, 헌법재판소, 한국토지주택공사 등과 관련된 사회문제를 빅데이터 분석하여 미래지향적 이슈를 도출한 바 있다. 향후 우리나라의 다양한 사회문제를 빅데이터를 활용해 솔루션을 제시하는 것을 목표로 다음과 같은 분석 전략을 설정하였다.
분석전략 1.
우리 사회가 당면한 다양한 이슈와 문제에 대한 광범위한 데이터를 통시적 · 공시적 방법으로 분석한다.
주요 이슈에 대한 대용량의 정형, 비정형 데이터를 분석하여 단위 시간의 변화 또는 특정 시점에 대한 정보를 상대적으로 빠르고 객관적으로 분석한다.
이를 통해 주요 사안에 대한 과거와 현재의 특징을 상황적 맥락에서 비교 분석가능하며(과거 데이터의 현재화), 연속적인 시간의 흐름 안에서 이슈 간 상호 연관성과 핵심 트렌드를 파악한다.
분석전략 2.
주요 이슈에 대한 정형/비정형 데이터, 공공/소셜 데이터, 국내외 트랜드 데이터, 기업 내,외부 데이터를 다차원적인 분석을 통해 실질적인 수용자의 목소리를 듣고, 공공부문에의 적용 효용을 높인다.
빅데이터는 정책의 궁극적 수혜자인 국민의 실질적인 메시지에 실시간 접근이 가능하다. 예를 들면 트위터, 커뮤니티, 블로그, 포털 등 소셜 텍스트 분석을 통해 대중의 인식을 파악하고 진단함으로써 미래지향적이고 실질적인 해법 마련을 위한 활용도가 높다.
결과적으로 소셜 텍스트 분석을 통해 주요 사안에 대한 일반의 수요를 파악하고 이에 부합하는 정책 등의 방향성을 모색할 수 있다.