검색/모바일 이야기
[이승범]시맨틱 기반 정보서비스의 가능성
숲으로가다
2010. 11. 5. 11:19
이슈 하나 : 정보서비스 사용자들의 요구 수준은 점점 높아지지만, 기존 정보서비스의 대응은 한계에 이르고 있다. 이 문제를 해결하기 위한 대안은 무엇일까?
기업들은 △정보 검색 비용의 증가 △정보의 과잉에 따른 정보서비스의 질적 저하 그리고 △비정형 정보의 중요성 증대와 상대적으로 낮은 활용도 △기업 정보의 스팸화와 소비자 의도 파악의 어려움 등의 환경 속에서 기새로운 정보서비스를 고민해야 할 시점에 와 있다.
시맨틱(semantic) 서비스는 월드와이드웹의 창시자 중 한 사람인 팀 버너스 리에 의하여 주창된 개념이며, 현재 차세대 정보서비스 중 가장 널리 알려진 개념이다. 국내에서는 네이트의 시맨틱 검색 서비스의 등장으로 일반에게 알려지기 시작했으며 현재까지 효용성을 가장 잘 입증하고 있는 차세대 정보 서비스이다.
기존 검색 키워드에 대한 정보 제공이 문법적인 측면에 치우쳤던 반면 시맨틱 검색서비스는 정보 사용자의 의도를 분석하여 검색결과를 좀더 최적화하려는 개념이다.
정보와 정보를 상호 연관성에 따라 연결하고 조직하여 지식 구조를 맵(map) 형태로 표현하여 제공하는 정보 서비스이다. 특정 정보가 어느 토픽(topic)에 속해 있는지 직관적으로 정보 사용자에게 알려줌으로써 검색 시간을 단축할 수 있으며 토픽맵(topic map)을 통하여 해당 정보와 연관된 토픽들을 손쉽게 확인할 수 있다.
현재 네이버가 준비하고 있는 정보 서비스의 하나로 특정 상품에 대한 고객 반응을 추출하여 전반적인 평가를 도출하는 서비스이다. 고객의 의견이나 후기를 분석하여 특정 키워드들의 연계성을 추출하고 그 연계성에 근거하여 정보를 분석할 수 있도록 지원한다.
소셜 네트워크 분석 기반의 정보서비스는 사람과 사람 사이의 사회 관계망(Social Network)을 분석하여 2차 정보를 추출하는 서비스이다. 소셜 네트워크의 개념은 1800년대 사회학이 발달하면서 체계화된 사회 관계망 개념을 온라인에 구현한 것이다.
검찰청도 범죄수사에 이러한 정보서비스를 도입하여 활용하고 있다. 표면에 드러난 범죄 피의자만 검거하는 것이 아니라 범죄 피의자들을 통솔하는 리더를 파악하는 데 소셜 네트워크 기반의 정보서비스를 활용하고 있다.
<그림>은 세계적인 명품업체 루이비통(LVMH)의 베르나르 아르노 회장이 방한했을 때 접촉한 인물들을 중심으로 정보를 구성하였을 경우 나타나는 인맥 패턴(유통업계의 주요 인사들)과 그 인맥들이 소속된 기업의 최근 동향(명품 유통 확대 등)을 시각화한 것이다. 이 분석 결과는 루이비통이 국내 유통채널을 확대할 것이라는 예측으로 이어졌다.
네트워크 데이터를 시각화하여 패턴을 분석하고 2차 정보를 추출해낼 수 있는 서비스로서 보험, 신용카드, 통신, 금융 등 분야에서 활용된다.
보험사들은 과거 룰 기반의 전문가 시스템을 통하여 보험 사기 의심자를 식별해냈지만, 점차 보험사기 수법이 고도화되고 보험사기로 의심 받는 행동 패턴을 피해나가면서 사기 적발의 한계에 부딪혔다. <그림>은 이러한 문제를 극복하기 위한 보험사기 방지 서비스의 개념을 보여준다.
이슈 둘 : 시맨틱 기반의 차세대 정보서비스가 본격적으로 소개되고 있다. 이러한 시맨틱 기반의 정보서비스를 업무에 적용하기 위해서는 어떤 전략이 필요할까?
기업들은 업무 정보의 구축과 활용을 통해 생산성을 크게 향상시켜왔다. 사람의 손으로 업무 정보를 수집하고 활용하는 방식으로 벗어나 정보시스템과 서비스 체계를 도입한 결과 관련 정보의 축적과 검색, 운용 효율이 크게 향상됐다. 특히 DBMS의 운용은 정보를 빠르게 검색하고 그 결과를 해당 부서나 업무, 관계자에게 배분하여 기업 이익을 획기적으로 확대하는 결정적인 계기가 됐다.
하지만 최근에는 정보서비스 체계를 통해 정보를 검색하는 시간과 비용이 급격히 늘어나고 있다. 즉 기업의 업무 정보 운용의 효율화를 위하여 도입한 정보서비스 체계가 이제는 거꾸로 기업의 생산성을 저하시키는 원인 즉 ‘병목’이 되고 있는 것이다.
2009년 오스터맨 리서치(Osterman Research)의 자료에 따르면, 1만 명 이상의 직원을 보유한 기업에서 업무용 컴퓨터와 내부 네트워크, 데이터베이스, 인트라넷 등을 활용해 업무에 필요한 문서 1종을 찾는 데는 평균 38분이 소요되는 것으로 알려졌다.
과거에는 좋은 정보를 얼마나 많이 확보하느냐가 기업의 커다란 과제였다. 그러나 지금의 정보의 과잉이 문제다. 뉴욕타임스는 2009년 ‘정보의 과잉에 따라 기업들이 정보 검색 시간 증가와 업무와 직접 관련이 없는 정보를 확인하는 데 따른 비용 손실이 매년 650억 달러에 이른다’고 보도하기도 했다.
정보의 과잉은 정보사용자의 정보에 대한 관심을 약화시킨다. 제공되는 정보들을 하나하나 확인하기 어렵기 때문이다. 정보 수집 활동에서 중요한 요소는 바로 찾고자 하는 정보와 그 정보에 대한 관심도(Attention)이다.
기존의 정보서비스는 제공하는 정보에만 초점을 맞추고 있으며, 그 서비스의 기반이 되는 관심에는 제대로 대응하지 못하고 있다. 맞춤 정보나 마이 페이지 등 관심에 대응하려는 시도가 있었으나, 이것은 사용자의 과거 관심도를 중심으로 구성된다는 한계가 있다. 사용자의 현재 관심을 체계화하여 서비스를 제공하지 못하는 것이다.
즉, 지금은 사용자의 현재 행동 패턴을 분석하여 정보사용자 개개인의 관심을 어떻게 마이닝할 것인지 고민해야 할 시기이다. 인간 행동(Human Dynamics)에 기반한 관심 정보 수집(Attention Mining)을 통한 정보 서비스 체계화(Extreme Customization)이 요구되는 것이다.
■기업은 차세대 정보서비스를 요구한다
기업들은 △정보 검색 비용의 증가 △정보의 과잉에 따른 정보서비스의 질적 저하 그리고 △비정형 정보의 중요성 증대와 상대적으로 낮은 활용도 △기업 정보의 스팸화와 소비자 의도 파악의 어려움 등의 환경 속에서 기새로운 정보서비스를 고민해야 할 시점에 와 있다.
새로운 정보서비스에 대한 시도는 다양하게 이루어지고 있다. 새로운 형태의 정보서비스들이 등장하고 있으며, 가까운 미래에도 계속 등장할 것으로 보인다. 특히 대형 포탈들은 발 빠르게 다양한 차세대 정보서비스를 시험해왔으며, 그 중 상당수를 이미 상용화했다.
대형 포탈 서비스뿐만 아니라 일부 기업과 공공기관 등도 신개념 정보서비스를 도입하여 효용성을 입증하고 있다. 이러한 차세대 정보서비스들의 종류와 특성을 살펴보자.
■의미기반 검색서비스 / 시맨틱 검색서비스
시맨틱(semantic) 서비스는 월드와이드웹의 창시자 중 한 사람인 팀 버너스 리에 의하여 주창된 개념이며, 현재 차세대 정보서비스 중 가장 널리 알려진 개념이다. 국내에서는 네이트의 시맨틱 검색 서비스의 등장으로 일반에게 알려지기 시작했으며 현재까지 효용성을 가장 잘 입증하고 있는 차세대 정보 서비스이다.
기존 검색 키워드에 대한 정보 제공이 문법적인 측면에 치우쳤던 반면 시맨틱 검색서비스는 정보 사용자의 의도를 분석하여 검색결과를 좀더 최적화하려는 개념이다.
가령 포도품종의 하나인 ‘카베르네 소비뇽’의 정보를 검색할 경우 기존 검색 서비스는 해당 키워드의 유래정보를 찾는 것인지, 재배조건을 찾는 것인지, 재배지역 정보를 원하는 것인지 알 수 없는 상태에서 검색 키워드가 포함된 모든 웹 문서에 대한 링크 정보를 제공하는 방식이었다.
결국 사용자는 자신의 진정으로 원하는 정보를 찾기 위해 오랜 시간을 들여 몇 십만 건의 검색결과를 다시 분석하고 필터링하는 작업에 매달려야 했다. 이러다 보니 필요한 정보를 오프라인에서 찾거나 검색의 결과가 아닌 우연에 의해 발견하는 경우가 많아지게 됐다.
시맨틱 검색 서비스에서는 검색 키워드와 관련된 주제어를 제시하여 정보사용자가 원하는 주제어를 선택하게 함으로써 좀더 최적화된 방향으로 검색 결과를 압축 가공하여 제공하는 방식이다. 검색 키워드의 조합을 통해서도 이런 결과를 얻을 수 있다는 의견도 있지만, 실제 ‘카베르네 쇼비뇽 + 유래’를 키워드로 교차 검색을 하였을 때의 결과는 시맨틱 검색 서비스와 많이 다르다. 시맨틱 관련 기술들은 기존 검색 기술과 분명히 다른 영역에 존재한다는 것을 알 수 있다.
시맨틱 검색서비스는 기본적으로 문서 기반의 웹 사이트가 아닌 데이터 기반의 웹 사이트를 구축하는 것이 관건이다. 문서의 웹에서 데이터의 웹(Web of Data)으로 전환하는 과정에서 시맨틱 기술은 가장 큰 잠재력을 보여주고 있다.
■토픽맵 기반 정보 서비스
정보와 정보를 상호 연관성에 따라 연결하고 조직하여 지식 구조를 맵(map) 형태로 표현하여 제공하는 정보 서비스이다. 특정 정보가 어느 토픽(topic)에 속해 있는지 직관적으로 정보 사용자에게 알려줌으로써 검색 시간을 단축할 수 있으며 토픽맵(topic map)을 통하여 해당 정보와 연관된 토픽들을 손쉽게 확인할 수 있다.
이 정보서비스는 공공기관의 민원행정 포탈시스템에 도입되어 큰 성과를 보여주고 있다. 한 기관의 수십 수백 개 내‧외부 업무 시스템을 토픽맵으로 구축하면 행정 포탈에서 업무 정보를 통합 검색할 경우 한번에 연관된 업무시스템이나 관련 부서 및 업무 담당자, 연관 업무를 직관적으로 검색할 수 있다. 해당 업무 시스템의 메뉴로 바로 이동이 가능하고 외부 시스템과 연계 검색이 용이하다.
■오피니언 마이닝
현재 네이버가 준비하고 있는 정보 서비스의 하나로 특정 상품에 대한 고객 반응을 추출하여 전반적인 평가를 도출하는 서비스이다. 고객의 의견이나 후기를 분석하여 특정 키워드들의 연계성을 추출하고 그 연계성에 근거하여 정보를 분석할 수 있도록 지원한다.
이 기법은 공공기관의 민원후기나 기업의 고객 평가자료를 분석하여 민원인 또는 고객의 전반적인 만족도를 파악하는 데 적용할 수 있다. 민원서비스의 경우 민원 제기 유형이나 원인, 문제점 등을 파악하여 서비스를 개선할 수 있으며, 기업의 경우 특정 제품에 대한 고객 반응을 빠르게 파악하고, 고객들의 선호도를 역으로 추론하는 데 효과적이다.
■소셜 네트워크 분석
소셜 네트워크 분석 기반의 정보서비스는 사람과 사람 사이의 사회 관계망(Social Network)을 분석하여 2차 정보를 추출하는 서비스이다. 소셜 네트워크의 개념은 1800년대 사회학이 발달하면서 체계화된 사회 관계망 개념을 온라인에 구현한 것이다.
국내에서도 이러한 소셜 네트워크를 활용한 정보서비스를 2000년대 초반부터 업무에 활용하고 있다.
검찰청도 범죄수사에 이러한 정보서비스를 도입하여 활용하고 있다. 표면에 드러난 범죄 피의자만 검거하는 것이 아니라 범죄 피의자들을 통솔하는 리더를 파악하는 데 소셜 네트워크 기반의 정보서비스를 활용하고 있다.
■인맥관계 기반의 정보 분석 서비스
특정 인물이나 그 인물이 소속된 기업을 중심으로 발생되는 인맥관계를 시각화, 그 인물 또는 기업의 향후 움직임을 예측할 수 있는 정보 서비스로서 다양한 분야에 적용될 수 있는 서비스이다.
<그림>은 세계적인 명품업체 루이비통(LVMH)의 베르나르 아르노 회장이 방한했을 때 접촉한 인물들을 중심으로 정보를 구성하였을 경우 나타나는 인맥 패턴(유통업계의 주요 인사들)과 그 인맥들이 소속된 기업의 최근 동향(명품 유통 확대 등)을 시각화한 것이다. 이 분석 결과는 루이비통이 국내 유통채널을 확대할 것이라는 예측으로 이어졌다.
■패턴 기반 정보 서비스
네트워크 데이터를 시각화하여 패턴을 분석하고 2차 정보를 추출해낼 수 있는 서비스로서 보험, 신용카드, 통신, 금융 등 분야에서 활용된다.
보험사들은 과거 룰 기반의 전문가 시스템을 통하여 보험 사기 의심자를 식별해냈지만, 점차 보험사기 수법이 고도화되고 보험사기로 의심 받는 행동 패턴을 피해나가면서 사기 적발의 한계에 부딪혔다. <그림>은 이러한 문제를 극복하기 위한 보험사기 방지 서비스의 개념을 보여준다.
예전에는 특이한 금융거래 패턴을 가진 사람을 보험사기 용의자로 주목하였으나 최근에는 미리 정해진 패턴만을 분석하는 것이 아니라, 정보 사용자가 필요에 따라 여러 가지 패턴을 조합해서 새로운 패턴을 즉시 만들어서 정보를 분석하거나, 패턴 간의 연계성을 분석하여 정보를 추출할 수 있다.
■새로운 영역으로 진화하는 정보서비스
전통적인 정보서비스는 검색 키워드의 구문(syntax) 분석과 검색결과 최적화, 그리고 제공되는 정보의 개별 속성을 중심으로 다양한 서비스를 제공해왔다. 하지만 이 방식은 정보 검색의 어려움이 커지고 정보의 과잉, 비정형 정보의 중요성 증대 등을 이유로 필요한 정보를 제대로 제공하지 못하고 있다.
이러한 경향은 앞으로 더욱 심화될 가능성이 크다. 이러한 환경에서 정보서비스는 정보 사용자의 의도와 의미를 능동적으로 분석하고, 정보 사용자의 관심을 적극적으로 추론하며, 개별 정보의 속성보다는 정보와 정보의 관계성 분석을 중심으로 다양한 차세대 정보서비스로 진화하고 있다.
시맨틱 기반의 정보서비스, 토픽맵 또는 지식맵 정보 서비스, 소셜 네트워크 분석기반의 정보 서비스 등이 차세대 주자로 떠오르고 있으며 이들은 정보 검색의 효율성을 증대시키고 정보 사용자에게 필요한 정보를 좀더 명확하게 전달해주는 역할을 하고 있다.
많은 기관과 기업들이 새로운 개념의 정보서비스를 도입하여 효용성을 입증하고 있으며, 향후에는 좀더 다양한 정보서비스가 등장할 것으로 예상된다. 기업들 역시 현재 정보서비스의 문제점을 진단해보고, 차세대 정보서비스를 어떻게 개편하는 것이 생산성을 향상시키고 고객들에게 보다 큰 가치를 줄 수 있는지 하루 빨리 파악해야 할 것이다.