네이버가 이달 말 ‘웹문서’와 ‘사이트’ 검색 영역을 ‘웹사이트’로 통합할 예정이다. 인공지능(AI) 기술을 활용해 웹문서 검색을 고도화하는 ‘그리핀 프로젝트’의 일환이다.

네이버는 통합된 웹사이트 영역을 명칭을 이달 말부터 웹사이트로 변경하되, 당분간 이용자 혼란을 방지하기 위해 통합검색 결과 내에서는 사이트와 웹문서를 한시적으로 구분한다. 웹사이트 탭 안에서도 기존의 웹문서와 사이트 검색결과를 선택해 볼 수 있는 옵션을 제공하는 등 이용자 피드백을 반영하며 점진적으로 개선할 계획이다.

 

네이버는 외부 문서들을 이용자가 쉽고 편리하게 검색할 수 있도록 웹문서 검색 고도화 연구를 진행해 왔다. 2014년 ‘타우린 프로젝트’에 이어 올해부터 AI 기반 기술을 적용해 그리핀 프로젝트를 진행하고 있다.

그리핀 프로젝트는 수집 로봇이 실시간으로 공신력 있는 사이트와 다량의 웹문서를 가져와 검색 결과에 빠르게 반영하고, 딥러닝 기반으로 새롭게 등장하는 다양한 스팸 문서들에 대응하며, 이용자들의 검색 의도를 반영해 신뢰할 수 있는 검색 결과를 제공하는 것을 목표로 한다.

 

이번 개편에 따라 수집 로봇이 뉴스, 위키백과 등 신규 콘텐츠를 상시 분석하며 새롭게 등장하는 웹문서를 발견해 신속하게 수집할 수 있도록 했다. 실시간으로 스트리밍 구조의 문서 수집 시스템을 통해 현재 시점에서 이용자들이 선호하는 웹사이트의 문서를 더 빨리 발견하고 이용자 선호도의 변화를 보다 빠르게 반영할 수 있다는 설명이다.

 

또한 AI 기반 매칭 기술을 통해 사용자가 ‘국립중앙박물관 가는 법’을 검색했을 때 사이트 내부의 ‘국립중앙박물관 오시는 길’ 혹은 ‘약도’나 ‘길찾기’ 등 서로 다른 단어가 명시돼 있는 웹문서라도 자동으로 매칭해 제공하게 된다. 

AI 기반 기술을 통한 사이트 구조 분석도 이뤄진다. 이용자들이 자주 방문하는 페이지나 선호도 높은 문서, 메뉴 등도 자동으로 추출해 검색 결과에서 사이트와 함께 요약 정보로 보여줄 수 있다.

 

김상범 네이버 웹문서검색 리더는 “현재는 웹페이지의 구조가 복잡해지고, 블로그나 SNS 채널을 통해 콘텐츠를 소비하는 추세가 늘어났으며 검색어의 형태가 세분화, 다양화된 롱테일 검색어가 많이 증가했다”며 “이용자에게 신뢰할 수 있는 웹문서를 더욱 정확하고 신속하게 찾아 보여주고 많은 웹문서들이 더욱 공정하게 노출될 수 있는 기회를 주기 위해 노력할 것”이라고 밝혔다.

한편, 네이버는 오는 12월 7일 네이버 파트너스퀘어에서 홈페이지 관리자, 홈페이지 제작 대행사 실무자 등을 대상으로 웹사이트 통합, 개선된 웹문서 검색 알고리즘·기술을 공유하는 ‘2017 웹커넥트 데이’를 진행할 예정이다.