블로그 운영의 핵심, 웹 크롤링과 색인(Index)에 대한 이해

#서버와 함께 불타버린 네이버 색인

 

최근 제가 카카오톡 사건으로 인하여 네이버 노출 및 방문자 감소에 대해서 글을 

 

작성한 적이 있는데 여러 가지 알아본 결과 대량의 색인이 날아간 결과로 귀결되었습니다.

 

아마 구글 서치 콘솔이나 다른 여러 가지 웹 사이트 툴을 통해서 다른 분들도 결과를

 

확인하셨을 텐데요. 이런 문제는 복구를 기대하기도 어렵고 시간이 해결해 주는 문제이기에

 

참으로 답답합니다.

 

 

어찌 되었던 이번 사태를 이해하기 위해선 웹 크롤링과 색인에 대한 이해가 필요한데

 

제가 예전에 웹 크롤링은 조금 맛보기로 설명한 적이 있습니다. 그래서 오늘은 기존 

 

설명을 조금 더 발전시켜서 색인과 연계하여 개념을 설명하고 이번 사태를 이해하기

 

쉽게 설명해드리도록 하겠습니다.

 

 

#블로그 노출의 핵심, 웹 크롤링과 색인

 

제가 예전 웹 크롤링을 설명한 적 있는데 크롤링이란 모든 포털 사이트가 갖고 있는

 

특정 프로그램을 활용하여 정보를 추합 하는 과정입니다. 이해하기 쉽게 A라는

 

봇 프로그램이 있다면 해당 봇 프로그램은 '보톡스'라는 단어와 관련된 블로그나

 

카페, 뉴스 등을 살펴보고 해당 자료의 신뢰성을 평가하는 것이죠.

 

 

이런 평가자료가 쌓여서 괜찮은 블로그 자료다라고 평가하여 우리가 흔히 말하는

 

보고서를 제출하는 것이 바로 오늘 소개하는 '색인'(Index)입니다.

 

우리가 책에서 멋진 문구를 발견하여 갈무리한 것처럼 해당 포털이 우리 블로그를

 

갈무리한 것이죠.

 

 

당연히 이렇게 갈무리 된 블로그는 해당 포털 사이트에서 '보톡스'라는 특정 키워드를

 

검색하였을 때 우리 블로그를 상단에 노출해주기 시작합니다. 당연히 절대 노출수 및

 

방문자 수가 증가하겠죠? 

 

 

#복구가 가능할 것인가?

 

일단 날아간 색인은 대부분 네이버의 것이라 복구가 가능할지 모르겠네요.

 

사전에 날짜별 색인 차이를 체크라도 해놓았다면 비교라도 할 수 있는데 설마

 

이런 일이 있을지 몰랐으니까요.

 

 

색인은 대부분 포털들이 각자 관리하는 것이기 때문에 티스토리의 우리가 아직

 

인지하지 못한 시스템 대부분이 복구된다 하더라도 네이버 측에서 색인까지

 

복원해줄지 알 수 없습니다.

 

 

단, 조금 궁금한건 구글에 비해 '어떻게 네이버는 이렇게나 신속하게 색인이 날아갔나?'

 

하는 것입니다. 구글 역시 네이버와 동일하게 3일간 노출이 되지 않았을 텐데 네이버에

 

비해 날아간 색인의 수가 많이 비교되거든요.

 

 

만약 색인 관련해서 우리가 모르는 시스템적 공유를 티스토리와 네이버가 하고 있다면

 

조금은 복구를 기대해 볼 수도 있을 것 같습니다. 물론 이것도 작은 희망일 뿐이지만요.