그래서 구글웹마스터도구에서 설정을 바꾸고 robots.txt를 업로드하는 방식으로 검색봇들의 활동량을 억제하고자 하였습니다.
덕분에 googlebot은 좀 진정이 된 상태라고 보이는데, bing bot은 여전히 신경이 쓰이는상태입니다.
이미 지난 글에서도 밝혔듯이 bing bot은 아예 막아놓은 상태였습니다. robots.txt 규약에 따르면 절대 제 사이트에는 들어올 수가 없어야죠. 그런데 왜 내 사이트에 들어와서 트래픽을 갉아먹고 있는지 이해하기가 힘들군요.
bingbot이 아니라 bingbot을 위장한 다른 검색봇이 아닐까하는 의구심이 들었습니다.
검색봇의 아이피 주소는 알 수 있으니 이걸로 확인해보고자 하였습니다. 인터넷을 뒤져보니 저 아이피의 근원이 Bingbot이 맞는지를 확인할 수 있는 사이트가 있더군요.
아이피 주소를 입력하여 bingbot인지 확인해보았는데 bingbot 맞았습니다. robots.txt로 차단 설정을 해놨는데도 뚫고 들어오다니...
빙봇이 악명이 높은 것 같더군요. 다른 방법을 찾아야 될 듯 하네요.
