2007-05-16 웹봇 차단하기

어느때 부턴가 제 홈페이지의 기타자료실쪽이 비정상적인 조회수를 기록하기 시작했습니다.
별 거 아닌 자료에 조회수가 엄청나고 추천도 마구들어가는 거예요.
뭔 일인가... 기분이 좋긴 했지만, 너무 이상하다는 느낌이 들었지요.

어제 첨으로 아파치 access.log 을 체크했습니다.

이런, 추천한 링크에 엄청나게 많은 웹봇(자동 검색 프로그램)이 있지 뭐예요. 세상에, 웹봇이 추천 버튼까지 누르다니요.
아니, 버튼을 누른 게 아니라 해당 링크를 실행한 거겠지요. 그래서 그 많은 추천이 찍혔던 겁니다. 
으... 이럴 수가.

즉시 제거에 나섰답니다. 웹봇 차단으로 검색해 보니 유용한 정보가 나오더군요.
바로 robots.txt 파일을 작성하여 루트 디렉토리에 넣으면 되는 거였어요.

본의 아니게 새로운 것 또 배우게 됩니다....