로봇의 방문횟수 제외 플러그인 - 수동 업데이트

티스토리의 기본 플러그인중엔 crizin님이 만드신 '로봇의 방문횟수 제외'라는 플러그인이 있는데, 이건 방문자 카운터용 플러그인으로, 실제 방문자가 아닌 웹 검색엔진의 자료 수집용 검색 프로그램(서치로봇, 크롤러)들이 사이트를 방문해 읽어갈때 자동으로 카운터가 올라가버리는걸 방지해준다. 가짜 방문자를 카운터에 세지 않음으로써, 실질적인 방문자의 수를 알 수 있게 해주는 유용한 기능이라고나 할까. 완벽하게는 아니지만 실제 수와 가장 가깝게 만들어준다. 보다 정확해지기 위해선 차단할 로봇 리스트를 꾸준히 업데이트 해 줄 필요가 있다.

그런데 의외로 많은 분들이 어느날 이 플러그인을 켠 후, 많은줄로만 알았던 자기 블로그의 방문자 수 통계가 급감하는걸 보고 좌절(?)하며 다시 플러그인을 끄는 경향이 있는것 같은데.. 그러지 마시라. 거품보다는 정확한게 좋지 않겠는가. 이왕이면 처음 개설할 때부터 이 플러그인을 켜고 시작하기를 권한다. 뭐 개인의 자유이지만.. (물론 난 방문자 수가 많든 적든 실제 수를 알고싶어서 처음부터 켜고 시작했다.)


어쨌든 본론을 말하자면, 이 플러그인은 시간이 지나면 자동으로 차단 리스트가 최신으로 업데이트 되는 줄 알았더니 전혀 그런게 아니었다. 아무리 지나도 첫 공개당시의 내용 그대로 방치된 상태였다.

계속 변화하는 웹상황에 맞추어서라도 업데이트가 필요하다고 느껴졌으므로, 기존의 리스트에 없는 몇가지 로봇들을 찾아 추가해 보았다. (웹상에 공개된 공식적인 수백개짜리 대규모 DB들도 있으나, 부담스럽게 잔뜩 다 추가할 필요는 없어보여서 누락된 국내외의 대형 포털을 중심으로 찾아보았다.)

아래의 리스트 전체를 드래그 후 단축키 [Ctrl + C]로 복사하고, 관리자 페이지의 플러그인 설정에서 기존의 리스트를 전체선택해 '덮어씌우면' 된다. 굵게 표시한 부분이 새로 추가된 내용이다.

1Noonbot,Accoona-AI-Agent,Allblog.net,Baiduspider,Blogbeat,Crawler,DigExt,DrecomBot,Exabot,FeedChecker,FeedFetcher,Gigabot,Googlebot,HMSE_Robot,IP*Works!,IRLbot,Jigsaw,LWP::Simple,Labrador,MJ12bot,MirrorChecking,MissiguaLocator,NG/2.0,NaverBot,NutchCVS,PEARHTTP_Request,PostFavorites,SBIder,W3C_Validator,WISEbot,Y!J-BSC,Yahoo!Slurp,ZyBorg,voyager,archiver,carleson,cfetch,sogou,compatible;Eolin,favicon,feedfinder,findlinks,genieBot,ichiro,kinjabot,larbin,lwp-trivial,msnbot,psbot,urllib/1.15,daumoa,twiceler,empas,cowbot,Yahoo-MMCrawler,Slurp,sohu-search,moget,HanRSS,SnapPreviewBot,DoCoMo,Yahoo-MMAudVid,BlogSearch,Scooter,BlogzIce,SurveyBot,MysteryBot,Teoma,RaBot,livebot,Mediapartners-Google,Adsbot-Google,Yeti,Gaisbot,TurnitinBot,Snapbot,CazoodleBot,lmspider

설정창

새로 추가된 28개의 로봇들 중 몇가지만 설명하자면..

* daumoa: 다음의 검색로봇.
* empas: 엠파스의 검색로봇.
* cowbot: 네이버의 검색로봇. 네이버봇과는 또 다른 듯.
* Slurp: 야후의 검색로봇. 야후의 로봇명이 'Yahoo! Slurp'인지 'Slurp'인지 불확실해 일단 추가.
* sohu-search: 중국포털 Sohu의 검색로봇.
* moget: 일본포털 goo의 검색로봇.


이제 거품이 조금이나마 더 빠지길 기대해 본다.