검색엔진에 얽힌 더러운 작은 비밀
by 김상훈
뉴욕타임즈에 '검색의 더러운 작은 비밀'이라는 기사가 실렸습니다. 미국 백화점 체인인 JC페니가 지난해 말의 황금 쇼핑시즌에 어떻게 구글의 검색 결과를 조작해 매상을 올렸는지 설명하는 내용입니다. '드레스', '침대', '스키니진', '가구'... 어떤 키워드를 넣든간에 상위 1, 2위 검색결과에는 JC페니가 등장했습니다. 이는 사실상 불가능한 결과였죠. 구글은 이미 검색엔진에서 잘 나올 수 있도록 하기 위한 '검색엔진 최적화'(SEO; Search Engine Optimization)의 방법을 공개하고 있습니다. 표준 인터넷 문서 작성법칙을 따라 각종 부가설명을 잘 작성하고, 키워드를 태그 등으로 강조하라는 식이죠. 하지만 이런 식으로는 경쟁사와의 경쟁에서 이기기 쉽지 않습니다. 게다가 추수감사절부터 크리스마스까지 이어지는 연말의 황금 쇼핑시즌을 앞두고서였습니다 JC페니가 다급했던 모양입니다.
이들은 구글에서 잘 검색되기 위해 구글의 '페이지랭크'에서 상위권에 오르고자 했습니다. 페이지랭크에서 순위가 높아지려면 다른 웹사이트로부터의 링크가 많아야 하죠. JC페니는 SEO를 통해 검색 최적화를 하는 대신 이런 링크를 끌어 모았습니다. 공식적으로 JC페니가 돈을 주고 이런 링크를 구매했는지는 확실하지 않지만 적어도 이들에겐 그렇게 할 이유가 충분했던 겁니다.
뉴욕타임즈는 이들이 '검은모자'(서부영화에서 악당이 주로 검은모자를 쓰던 데서 유래한) SEO 업체라고 부르는 회사의 한 전문가 인터뷰를 싣습니다. 마크 스티븐스라는 이 SEO 전문가에 따르면 '검색'이란 크게 두 종류로 나뉩니다. 하나는 정보성 검색, 그리고 다른 하나는 상업성 검색입니다. 예를 들어 '암'(cancer)이라는 검색어는 정보성 검색어입니다. 구글은 암이라는 단어가 입력되면 미국 국립생물공학정보센터나 위키피디아의 홈페이지를 검색결과 1, 2위로 보여줍니다. 이건 정보성 검색어죠. 반면 '스키니진'은 상업성 검색어입니다. JC페니가 이 단어 검색결과의 맨 위에 등장했다면 광고효과는 끝내줬겠죠. 스티븐스는 "상업적 검색에서 구글의 검색결과는 이미 심각하게 오염돼 있다"며 "내 경험에 따르면 SEO에 가장 많은 돈을 쓰는 쪽이 결국 검색 결과 맨 윗자리를 차지하더라"고 말합니다. 그러면 광고주들은 도대체 어떤 곳에 돈을 쓸까요? SEO 업체들이 그 답입니다. tnx.net 과 같은 웹사이트는 블로그나 홈페이지를 운영하는 개인들에게 푼돈을 주고 링크를 사들입니다. 예를 들어 저같은 블로거가 '스키니진' 같은 글을 대충 작성해서 JC페니의 스키니진 판매 페이지로 링크를 걸면 돈을 받게 되는 셈이죠.
구글은 이런 식의 검색결과 조작에 대응하기 위해 '웹스팸팀'을 운영합니다. 일종의 구글 경찰인 셈이죠. JC페니같은 기업들이 구글의 검색결과를 그릇된 방식으로 사용하는 걸 적발하고 이런 식의 잘못된 행위를 벌이는 기업이나 개인, 조직 등을 검색결과에서 '묻어버리는' 일을 하는 게 이들의 역할입니다. 범죄를 발견하고 범죄자를 처벌하는 것과 비슷한 프로세스죠. 잠깐. 구글이 이런 일을 하도록 누가 허락했죠?
웹스팸팀의 팀장인 매트 커츠의 말은 의미심장합니다. "우리가 JC페니에게 아무 말도 하지 않는다고 해서 그게 우리가 강력한 조치를 취하지 않는다는 뜻은 아닙니다." 극도로 애매한 이 문장은 구글이 마치 범법 행위를 찾아내듯 검색결과에 대한 조작을 하는 사람들을 적발해 불이익을 주는 걸 부담스러워한다는 걸 나타냅니다. 우리 모두 알고 있듯이 구글의 검색 결과는 구글의 노력으로 만들어지는 게 아니니까요. 구글 검색의 기초를 이루는 '페이지랭크'의 기반은 인터넷을 쓰는 우리 모두의 링크 행위에 따른 것입니다. 그러니 구글은 모두의 노력을 그저 조직화한 것에 불과하다고 할 수 있겠죠. 또 구글은 사법 기관이 아닙니다. 물건을 팔지 않겠다고 할 수는 있어도 특정 집단을 꼬집어 처벌하고 단죄할 권한 같은 건 없습니다. 구글의 검색결과는 그들이 파는 상품이 아닙니다. 구글이 판매하는 건 구글의 광고솔루션이죠.
한 발 더 나아가 뉴욕타임즈는 '구글의 주요 광고주와 스팸을 많이 만들어내는 업체들은 서로 유사하다'는 연관관계도 제시합니다. 실제로 구글 광고의 주요 광고주 가운데 하나가 바로 JC페니입니다. 또 JC페니는 이미 과거에도 몇 번이고 이런 식의 검색결과 조작으로 구글에 적발된 바 있지만 여전히 이런 시도를 계속 하고 있고 구글도 JC페니를 검색 결과에서 완전히 몰아내지 않았습니다. 구글에서는 뉴욕타임즈의 의문에 '구글은 광고영업과 검색결과를 완벽히 분리하고 있다'며 반박하지만 그 말을 검증할 수단은 없습니다. 그저 구글을 믿는 수밖에요
그러면 한국 상황은 어떨까요. 네이버나 다음에서 검색 결과가 잘 나오기 위해 국내 업체들은 어떤 노력을 하고 있을까요. 제 생각에는 아무런 노력도 하지 않을 것 같습니다. 무엇보다 검색결과 상위에 검색결과가 나오지 않기 때문입니다. 대신 그 자리에는 검색광고가 나오죠. '스키니진'을 검색하면 JC페니가 나와야 돈을 주고 링크라도 사서 검색결과 윗쪽에 오르고 싶을텐데 한국에선 그런 노력을 하느니 그냥 검색업체에게 광고료를 내고 맨 윗자리를 사는 게 쉬운 일입니다. 그러다보니 한국 웹사이트는 SEO에 별 관심이 없고, 거기에 쓸 돈으로 차라리 포털의 광고를 삽니다. 그러니 SEO가 안 된 한국 사이트는 구글이나 야후, 빙과 같은 해외 사이트에선 더 검색하기 힘들어집니다. 따라서 한국 사용자는 어쩔 수 없이 국내 포털에 더 의존하게 됩니다. 결과적으로 국내 포털 사이트들은 검색 서비스에 큰 투자를 기울일 필요가 없습니다. 그저 필요한 정보만 그때그때 수작업으로 가공해 올리면 DB가 완성됩니다. '검색되는' 국내 인터넷의 정보가 여전히 빈약한 이유입니다.
좀 더 적나라하게 얘기해 볼까요. 국내 포털은 구글보다 더 직접적으로 사용자의 재산에 손을 대서 이익을 취합니다. 이들도 검색 결과는 뭔가 보여줘야 하니까요. 그게 바로 카페와 블로그입니다. 하지만 카페나 블로그에 보상을 하는 데에는 한없이 인색하죠. 그리고 구글보다 더 허술한 검색 시스템을 갖고 있음에도 불구하고 이 헛점을 파고드는 기업이나 개인, 조직들이 나타나면 이를 단죄하는 데에는 구글보다 더 직접적이고 무시무시하게 나섭니다. 미국 인터넷 업계에선 이런 식으로 구글을 속이는 행위를 '검은 모자 최적화'(black hat optimization)라고 부릅니다. 구글이 권장하는 SEO(하얀모자 최적화)와는 다른 방식을 쓴다는 걸 비유적으로 표현하는 것이죠. 반면 한국 인터넷 업계에선 이런 식으로 국내 포털을 속이는 행위를 직접적으로 '어뷰징'(abusing)이라고 부릅니다. 사전적 의미는 오용, 악용 등이지만 영어 단어의 뉘앙스는 이보다 훨씬 심한 나쁜 행위에 쓰입니다. 약물의 남용, 동물의 학대, 권력의 악용 등에 쓰이는 표현이죠. 애당초 같은 행위에 대한 인식이 다른 국내 포털사이트들은 구글과는 달리 수많은 국내 인터넷 생태계의 파트너들을 때때로 윽박지르고 때때로 몰아내면서 강력한 권위를 무소불위로 휘두릅니다.
한국의 인터넷은 한국의 포털사이트가 만든 게 아니라 한국인들이 만든 겁니다. 그 속에서 일어나는 부작용과 범죄도 포털사이트가 단죄하고 처벌하는 게 아니라 한국 사법기관이 처벌하고 단죄할 노릇입니다. 가끔 구글의 잘못을 얘기하다 국내 상황을 생각해 보면 구글의 잘못이나 실수는 잘못도 실수도 아니라는 생각이 들곤 합니다. 제한적 본인확인제 등을 둘러 싸고 최근 국내 포털사이트가 '역차별'을 호소하는 것으로 압니다. 그 절실함으로 적어도 스스로의 행동이 글로벌 기업들과 얼마나 다른지에 대한 고민도 좀 더 절실하게 해주셨으면 좋겠습니다.