AI의 등장으로 인해 가장 크게 바뀔 것으로 예상되는 사업 중 하나는 인터넷이라는 공간을 정의하기도 하는 '검색 시장'입니다. 광고를 기반으로 하며 가장 많은 사람들이 일상처럼 이용하면서 막대한 수익을 올리는 이 시장은 '인터넷'이라는 패러다임 그 자체가 'AI'로 옮겨가면서 대체될 수밖에 없는 현실임을 보여주고 있습니다.

어떻게 이런 일이 일어날 수 있는 것일까요? 이렇게 거대한 변화는 지금 어떻게 진행되고 있는 것일까요?

갑자기 모든 것이 바뀌는 모습을 보이지는 않겠지만, 이미 그 패러다임의 이동을 진행하고 있는 모습은 포착되고 있습니다. 오늘 [준의 테크 노트]는 그 모습을 차근히 보여드립니다. 어떤 기업들이 어떻게 준비하고 있는지를 살펴보면서요. 

최근 메타가 AI에 기반한 새로운 검색 엔진을 만들고 있다는 뉴스가 전해졌습니다. 오픈AI는 챗GPT 4o에서 인터넷 검색이 가능하게 하는 '챗GPT Search' 기능을 출시했습니다.

구글은 자사의 LLM인 제미나이(Gemini)가 구글 검색에 바로 접근할 수 있는 기능을 열어주기도 했습니다. 이와 비슷한 AI 기반 검색 서비스를 하고 있는 퍼플렉시티(Perplexity) 또한 견실하게 서비스를 만들며 인기를 얻고 있었죠.

비슷한 시기에 갑자기 AI를 만들던 회사들이 왜 검색 시장에 뛰어들기 시작한 것일까요?

지금까지의 웹과 검색에 대한 이야기, 그리고 AI라는 새로운 무기를 들고 구글의 아성에 맞서기 시작하는 테크 회사들의 움직임을 통해서 그 모습을 살펴볼 수 있습니다.

지금까지의 웹과 검색, 그리고 문제점  

1990년대, 웹의 시대가 시작 된 이후로, 웹 페이지의 개수는 1990년대 100만 개 단위에서, 2024년 현재 10억 개를 넘어섰습니다. 기하급수적으로 웹 페이지가 증가한 만큼, 그 사이에서 유용한 정보를 찾는 것은 가장 중요한 일이 되었죠.

초기 웹에서 정보를 찾는 방식은 주로 '디렉토리 서치'였습니다. 운영자들이 직접 일정한 기준으로 웹사이트들을 분류하고, 사용자들은 원하는 카테고리를 선택해 해당 분야의 웹사이트를 직접 탐색했습니다.

사용자들이 직접 자신의 의도를 입력한 것입니다.

웹이 빠르게 발전하고, 웹사이트의 개수가 인간이 직접 분류할 만큼의 정도를 아득히 넘어서자, 디렉토리 서치는 크게 의미 있는 방식이 아니게 되었습니다. 사용자들이 검색하는 문장, 단어들의 의도를 잘 파악해서 매칭되는 웹사이트를 빠르게 보여주는 방향으로 진화하게 되었죠. ‘키워드 서치’ 의 시대로 접어든 것입니다.

최대한 많은 방문 수와 시간을 얻어 광고 노출을 최대화하려는 웹사이트들, 그리고 웹사이트들의 광고 니즈를 최대한 많이 반영하여 사용자들에게 보여주려는 검색 엔진 사업자들의 이해는 '정확하고 원하는 정보'를 필요로 하는 사용자들의 목적과 충돌했습니다.

지금까지도 구글의 전체 매출에서 광고 매출이 차지하는 비중은 70%가 넘습니다. 구글이 사용자들에게 정확한 정보를 제공해 줄 동기만큼, 광고를 보여줄 동기 또한 충분하다는 의미이죠.

광고 비즈니스 모델은 사용자들이 별도의 금전 지급 없이 각종 웹 서비스들을 이용할 수 있게 해주었지만, 웹 페이지들과 검색 엔진이 정확하고 유용한 정보를 제공해 주기 위한 인센티브를 충분히 제공해 주지는 못했습니다.

덕분에 검색 결과 첫 페이지는 늘 광고 영역과 검색 결과 영역이 치열하게 싸움을 벌이는 자리가 되었고, 사용자들은 점점 검색 결과 및 웹사이트에 올라온 정보들 자체를 믿기 어렵게 되었습니다.

챗GPT가 세상에 처음 나왔을 때, 일부 전문가들은 챗GPT를 그저 "통계상 높은 답변을 만들어내는 기계"라고 말하며 정확성에 대해 비판했지만, 기술에 대해 잘 모르는 사용자들에게 챗GPT는 "만능의 답변 기계"였습니다.

어떤 질문을 해도 의도를 잘 파악하여 그에 꼭 맞는 대답을 만들어내는 챗GPT는 가히 검색의 미래라고 불릴 법도 했습니다. 거기다 구글 및 다른 웹사이트들에서는 끊임없이 보이는 광고들 또한 LLM(Large Language Model) 기반의 서비스들에서는 전혀 보이지 않았으니까요.

다만, 앞서 전문가들이 비판한 것처럼 답변의 정확도 문제는 심각했습니다. '환각(Hallucination)' 이라 불리는 현상 때문에, LLM들은 그럴싸한 답변을 지어내는 것에 아주 능숙했습니다. 이에 대해 정확히 인지하지 못한 사용자들은 LLM의 답변 때문에 곤경에 빠지는 경우들도 많았습니다. (환각 현상은 LLM의 기술적 구조상 피할 수 없는 현상입니다. 이를 극복하기 위해서 최근엔 검색 증강 생성(RAG, Retrieval-Augmented Generation)과 같이 엄격하게 입력된 문서를 기반으로만 생성하게 하는 등의 기술들이 도입되고 있습니다)

또한 웹사이트들을 크롤링(Crawling, 웹페이지를 그대로 가져와서 데이터를 추출하는 것)해서 내부적인 알고리듬으로 웹사이트의 정확도와 유용성을 평가하는 검색 엔진의 방식과 달리, LLM은 기존의 웹사이트와 텍스트 데이터들을 모조리 학습한 다음, 이를 기반으로 즉석에서 답변을 만들어 내는 것이기에 검색에 비해 운영하는 입장에서의 비용이 크게 비싸고, 정보의 실시간성 또한 많이 떨어졌습니다. 

자, 이제 정보 탐색에 있어 검색과 LLM의 장, 단점이 조금 뚜렷해 지지 않으셨나요?

아래와 같이 표로도 정리해 볼 수 있습니다.

이걸 다르게 보면, 이 둘은 서로를 아주 잘 보완해 줄 수 있는 위치에 있다는 것이기도 합니다. 그리고 이런 포지션으로 LLM의 시대 초기부터 서비스를 개발하던 곳이 퍼플렉시티였습니다.

.

.

.

글쓴이: 준. O2O 스타트업에서 일했고, 현재는 글로벌 콘텐츠 회사에서 일하고 있습니다. 스타트업, 웹3, AI 등 새로운 기술이 바꾸어 나가는 세상의 모습에 관심이 큽니다.