버트(Bidirectional Encoder Representations from Transformers)는 광범위한 자연어 처리(NLP) 작업에서 단어의 늬앙스와 문맥을 보다 잘 이해하고 유용한 검색 결과가 효과적으로 일치하도록 도와준다. 특히 자연어와 대화식 쿼리에 대한 개선이 도드라진다.
구글은 영어 문장 모음을 가져와서 단어의 15%를 무작위로 제거한 다음 버트가 해당 단어의 의미를 파악하는 방식으로 사전훈련 작업을 진행한다.
구글 수석 연구원 제프 딘(Jeff Dean)은 "시간이 흐르면서 이같은 훈련은 자연어 처리 알고리즘이 '이해하는(understand)' 맥락에서 매우 효과적인 것으로 확인됐다"고 밝혔다.
예를 들어 '2019 brazil traveler to usa need a visa(2019년 브라질인이 미국에 여행가는 데 비자가 필요한가)'라는 질문에서 '~에(to)'라는 문장과 다른 문장의 상관관계는 그 의미를 이해하는 데 특히 중요하지만, 이전까지의 알고리즘은 이 연관성의 중요성을 이해하지 못해 '브라질로 여행하는 미국인'에 관한 엉뚱한 검색결과를 내놨다. 버트 알고리즘은 ~에(to)와 같은 흔한 문장에서 질문의 늬앙스를 이해하고 사용자에게 정확한 검색결과를 제공한다.
이 외에도 특정 직업 표현에 숨겨진 물리적 의미, 컴퓨터가 잘 이해하지 못하는 인간의 미묘한 언어 차이 등을 문맥에서 정확하게 파악할 수 있다.
다운 엔더슨 웹검색 컨설턴트는 서치엔진저널(SEJ)에 "구글 어시스턴트와 같은 음성비서에 버트를 활용해 명확한 질문의도를 파악할 수 있다. 더 다양한 분야에 확대 적용할 수 있다"며 "큰 걸음이자 엄청난 도약과도 같다"고 평가했다.
하지만 기계학습의 단점으로 꼽히는 편향성이 가져올 왜곡된 결과물에 대한 우려가 있는 것도 사실이다. 구글은 버트 딥러닝 모델에 특정 검색어가 포함되어도 편향성이 증가하지 않도록 설계했다고 밝혔다. 전문가들 사이에서는 광범위한 문장을 통한 학습을 진행하기 때문에 그 변화를 지켜봐야 한다는 지적도 나온다.
문맥을 이해하는 버트 알고리즘을 활용하면 수천 개의 긴 문장이 필요 없으며, 보다 집중적이고 체계적인 콘텐츠로 더 많은 트래픽을 가져올 수 있다. 구글은 이같은 트래픽 변화에 대해 커다란 변화는 예상하지 않는다고 밝혔지만, 트래픽 결과나 검색 순위에 일희일비하는 비즈니스의 경우 적지 않은 영향을 받을 전망이다.
도입 초기임에도 미국 영어 구글검색 10건 중 1건은 결코 적지 않은 비율인데다 학습 경과에 따라 더 확대할 가능성도 있기 때문이다.
버트 알고리즘의 개선된 구글 검색 서비스는 미국내 영어를 시작으로 다양한 지역과 언어로 확대할 예정이다. 구글은 24개 국가에서 텍스트 발췌(snippets)를 통해 개선을 진행 중이며, 한국어, 힌두어, 포르투갈어에서 상당한 향상을 보고 있다고 밝혔다.