국제통번역협회와 세종대·세종사이버대가 21일 세종대 광개토관에서 주최한 AI 번역기와 인간 번역사들 간 번역 대결 결과 아직까지는 AI의 번역 기술이 기대에 못미친다는 점이 확인됐다.
AI 대표로는 구글 번역기, 네이버 파파고와 세계 1위의 기계번역 기술 업체인 시스트란(Systran)의 서비스가 나섰다.
인간 측에서는 5년 이상 경력의 전문 번역사 4명이 참여했다. 수백 단어 분량의 비문학(기사·수필)과 문학(소설) 구절을 영어·한국어 2개 언어로 옮겼다.
특정 전문 지식이 필요한 텍스트는 '사람이나 AI에 따라 격차가 너무 크게 날 수 있다'는 이유로 배제했다.
대규모 전산 자료(빅데이터)를 써서 즉석 번역을 할 수 있는 AI 서비스의 우위를 고려해 인간 대표에게는 제한시간 50분이 주어졌고 번역과 관련해 인터넷 검색을 할 수 있게 했다.
이 결과 인간 번역사는 한·영 번역에서 30점 만점에 24점, 영·한 번역에서 30점 만점에 25점 등 총 49점을 받았다.
반면 3개 AI 중 가장 점수가 좋았던 한 서비스는 한·영 13점, 영·한 15점으로 총점이 28점에 그쳤다.
다른 두 AI의 총점은 각각 15점과 17점으로 저조했다. 결국 3개 AI의 평균 점수는 20점이었다.
이번 대회에서 번역 결과 평가를 맡은 곽중철 심사위원장(한국외대 교수)은 "출제 문제는 인터넷에서 전혀 번역문이 없는 텍스트를 골랐다. 내용 이해가 중요한 문학 부문에서 특히나 AI의 열세가 뚜렷했다"고 설명했다.
곽 위원장은 이어 "아마추어 번역가와 비교하면 AI 번역기의 품질이 더 낫다고 할 수도 있겠지만, 이번처럼 우수한 프로 번역가가 나서면 얘기가 달라진다"며 "한 AI 번역기는 90% 이상의 문장이 어법에 맞지 않았다"고 말했다.
주최 측은 3개 번역 서비스의 점수는 공개했지만 각 서비스의 명칭은 A·B·C 식의 익명으로 가렸다.
기계번역은 과거 문장이 어색하고 단어의 복잡한 의미를 혼동하는 문제가 컸지만 최근 2∼3년 사이 빅데이터를 학습해 문장의 맥락을 이해하는 신경망 자동번역(NMT)이란 AI 기술이 도입되며 번역 품질이 비약적으로 좋아졌다.
이번 행사에 참석한 시스트란의 김유석 상무는 "AI 번역은 법률·의학 등 특정 전문 용어를 반복해 쓰는 영역에서 월등히 좋고 범용 분야는 수준이 이보다 낮다"며 "과거 범용 번역에서 기계가 뜻을 60%대 정도만 전달 못 했는데 AI가 나오면서 그 수치가 80% 정도로 올랐다고 이해하면 된다"고 설명했다.
AI 전문업체인 솔트룩스의 신석환 부사장은 "AI 번역은 수학의 계산기와 비슷한 의미로 보면 될 것"이라며 "단순 정보를 위해 AI 번역을 쓰는 일과 인간이 저자의 뜻을 생각하며 번역하는 일은 미래에도 명확하게 구분이 될 것"이라고 말했다.