부경대 컴퓨터·인공지능공학부 교수

AI의 텍스트 이해 처리 단위 '토큰'
입력·출력 사용량 측정 과금 기준
말의 길이가 비용이 되는 새 질서

필자와 연배가 비슷하거나 높은 독자들은 ‘토큰’이라는 말을 들으면 예전에 버스를 탈 때 사용하던, 가운데 구멍이 뚫린 동그란 금속 조각을 떠올릴 것이다. 일정한 요금을 내고 이동할 수 있는 권리를 상징하던 그 작은 물건은 이제 사라졌지만, 토큰이라는 개념은 뜻밖에도 인공지능 시대에 다시 등장했다.

오늘날 인공지능 기술의 핵심인 대규모언어모델(LLM)에서 토큰은 텍스트를 이해하고 처리하는 최소 단위다. 인공지능은 우리가 입력하는 문장을 그대로 이해하는 것이 아니라, 그것을 잘게 쪼갠 토큰으로 변환해 처리한다. 예를 들어 ‘안녕하세요!’라는 문장은 ‘안녕’, ‘하세요’, ‘!’와 같은 조각으로 나뉜다. 이렇게 나뉜 토큰들은 다시 고차원의 숫자 벡터로 변환되는데, 이는 단어의 의미를 수치적으로 표현하는 방식이다. 설명을 단순화하면 ‘안녕’은 어떤 좌표, ‘하세요’는 또 다른 좌표로 표현된다고 볼 수 있다. 흥미로운 점은 의미가 비슷한 단어일수록 이 공간에서 서로 가까이, 의미가 다른 단어일수록 멀리 위치한다는 것이다. 마치 지구상의 위치를 위도와 경도로 나타내듯, 언어의 의미가 좌표 공간 속에 배치되는 셈이다.

LLM은 이렇게 변환된 토큰들을 바탕으로 다음에 올 확률이 가장 높은 토큰을 선택하는 과정을 반복하며 문장을 만들어낸다. 입력과 출력이 모두 토큰 단위로 이루어지는 만큼, 토큰은 곧 인공지능의 사고와 표현을 구성하는 기본 단위라고 할 수 있다. 여기서 중요한 변화가 있다. 이 기술적 단위가 이제는 곧 경제적 단위로 작동하고 있다는 점이다.

현재 대부분의 AI 서비스는 입력과 출력에 사용된 토큰 수를 기준으로 사용량을 측정하고 요금을 부과한다. 이는 단순한 과금 방식의 변화에 그치지 않는다. 사용자 행동 자체를 바꾸고 있다. 만약 사용료가 접속 시간 기준이라면 사람들은 시간을 줄이기 위해 서둘러 질문하고 빠르게 답을 확인하려 할 것이다. 그러나 토큰 기반 과금에서는 상황이 정반대다. 얼마나 오래 머무르느냐가 아니라, 얼마나 적은 토큰으로 원하는 결과를 얻느냐가 중요해진다. 그 결과 질문은 점점 더 간결해지고, 불필요한 설명은 줄어들며, 구조화된 입력이 선호된다. 긴 문서를 그대로 입력하기보다 먼저 요약한 뒤 핵심만 전달하는 방식, 여러 단계로 나누어 질문을 최적화하는 전략도 등장했다. 이른바 ‘토큰 다이어트’가 새로운 경쟁력이 된 것이다.

기업 입장에서는 이 변화가 더욱 직접적이다. 예를 들어 고객 상담에 LLM을 도입하면, 대화가 길어질수록 이전 대화 내용까지 함께 처리해야 하기 때문에 토큰 사용량이 빠르게 누적된다. 전체 대화 기록을 계속 포함하는 방식은 이른바 ‘토큰 폭발’로 이어질 수 있고, 이는 메모리 사용량 폭증으로 이어진다. 삼성전자와 SK하이닉스 같은 메모리 업체의 입장에서는 환영할 일이나 서비스 업체로서는 설비 투자 비용이 급증하게 된다. 그러다보니 실제로 일부 AI 서비스에서는 대화 길이를 제한하거나, 중간 요약을 통해 맥락을 압축하는 방식이 도입되고 있다. 결국 필요한 정보만 선별하고 효율적으로 콘텍스트를 관리하는 능력이 서비스 수익성을 좌우하는 요소가 되었다. 하지만 이 토큰 경제에는 흥미로운 긴장도 존재한다. 비용이 정보의 의미나 가치가 아니라 ‘토큰의 양’에 의해 결정된다는 점이다. 핵심만 간결하게 전달하면 비용은 낮아지지만, 같은 내용을 장황하게 풀어내면 비용은 더 커진다. 반대로 의미적으로 복잡한 내용이라도 표현이 압축되어 있으면 상대적으로 저렴해질 수 있다. 이는 결국 ‘말의 길이’가 비용이 되는 새로운 질서를 만들어낸다.

최근 AI 에이전트의 활용이 급격히 늘어나면서 이 문제는 더욱 두드러지고 있다. 여러 단계를 거쳐 작업을 수행하는 에이전트는 토큰을 반복적으로 사용하기 때문에, 효율적인 토큰 관리 없이는 비용이 급격히 증가할 수밖에 없다. 이제 토큰을 어떻게 쓰느냐는 단순한 기술 문제가 아니라 운영 전략의 핵심이 되고 있다 그럼에도 불구하고 토큰이 지니는 의미는 분명하다. 과거에는 보이지 않던 연산 자원이 토큰이라는 단위로 가시화되었고, 우리는 이를 통해 인공지능의 사용량과 비용, 나아가 생산성을 측정하고 있다. 토큰은 더 이상 단순한 텍스트 조각이 아니라, 성능과 비용, 서비스 설계, 사용자 행동까지 좌우하는 중심 개념이 되었다.

과거 버스 토큰이 이동의 권리를 상징했다면, 오늘날의 토큰은 지식 생산과 정보 처리의 연료를 상징한다. 보이지 않던 연산이 이제는 비용으로 드러나고, 우리는 언어를 사용하는 방식 자체를 효율의 관점에서 바라보기 시작했다. 어쩌면 지금 우리는, 말과 사고가 곧 경제 활동이 되는 새로운 시대의 입구에 서 있는지도 모른다.