TIKTOKEN1 [ChatGPT] Python 토큰(Token) 계산하기 Python 을 이용한 Token 계산 ChatGPT API를 이용하여 질문과 답변을 얻기 위해서는 때때로 질문 (Prompt)의 Token 수 계산이 필요할 경우가 있답니다. 예를 들어 Prompt를 GPT로 장문을 요약할 경우, Prompt의 길이가 기본 토큰의 길이를 벗어난다면 Prompt를 Token 수를 뽑은 다음 Token의 길이에 맞게 잘라서 여러번 요약하는 과정을 반복 하여야 합니다. 이후 요약된 내용들을 합쳐서 최종으로 요약하는 방법이 필요하겠지요. 참고로 각 모델별 토큰 길이는 아래의 포스트에서 ~ 2023.12.18 - [IT/CHATGPT] - [ChatGPT] Token (Tokenizer) 이란? 또는 많은 데이터를 질문/답변, 요약 등에 활용할 때 예산을 예측하는 과정에서 역시.. 2023. 12. 18. 이전 1 다음