본문 바로가기

분류 전체보기135

[ChatGPT] Python 토큰(Token) 계산하기 Python 을 이용한 Token 계산 ChatGPT API를 이용하여 질문과 답변을 얻기 위해서는 때때로 질문 (Prompt)의 Token 수 계산이 필요할 경우가 있답니다. 예를 들어 Prompt를 GPT로 장문을 요약할 경우, Prompt의 길이가 기본 토큰의 길이를 벗어난다면 Prompt를 Token 수를 뽑은 다음 Token의 길이에 맞게 잘라서 여러번 요약하는 과정을 반복 하여야 합니다. 이후 요약된 내용들을 합쳐서 최종으로 요약하는 방법이 필요하겠지요. 참고로 각 모델별 토큰 길이는 아래의 포스트에서 ~ 2023.12.18 - [IT/CHATGPT] - [ChatGPT] Token (Tokenizer) 이란? 또는 많은 데이터를 질문/답변, 요약 등에 활용할 때 예산을 예측하는 과정에서 역시.. 2023. 12. 18.
[ChatGPT] Token (Tokenizer) 이란? OpenAI의 API를 이용하여 ChatGPT를 구현할 때 가장 현실적으로 마주치는 짜증은 아마 토큰 관련 일것입니다. 많은 질문을 ChatGPT에 전송을 하면 결국 돌아오는 전달 값은 " 토큰을 초과 하였습니다" .... 이문제를 해결하기 위해서는 질문/답변의 토큰을 정확히 계산하여 전달하고, 장문의 텍스트 처럼 주어진 토큰의 범위를 초과 할때는 원문을 나누어서 요약하는 방식으로 처리를 해야합니다. 토큰 (Token)이란? 토큰은 간단하게는 API가 입력된 문장을 처리하는데 사용되는 단어의 조각이라고 설명할 수 있습니다. GPT는 API로 전달된 프롬프트를 처리하기 전에 입력된 내용을 토큰으로 분리 합니다. 이때 단어의 시작과 끝나는 위치가 정확히 계산되지 않을 수 도 있으며, 문장의 뒤 공백도 토큰으.. 2023. 12. 18.
[프랑스 와인] Mouton Cadet - 무똥카데 Mouton Cadet Baron Philippe de Rothschild 프랑스의 대표와인 제조사중 하나인 Baron Philippe de Rothschild 의 세컨와인으로 출발하여 보르도 AOC를 부여받은 최초의 현대적 브랜드 와인. 1927년 보르도 지역의 포도 농사가 최악일 때 수확된 포도로는 도저히 최고의 품질을 자랑하는 "샤또 무똥 로칠드" 와인을 만들 수 없어서 "까뤼아데 드 무통(Carruades de Mouton)이라는 이름을 붙이고 가격을 낮춰 판매를 하게 되었답니다. 이 와인이 출시 후 예상외로 많은 판매가 이루어지자 포도의 품질이 좋은 해에도 지속적으로 생산을 하였고 1932년 부터는 무똥 카데(Mouton Cadet)라는 이름을 붙였답니다. Cadet은 "막내"라는 뜻으로 이는 .. 2023. 11. 10.
[ChatGPT] 음성 회의록 만들기-Whisper ChatGPT활용 - Voice to Text 요 근래 기업내에서는  ChatGPT를 어떤 식으로 활용해서 업무 효율성을 높일 수 있을까에 대하여서  많은 고민을 하고 있을 것 입니다. 보통의 회의때 참석자들은  중요한 내용을 다이어리에 적어두고  자리로 돌아와 PC에서 회의록을 따로 작성할 것입니다. 물론 Zoom 이나  Teams를 이용하여 화상회의를 하였다면 해당 솔루션에서 회의록을 잘 정리해줄 것이고,녹음을 하였다면  네이버 클로버 노트를 이용해서 음성파일을 회의록으로 잘 정리 해주곤 합니다. 그러나 우린 GPT 활용해봐야 하니 GPT를 이용해서 회의중 녹음한 파일을  Voice to Text 를 구현 해 볼까 합니다. 음성인식을 위해서는 OpenAI에서 발표한 음성인식 (ASR : Automat.. 2023. 10. 19.
ChatGPT API 이용하기 (GPT4, GPT3.5,Davinci) ChatGPT를 활용하기 위해서 OpenAI를 사용하는 방법도 있지만 다양한 채널에서 활용하기위해서는 API 방법을 추천드립니다. OpenAI에서 API를 제공하고 있기에 손쉽게 API를 연결하여 업무에 활용 가능할 것입니다. API를 활용하기 위해서는 기본적으로 OpenAI에 회원가입, 그리고 API Key를 생성하여야 합니다. 회원가입 후 계정 > ViewAPI Keys 메뉴를 통해 쉽게 발급 가능합니다. 자 이젠 Key를 발급받았다면 파이썬을 이용한 API 사용 예제를 설명드릴게요. API를 이용해서 3개의 모델에 접근할 수 있습니다. (GPT-4, GPT3.5 Turbo, Text-davinci-003 (GPT3))  각 모델에 호출하는 방법은 약간의 차이가 있답니다. 자 우선 API를 사용하기 .. 2023. 10. 16.
[뉴질랜드]The Raptor Marlborough Sauvignon Blanc - 더 랩터 쇼비뇽 블랑 The Raptor Marlborough Sauvignon Blanc 더 랩터 쇼비뇽 블랑. 옅은 녹색을 띄며 미네랄 향과 깊은 과일향이 긴 여운을 남기는 멋진 와인 Tony Jung 뉴질랜드 말보로 ( Marlborough) 계곡에 위치한 LAKE CHALICE 와이너리는 특이하게도 Kārearea 라고 불리는 뉴질랜드 고유의 매를 마스코드로 가지고 있으며 멸종위기 종인 Kārearea 의 구조와 보존을 위해 많은 노력을 하고 있으며 Marlborough Falcon Conservation Trust 와 긴밀한 유대관계를 가지고 있답니다. 1989년 윈드서핑 친구 사이였던 두 친구가 구제적으로 인정받는 Sauvignon Blanc을 생산하겠다는 비전으로 시작한 와이너리는 2016년 Ibbotson Fa.. 2023. 10. 4.
진로 레드와인(두꺼비 와인) 진로 레드와인 (JINRO RED WINE) 일명 "두꺼비 와인"으로 불리는 진로에서 판매하는 레드와인입니다. 국내 와인 중 가장 유명한 와인은 아무래도 마주앙(모젤)이었는데.. 진로 레드와인이 전혀 다른 스타일로 새롭게 나왔네요. 이 와인은 이탈리아의 시칠리아에서 140년 전통을 이어오고 있는 펠리그리노 와이너리와 함께 만든 와인입니다. 주문 생상 방식이지요. 시칠리아섬의 자랑인 "네로다볼라( Nero d'Avola)" 품종을 사용하여 만든와인이며, 네로(Nero)는 검은색을 뜻하며, 아볼라(Avola)는 사랑과 미의 여신인 아프로디테의 이름을 딴 시칠리아 섬의 작은 도시이름으로, "검은 아프로디테라" 는 이름 처럼 검고 영롱한 아름다움이 매력적인 품종입니다. 이 품종은 장기 숙성에 유리하며, 두꺼비 .. 2023. 10. 1.
[와인 맛있게 마시기] 이탈리아 와인 등급 이야기 이탈리아 와인등급 이야기 현재의 이탈리아 와인 등급 체계가 도입되기 이전에는 와인의 지리적 출처나 생산 방법에 대한 공식적인 표기가 없었으며, 와인 생산자들이 자유롭게 와인을 생산하고 판매할 수 있었습니다. 이런 상황은 특정 지역이나 와이너리에서 품질과 출처를 보장하지 않은 와인들로 인해 시장에 혼란을 초래 할 수 있었습니다. 이에 20세기 초 와인의 지리적 출처와 품질을 보장하기 위한 필요성이 대두되었고 이탈리아 정부와 와인 산업의 지지를 받아 1930년대 부터는 특정 지역의 와인들이 기술적 표시를 받기 시작했고 ,1963년 최초의 DOC 등급이 도입되게 되었답니다. 와인등급 체계 1. DOCG(Denominazione di Origine Controllata e Garantita): 이탈리아 최상급 .. 2023. 8. 3.
[와인 맛있게 마시기] 프랑스 와인 등급 이야기 프랑스 와인 등급 이야기 맛있는 와인이란 와인의 등급으로만 판단할 수 없을 것입니다. 물론 엄격한 기준에 따른 와인 분류로 인해 품질이 높고 맛이 좋은 와인의 기준은 명확하지만 개인적으로는 와인은 누구함께 , 어디서 , 언제 그리고 어떤 분위기에서 마시는지에 따라 그 맛의 달라 질 수 있을 것이라 봅니다. 다만 전혀 모르는 와인을 구매하려 할때 와인등급은 구매에 있어서 와인의 품질과 맛의 안정성을 보장하는 결정적이 도움을 줄 것 입니다. 전통적인 프랑스의 와인등급 전통적인 프랑스의 와인등급은 AOC, VDQS, Vin de pay, Vin de table로 구분됩니다. 1. AOC (Appellation d'Origine Contrôlée): AOC는 프랑스 와인의 가장 높은 등급으로서, 지리적인 지역과.. 2023. 8. 3.
[포도 품종 이야기] 시라 (Syrah), 쉬라즈(Shiraz) 시라(Syrah)? 쉬라즈(Shiraz)? 두 용어는 같은 포도 품종을 가르키지만, 지역과 문화에 따른 이름을 사용하게 된 것이며, 와인의 스타일과 특성에는 차이가 없습니다. 시라(Syrah)는 포도품종의 이름으로 프랑스 로네 지역에서 주로 사용합니다. 프랑스를 비롯하여 유럽 국가들에서는 이 이름을 사용하여 포도를 지칭합니다. 반면 시라즈(Shiraz)는 주로 호주 와 몇몇 신세계 와인 생상국에서 사용됩니다. 호주는 특히 이 이름을 널리 사용하여 이 포도를 지칭합니다. 시라(Syrah) 품종의 특성 기원과 역사 사실 시라 품종의 정확한 기원에 대하여서는 아직 명확하게 밝혀지진 않았습니다. 다만 품종과 이름이 같은 페르시아(이란) 도시 쉬라즈로 부터 전해진 것이라는 전설이 여럿 있었답니다. 대표적인 두 가.. 2023. 8. 1.

티스토리툴바