ConversationSummaryBufferMemory: 요약과 버퍼의 절묘한 조합 LangChain에서 메모리(Memory)는 과거 대화를 저장·활용해, LLM(대규모 언어 모델)이 맥락을 유지하고 일관성 있는 답변을 생성하도록 돕는 핵심 요소입니다.이때, 단순히 대화 기록을 통째로 저장하는 방식(예: ConversationBufferMemory)은 대화가 길어지면 토큰 사용량이 폭발할 수 있고,요약만 하는 방식(예: ConversationSummaryMemory)은 최근 대화의 정교한 정보를 잃을 위험이 있죠.ConversationSummaryBufferMemory는 이러한 문제점을 절충한 메모리 방식으로,“최근 대화”는 버퍼(Buffer) 형태로 원문을 유지하고,그 이전 대화는 요약(Summary) 해서 간결하게 저장함으로써“중요한 최신 대화”와 “과거 맥락”을 모두 놓치지 않게 .. 2025. 1. 31. ConversationBufferWindowMemory: 핵심만 기억하는 효율적인 대화 메모리 LangChain에는 여러 가지 메모리(Memory) 방식이 있습니다.그중에서 ConversationBufferMemory가 전체 대화 내용을 전부 저장해 둔다면,ConversationBufferWindowMemory는 최근 일정 개수의 대화만 유지하는 방식이에요.장시간 대화가 이어지는 경우, 모든 대화를 무작정 기억하면 토큰 비용이나 맥락 처리가 부담될 수 있습니다.그래서 최근 대화만 추적하면 충분한 상황이라면, ConversationBufferWindowMemory가 훨씬 효율적이죠.1. ConversationBufferWindowMemory란?“최근 N개의 대화만 기억” 하는 메모리 방식예: k=3이라면, 마지막 3개의 (질문-답변) 쌍만 저장전체 기록 대신, 윈도우(Window) 크기에 맞춰서 가.. 2025. 1. 29. OpenAI 사용량 추적의 비밀병기: get_openai_callback LLM(Language Model)을 활용할 때, 가장 골치가 아픈 점 중 하나가 사용량 관리입니다.토큰 사용량이 많아지면 비용이 기하급수적으로 늘어날 수 있기 때문이죠.그렇다면 어떤 요청에 얼마나 많은 토큰이 쓰이고 있는지, 총 비용이 얼마나 되는지를실시간으로 추적할 수 있으면 어떨까요?오늘은 LangChain에서 제공하는 get_openai_callback 을 소개해 드리겠습니다.이걸 활용하면 OpenAI API를 쓰는 과정에서 토큰 사용량과 비용을 한눈에 파악할 수 있어요.1. get_openai_callback 이 뭔가요?get_openai_callback 은 OpenAI API에 요청을 보낼 때마다,몇 개의 토큰을 사용했는지, 얼마의 비용이 발생했는지 등을 콜백(callback) 방식으로 알려주.. 2025. 1. 28. LLM 활용도를 높이는 꿀팁: set_llm_cache, set_debug, 그리고 InMemoryCache LLM 활용도를 높이는 꿀팁: set_llm_cache, set_debug, 그리고 InMemoryCache요즘 LangChain을 활용해 대규모 언어 모델(LLM)을 다루는 분들이 늘고 있죠.하지만 모델이 점점 복잡해질수록, 반복 요청이나 디버깅 이슈에 부딪히는 분들도 많을 텐데요.오늘은 LangChain에서 제공하는 세 가지 기능,set_llm_cache, set_debug, InMemoryCache 에 대해 쉽게 정리해 보겠습니다.1. set_llm_cache: 중복 요청을 캐싱해 효율 극대화1) 왜 LLM 캐시가 필요할까?LLM 호출은 비용이 많이 들고, 응답 시간도 꽤 걸리는 편입니다.반복되는 동일한 요청이 있다면, 굳이 매번 LLM API를 새로 호출할 필요가 없겠죠.캐싱을 통해 이미 한 번 .. 2025. 1. 28. LLM을 제대로 활용하는 꿀팁: FewShotPromptTemplate & StreamingStdOutCallbackHandler 요즘 AI 서비스, 특히 대규모 언어 모델(LLM) 이 핫하죠. “AI가 업무 효율을 10배로 높여준다” 같은 이야기를 주변에서 많이 들어 보셨을 텐데요. 막상 LLM을 다뤄보면, 프롬프트를 어떻게 주느냐에 따라 결과물이 천차만별이라는 걸 느끼실 거예요.오늘은 LLM을 더 똑똑하게 쓸 수 있게 도와주는 FewShotPromptTemplate과, 모델이 생성하는 출력을 실시간으로 확인할 수 있는 StreamingStdOutCallbackHandler를 소개해 보려고 합니다. 최대한 어렵지 않게 설명해 드릴 테니, 함께 차근차근 알아봅시다.1. FewShotPromptTemplate: LLM에게 힌트를 주는 정석 방법“FewShot”이 뭐길래?FewShot은 말 그대로 “적은 예시”를 뜻해요. 모델에게 문제.. 2025. 1. 28. An AI application that can chat with any SQL database. An AI application that can chat with any SQL database. https://systemdesigner.medium.com/an-ai-application-that-can-chat-with-any-sql-database-71099a0c82ef An AI application that can chat with any SQL database. Is it possible to chat with your SQL database? In this tutorial we will create this application using python. We will use streamlit for… systemdesigner.medium.com SQL 데이터베이스와 채팅할 수 있나요? 이.. 2024. 2. 13. 이전 1 다음 반응형
