LCEL Based Memory와 RunnablePassthrough의 활용: LangChain의 진화된 메모리 관리

대화형 AI 시스템에서는 사용자와의 지속적인 대화 맥락을 효율적으로 관리하는 것이 중요합니다. 최근 LangChain에서는 LCEL 기반 메모리를 도입하여, 대화의 핵심 정보를 요약하고 저장하는 방식과 함께 불필요한 연산을 줄이기 위해 RunnablePassthrough 개념을 결합한 새로운 메모리 관리 방식을 선보이고 있습니다.

LCEL : LangChain Execution Language

---

1. LCEL 기반 메모리 개요

LCEL(LangChain Execution Language) 기반 메모리는 기존의 대화 메모리보다 효율적으로 대화의 핵심 정보를 관리할 수 있도록 설계되었습니다. 이 방식은 다음과 같은 특징을 갖습니다.

• 효율적인 메모리 관리:
  대화 내용을 요약하여 저장함으로써, 메모리의 크기를 제한하면서도 대화 맥락을 유지합니다.
• 동적 업데이트:
  필요에 따라 메모리 내용을 실시간으로 업데이트하여, 대화 흐름에 맞게 최신 정보를 반영합니다.
• 유연한 통합:
  다른 체인 및 실행 컴포넌트와 쉽게 연동되어 다양한 대화 시나리오에 적용할 수 있습니다.

---

2. RunnablePassthrough 개념 이해

RunnablePassthrough는 체인 내에서 입력 데이터를 별도의 연산 없이 그대로 전달하는 역할을 수행합니다. 이를 통해 다음과 같은 이점을 얻을 수 있습니다.

• 직접 전달:
  변환이나 추가 처리 없이 입력 데이터를 그대로 다음 단계로 전달하여, 불필요한 연산 과정을 생략합니다.
• 실행 최적화:
  데이터 처리 비용을 줄이고, 체인의 전체 실행 속도를 개선하여 실시간 대화 응답에 유리합니다.

---

3. LCEL 기반 메모리와 RunnablePassthrough를 활용한 코드 예제

아래 코드는 LCEL 기반 메모리와 RunnablePassthrough를 결합하여 대화형 AI 체인을 구성하는 예제입니다. 이 예제는 대화의 흐름을 유지하면서, 사용자 정보를 점진적으로 저장 및 활용하는 과정을 보여줍니다.

from langchain.memory import LCELBasedMemory
from langchain.runnables import RunnablePassthrough
from langchain.chat_models import ChatOpenAI
from langchain.chains import LLMChain
from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder

# 대형 언어 모델 초기화: 온도를 낮춰 결정적인 응답 생성
llm = ChatOpenAI(temperature=0.1)

# LCEL 기반 메모리 초기화: 대화 요약을 관리하며 최대 토큰 수는 150으로 설정
memory = LCELBasedMemory(
    llm=llm,
    max_token_limit=150,
    memory_key="chat_history",
    return_messages=True,
)

# RunnablePassthrough 초기화: 입력 데이터를 그대로 전달하는 역할
passthrough = RunnablePassthrough()

# 프롬프트 템플릿 생성: 시스템 메시지, 저장된 대화 내역, 사용자 질문 포함
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are an assistant leveraging LCEL based memory for efficient conversation handling."),
        MessagesPlaceholder(variable_name="chat_history"),
        ("human", "{question}"),
    ]
)

# LLM 체인 생성: 메모리와 passthrough 기능을 포함하여 대화 흐름을 관리
chain = LLMChain(
    llm=llm,
    memory=memory,
    prompt=prompt,
    verbose=True,
    passthrough=passthrough,
)

# 대화 진행 예시
chain.predict(question="My name is Alex")
chain.predict(question="I live in Busan")
chain.predict(question="What is my name?")

코드 설명

• 대형 언어 모델 초기화:
  • ChatOpenAI를 사용해 LLM을 초기화합니다. 온도를 0.1로 설정하여 보다 결정적인 응답을 생성합니다.
• LCEL 기반 메모리 구성:
  • LCELBasedMemory는 대화의 핵심 정보를 요약해 저장합니다.
  • max_token_limit를 통해 메모리 저장 시 최대 토큰 수를 제한하며, memory_key를 사용해 대화 내역을 관리합니다.
  • return_messages=True 옵션은 저장된 메시지를 그대로 반환하여 대화 맥락 유지에 도움을 줍니다.
• RunnablePassthrough 사용:
  • RunnablePassthrough는 별도의 데이터 변환 없이 입력 데이터를 그대로 다음 체인 단계로 전달함으로써, 실행 최적화를 도모합니다.
• 프롬프트 템플릿 및 체인 구성:
  • ChatPromptTemplate를 통해 시스템 메시지, 저장된 대화 내역, 사용자 질문을 포함하는 프롬프트를 구성합니다.
  • LLMChain은 LLM, 메모리, 프롬프트, 그리고 RunnablePassthrough를 결합하여 대화형 AI 체인을 완성합니다.

---

4. LCEL 기반 메모리 활용 사례 및 고려사항

활용 사례:

• 고객 지원 시스템:
  대화 맥락을 지속적으로 관리하여, 고객의 이전 문의 내용을 반영한 맞춤형 응답 제공이 가능합니다.
• 개인화 대화 인터페이스:
  사용자의 대화 이력을 기반으로 개인화된 정보를 제공하여, 사용자 경험을 향상시킬 수 있습니다.
• 실시간 대화 응답:
  RunnablePassthrough를 통해 불필요한 데이터 처리 비용을 줄이고, 빠른 응답 속도를 유지할 수 있습니다.

고려사항:

• 메모리 크기 관리:
  최대 토큰 수 설정은 중요한 요소로, 너무 낮으면 정보 손실, 너무 높으면 처리 지연이 발생할 수 있습니다.
• 적절한 실행 컴포넌트 선택:
  RunnablePassthrough는 데이터 변환이 필요 없는 경우에 적합하며, 상황에 따라 다른 실행 컴포넌트를 도입할 수 있습니다.

---

5. 결론

LCEL 기반 메모리와 RunnablePassthrough를 결합한 접근법은 대화형 AI 시스템에서 효율적이고 유연한 메모리 관리와 실행 최적화를 실현합니다. 이 방식은 대화의 핵심 정보를 효과적으로 저장하면서도, 불필요한 연산을 줄여 빠르고 일관된 대화 응답을 제공하는 데 기여합니다. LangChain의 이러한 기능은 다양한 응용 분야에서 활용될 수 있으며, 대화형 AI의 발전을 이끄는 중요한 요소로 주목받고 있습니다.