[LLM] Langchain으로 AI E2E 애플리케이션 개발해보기

ChatGPT가 화두가 된지 어느덧 3개월이 지나가고 있습니다. GPT 모델이 3 버전 이후로 굉장히 많은 변화를 보이면서 ChatGPT의 등장은 사용자에게 아주 인기를 얻게 되면서 필자인 저도 다시 한 번 머신 러닝에 관심을 보이게 되었습니다.

 

하지만 여러 논문, 글을 읽어보고 공부만 해서는 잘 정리가 되지 않는 듯하여 최근에 공부한 내용을 정리하다보니 Langchain에 대해 블로그에 정리해보면 머신 러닝을 모르는 개발자들도 쉽게 머신 러닝 모델을 이용하여 애플리케이션을 쉽게 개발해 볼 수 있다면 흥미가 있을 것 같아 글을 쓰게 되었습니다.

 

 

 

그래서 Langchain이 무엇인가요?

Langchain은 LLM을 이용하여 애플리케이션을 개발하기 위한 프레임워크입니다. 간단히 얘기하자면 모델을 이용하여 애플리케이션을 개발해주기 때문에 머신 러닝 모델을 개발해 본 경험이 없는 개발자들도 프로그래밍 언어만 알고 있으면 쉽게 개발할 수 있습니다. 

 

Langchain에 대해 들어가보기 전에, Langchain이 이뤄진 구성을 보며 어떻게 이 프레임워크가 탄생되었는지 알아보겠습니다.

 

• LLM(Model I/O): 사용자의 입력을 예측하는 모델
• Prompt: 모델의 입력값
• Chains: LLM과 Prompt의 결합체로 호출 시퀀스를 생성
• Agents: 사용자 입력에 따라 다이나믹하게 호출
• Memory: Chain과 Agents의 상태를 저장 (사용자의 입력과 모델의 출력을 기억하는 용도)
• Evaluation: 사용자의 입력 데이터로 응답한 예측 데이터를 평가 (BETA)

 

Langchain은 위의 모듈 외에도 여러 모듈로 이뤄져 있는데, 그 중 Chains, Agents, Memory가 바로 Langchain의 코어 기능입니다. LLM은 기존에 개발된 OpenAI의 GPT나 Meta의 LlaMA 등의 모델을 사용하는 것이고, Prompt 역시 ChatGPT처럼 사용자가 AI에게 명령을 주는 것입니다.

 

Langchain은 머신 러닝 모델을 개발하는 프레임워크가 아닌 머신 러닝 모델을 이용하여 E2E(End to End) 애플리케이션을 개발하는 프레임워크로 머신 러닝 모델과 애플리케이션 사이에 인터페이스 역할을 해줍니다. 따라서 머신 러닝 모델을 개발해 본 경험이 없는 개발자도 쉽게 머신 러닝 모델을 입혀 애플리케이션을 개발할 수 있는 것입니다.

 

이에 LangChain에서는 LLM 작업에 핋요한 기능을 아래 7개의 추상화 된 컴포넌트로 제공합니다.

 

• Schema
  LLM과 상호작용하기 위한 인터페이스 (ex: 메시지, 문서)
  
  
• Models
  사용자의 입력에 따른 응답 예측 모델 (ex: 언어 모델, 채팅 모델, 텍스트 임베딩 모델)
  
  
• Prompts
  모델 프로그래밍 메서드로 텍스트, 이미지, 오디오를 일컫으며 현재는 텍스트만을 지원하고 있다. LangChain에서는 생성형 AI를 잘 모르는 개발자를 위해 Prompt template을 제공하여 프로그래밍에서 했던 방식대로 매개변수를 가져와 프롬포트를 생성할 수 있도록 해주며 이 외에도 예제 선택기(Example Selector)를 이용하여 프롬포트에서 상황에 맞는 정보를 동적으로 사용자에게 배치히여 보여주어 쉽게 선택할 수 있도록 유도할 수 있는 메서드도 제공한다. 이 외에도 사용자가 좀 더 단순하고 쉽게 알 수 있도록 응답한 텍스트 결과물을 짧게 구조화 시켜 만들어주는 출력 파서(Output Parser)가 있는데, 원리는 모델에 미리 응답 형태를 제공해주는 방법과 이미 응답한 결과를 JSON 등의 원하는 구조물로 추출하도록 하는 방법이 있다.
  
  
• Indexes
  LLM이 다른 데이터 소스에서 문서를 쉽게 가져오기 위한 메서드로 문서 로더(Document Loaders), 텍스트 분할기(Text Splitter) 등이 존재하며 문서 로더의 경우 CSV, Dataframe Loader, 텍스트 분할기는 ML 모델 개발을 해본 사람이라면 대부분 아는 tiktoken, Markdown 등을 사용하며 이 외에도 벡터 스토어(Vector store), 검색기(Retriever)가 있다.
  
  
• Memory
  Chains와 Agents의 상태 값을 저장하는 컴포넌트로 흔히 ChatGPT를 사용해봤다면 질의응답을 할 때 그 질문을 이어서 계속하면 그 상태에 따라 응답을 다르게 주는 것을 봤을 것이다. 그들이 Chain과 Agent인데, 하지만 이들은 이전에 했던 질의응답 상태를 기억하지 않으며 그 상태를 기억해주는 것이 바로 Memory다. 종류로는 BufferMemory, EntityMemory, Knowledge Graph Memory, Summary Memory 등이 있다.
  
  
• Chains
  다양한 LLM을 호출하는데 사용하는 컴포넌트 
  
  
• Agents
  사용자 입력에 따라 해야할 일을 결정하는 AI 코어로 실제 사용자의 입력을 받으면 Agent가 LLM을 사용하여 수행할 작업과 순서를 결정하는데, 이 과정에서 도구를 사용하여 출력을 감시하거나, 사용자에게 최종 응답해준다. 즉, Agent가 사용자의 입력을 보고 필요하다면 Google 검색이나 ChatGPT 플러그인을 통해 응답을 보충한다.

 

우리는 LLM을 이용하여 애플리케이션을 개발하는 것이기 때문에 LLM에 대한 기본 사용법을 알아야 합니다. LLM은 프롬포트(Prompt)를 이용하여 상호작용을 하는데, 이 프롬포트는 ChatGPT와 같이 채팅 메시지가 있고, 또 다른 것으로는 문서가 있습니다. 대표적인 시나리오에는 사용자가 질문하면 응답하는 시나리오와 문서 전체를 주면 이 문서를 짧고 간략하게 요약하는 것이 있습니다.

 

채팅 메시지에는 모델의 역할을 지정하는 System 메시지와 사용자의 입력값인 Human 메시지, 그리고 입력값을 보고 AI가 응답한 메시지인 AI 메시지로 구분되며 애플리케이션을 개발할 때 이 메시지를 조합하여 원하는 애플리케이션을 개발할 수 있습니다. (자세한 예제는 아래에서 알아보도록 하겠습니다.)

 

Chains가 조금 생소할 수 있는데, 간단히 말하자면 하나의 프롬포트(Prompt)입니다. 위에서 얘기했다시피 프롬포트는 LLM과 상호작용하기 위한 인터페이스지만 Chains는 이 인터페이스를 넘어 프롬포트와 LLM간의 조합을 워크플로우(Workflow)로 구성하게 됩니다. 예를 들면 사용자의 입력을 받고, Prompt Template을 만들어 LLM으로 포맷팅하여 넘기는 이 하나의 프로세스를 Chains라고 하는 것입니다.

 

 

 

그러면 Langchain은 이런 애플리케이션을 어떻게 개발하나요?

기본적인 LLM E2E 애플리케이션 개발은 아래의 순서를 거칩니다.

 

• 데이터 로딩
• 프롬포트 생성
• LLM 모델 생성
• 프롬포트와 LLM 연결
• 상태 저장을 위한 Memory 생성
• 구글 검색, 데이터베이스 조회, ChatGPT 플러그인 등을 붙여 Agent 생성

데이터 로딩과 LLM 모델 생성까지는 이미 개발된 OpenAI 내지 Azure 모델 등을 사용한다면 거치지 않으며 여기서 우리가 해야할 것은 프롬포트를 생성하고, 프롬포트와 LLM을 연결해주는 것부터 시작해야 합니다. 여기서 필요하다면 Memory를 생성하여 지속적으로 진행할 수 있도록 하며 더 나은 품질을 위해 Agent를 생성하는 것까지 진행해 볼 수 있습니다.

 

그러면 간단하게 OpenAI 모델을 이용하여 애플리케이션 하나를 만들어 봅시다.

 

 

 

채팅 메시지를 이용한 애플리케이션

위에서 LLM은 프롬포트를 인터페이스로 사용한다고 했습니다. 따라서 우리는 프롬포트로 무엇을 사용해야 할 것인지를 결정해야 합니다. Langchain에서는 채팅 메시지와 문서를 제공하며 여기서는 채팅 메시지를 프롬포트로 사용해 보겠습니다.

 

 

채팅 메시지를 인터페이스로 사용하는 ChatOpenAI 클래스를 이용하여 가진 재료로 먹고 싶은 음식을 어떻게 만들 수 있는지에 대한 애플리케이션을 만들어 볼 수 있습니다. 여기서 사용한 메시지는 SystemMessage, HumanMessage, AIMessage로 SystemMessage로 애플리케이션의 역할을 지정하고, HumanMessage로 사용자의 입력값을 받을 수 있습니다.

AIMessage(
   content='당근과 양파로 만들 수 있는 파스타 레시피 중 몇 가지를 소개해 드릴게요:\n\n1. 당근과 양파 크림 파스타: 양파와 당근을 볶아 소스를 만들고, 크림과 파마산 치즈를 넣어 풍부하고 부드러운 크림 파스타를 만들어보세요.\n\n2. 당근과 양파 로제 파스타: 양파와 당근을 볶아 로제 소스를 만들고, 토마토 소스와 크림을 섞어 풍미 넘치는 로제 파스타를 만들어보세요.\n\n3. 당근과 양파 알리오 올리오 파스타: 양파와 당근을 곱게 다져서 올리브 오일에 볶아 고소한 알리오 올리오 소스를 만들고, 파슬리와 파마산 치즈로 마무리하여 간단하면서도 맛있는 파스타를 만들어보세요.\n\n이 외에도 다양한 파스타 레시피가 있으니, 자신의 취향에 맞게 변형해보시면 좋을 것 같아요. 즐거운 요리 시간 되세요!',
   additional_kwargs={}, 
   example=False
)

만약, 답이 조금 마음에 들지 않았다면 이어서 진행할 수 있어야겠죠? Memory를 생성하여 애플리케이션이 동작하는 도중에 프롬포트의 결과를 저장하여 진행할 수 있도록 할 수 있지만 Memory 생성 없이도 코드에 응답 값을 넣어 컨텍스트를 유지할 수도 있습니다.

 

이렇게 HumanMessage 바로 다음에 응답 AIMessage를 넣고, 다음 HumanMessage 프롬포트를 넣어주면 다음 응답이 자연스럽게 나오게 됩니다.

AIMessage(
    content='물론입니다! 치즈 없이도 맛있는 파스타를 만들 수 있습니다. 다음은 당근과 양파로 만드는 치즈 없는 파스타 레시피 몇 가지를 소개해 드릴게요:\n\n1. 당근과 양파 아라비아타 파스타: 양파와 당근을 볶아 토마토 소스를 만들고, 고추장이나 고추가루를 넣어 매콤한 아라비아타 소스로 마무리하세요. 아라비아타 소스는 치즈 없이도 풍부한 맛을 낼 수 있어요.\n\n2. 당근과 양파 오일 파스타: 양파와 당근을 볶은 후, 올리브 오일, 마늘, 허브 등을 넣어 간단한 오일 파스타를 만들어보세요. 이렇게 만든 파스타는 당근과 양파의 싱그러운 맛을 즐길 수 있어요.\n\n3. 당근과 양파 레몬 파스타: 양파와 당근을 볶아 신선한 레몬 주스와 껍질을 넣어 상큼한 맛을 내고, 올리브 오일과 허브로 마무리하세요. 이렇게 만든 파스타는 치즈 없이도 상큼하고 맛있게 즐길 수 있어요.\n\n위의 레시피들은 치즈 없이도 맛있는 파스타를 만들기 위한 아이디어에요. 개인의 취향에 맞게 재료와 양을 조절하고, 다양한 양념과 향신료를 활용해보세요. 즐거운 요리 시간 되세요!', 
    additional_kwargs={}, 
    example=False,
)

이를 조금 응용하면 아래의 코드를 통해 대화형으로 구현해 볼 수 있습니다.

 

여기서 좀 더 ChatGPT처럼 대화형 인터페이스 효과를 주고 싶다면 Streaming 옵션을 이용해 볼 수 있습니다.

 

streaming 옵션을 주고, callbacks에 Streaming Standard Output을 제공하는 StreamingStdOutCallbackHandler 클래스를 사용하면 ChatGPT처럼 대화형 UI 인터페이스를 구현해 볼 수 있습니다.

 

 

 

마치며...

여기까지 Langchain의 기본을 알아보고, 간단한 애플리케이션을 개발해보는 시간을 가져봤습니다. 좀 더 심층적으로 Langchain을 사용해보려면 더 재밌는 기획과 고민을 해봐야 하며 그러다보면 Langchain의 모든 컴포넌트를 사용해서 생성형 AI e2e 애플리케이션을 개발해 볼 수 있습니다.

 

Langchain은 현재 Python과 Javascript/Typescript 언어를 제공하며 만약, JS, TS를 이용하여 웹 UI를 입히고자 한다면 Javascript 가이드를 이용하여 애플리케이션을 개발해보심을 추천합니다. 콘솔 화면은 아무래도 심심하니 말이죠.