Growth Diary

LangGraph를 활용한 RAG 시스템의 챗봇을 과제로 진행하던 도중, 팀장님의 조언으로 동일한 질문에 대해 캐싱을 사용해 비용과 시간을 효율적으로 사용하라는 말씀을 들었습니다. 이에 따라 캐싱을 사용해 보다 더 효율적인 RAG 시스템을 구축하고자 하였습니다. 1. 문제상황아래는 사용자의 같은 질문에 대해 소요된 시간과 토큰에 대한 이미지입니다. 보시다시피 같은 질문임에도 똑같은 노드 순환을 반복하며 시간과 토큰이 소모되는 모습입니다. 2. InMemoryCache (/w Langchain)langchain에서 캐싱을 위한 라이브러리를 제공해주어서 사용해보았습니다.from langchain.globals import set_llm_cachefrom langchain_community.cache im..

이전에 google의 gemini model을 활용해 Rag를 구현한 코드가 있는데, 오랜만에 실행시켜보니 에러가 발생해서 원인과 해결과정을 정리해 보았습니다. 오류가 작성한 코드는 아래와 같았습니다. from langchain.chains.query_constructor.base import ( StructuredQueryOutputParser, get_query_constructor_prompt,)from langchain_openai import ChatOpenAIfrom langchain_google_genai import ChatGoogleGenerativeAIllm = ChatGoogleGenerativeAI(temperature=0, model="gemini-1.5-flash") ..

1. LLM2. RAG3. Better RAG 1. LLM1) 정의LLM 은 Large Language Models 의 약자로 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥 러닝 모델입니다. LLM은 완벽하지는 않지만 비교적 적은 수의 프롬프트 또는 입력을 기반으로 예측하는 놀라운 능력을 보여주고 있습니다. 하나의 모델은 질문에 답하고, 문서를 요약하고, 언어를 번역하고, 문장을 완성하는 등 완전히 다른 작업을 수행 할 수 있습니다. 또한 입력 프롬프트를 기반으로 콘텐츠를 생성하는 생성형 AI에 사용될 수 있습니다. 2) 문제점LLM 훈련 데이터는 정적이며 보유한 지식에 대한 마감일을 도입답변이 없을 때 허위 정보를 제공신뢰할 수 없는 출처로부터 응답을 생성사용자가 구체적이고 최신의 응답을 기대할..