Growth Diary

LangGraph의 기본적인 개념에 대해 복습하는 시간을 가져보도록 하겠습니다. 1. LangGraph란?LangGraph는 LLM 기반 워크플로우에 순환 연산 기능을 추가하여 복잡한 AI 애플리케이션의 흐름을 효과적으로 제어할 수 있는 프레임워크입니다. 노드(Node), 엣지(Edge), 상태(State)라는 세 가지 핵심 요소를 통해 RAG 파이프라인과 같은 복잡한 시스템을 유연하게 구성할 수 있습니다. - Node, Edge, State 를 통해 LLM을 활용한 워크플로우에 순환 연산 기능을 추가하여 손쉽게 흐름을 제어- RAG 파이프라인의 세부 단계별 흐름 제어가 가능- Conditional Edge를 통한 조건부 흐름 제어 가능- Human-in-th-loop를 통해 필요시 중간에 개입하여 다음..

언어 모델의 성능이 지속적으로 발전함에 따라, 이를 더 효과적으로 활용하기 위한 프롬프트 엔지니어링 기법도 진화하고 있습니다. 기본적인 프롬프트 기법을 넘어, 최근에는 AI의 추론 능력을 극대화하고 더 정확한 답변을 얻기 위한 심화 기법들이 연구되고 있습니다. 이 글에서는 최신 프롬프트 엔지니어링 심화 기법들을 살펴보고, 이를 활용하는 방법에 대해 알아보겠습니다. 1. Automatic Prompt Engineer (APE): 자동화된 프롬프트 최적화1) 개념자동 프롬프트 엔지니어(APE)는 최적의 프롬프트를 자동으로 생성하는 프레임워크인간의 개입 없이 여러 단계의 평가 과정을 통해 최적의 명령어를 생성하고 선택언어 모델 자체를 활용하여 더 나은 프롬프트를 발견하는 메타-프롬프팅 접근법2) 작동 과정: ..

대규모 언어 모델(LLM)의 능력이 발전함에 따라, 더 정교하고 효과적인 프롬프트 엔지니어링 기법들이 등장하고 있습니다. 기본적인 Zero-shot, Few-shot, Chain-of-Thought 프롬프팅을 넘어서, 복잡한 문제 해결과 정확도 향상을 위한 고급 프롬프트 기법들을 알아보겠습니다. 1. Generate Knowledge Prompting (GoT): 지식 기반 추론 강화1) 개념언어 모델이 추론 전에 관련 지식을 먼저 생성하도록 하는 방법답변 생성 전 모델이 스스로 관련 정보를 가져오고 활용하는 방식할루시네이션(환각) 현상을 완화하기 위한 효과적인 접근법2) 주요 목적모델의 환각 현상 감소 및 사실 기반 답변 강화추가 지식을 통한 추론 능력 향상오픈 Q-A 테스크 방식을 활용한 자발적 지식..

프롬프트 엔지니어링은 대규모 언어 모델(LLM)의 잠재력을 최대한 활용하기 위한 중요한 기술입니다. 적절한 프롬프트 기법을 사용하면 복잡한 문제 해결, 정확한 정보 검색, 창의적인 콘텐츠 생성 등 다양한 작업에서 더 나은 결과를 얻을 수 있습니다. 이 글에서는 프롬프트 엔지니어링의 기본 기법들을 소개하고, 각 기법의 장단점과 활용 사례를 살펴보겠습니다. 1. Zero-shot Prompting: 기본 중의 기본1) 개념언어 모델에게 예제나 시연 없이 직접 작업을 지시하는 방법모델이 사전 학습 과정에서 습득한 지식을 바탕으로 작업을 수행가장 단순하고 직관적인 프롬프트 방식2) 작동 원리LLM은 대량의 텍스트 데이터로 사전 학습되어 있어 다양한 지식을 내포명확한 지시만으로도 기본적인 작업을 수행할 수 있음모..

LLM(Large Language Model)과 RAG(Retrieval-Augmented Generation) 시스템의 성능을 평가하는 것은 AI 애플리케이션 개발에서 중요한 과정입니다. 다양한 평가 프레임워크들이 각자 독특한 특징과 접근 방식을 제공합니다. 이 글에서는 주요 평가 프레임워크들을 비교하고 각각의 장단점을 살펴보겠습니다. 1. LLM-as-a-judge1) 개념LLM이 평가자 역할을 수행하여 다른 모델이나 시스템의 성능을 평가인간 평가자 대신 LLM을 활용하여 대규모 평가 가능프롬프트 엔지니어링을 통해 평가 기준과 방법 설정2) 장점인간 평가보다 비용 효율적일관된 평가 기준 적용 가능대규모 평가에 적합3) 한계LLM 자체의 편향이 평가에 영향을 줄 수 있음특정 언어나 도메인에 따라 성능 ..

RAG(Retrieval Augmented Generation) 시스템은 정보 검색(Retrieval)과 텍스트 생성(Generation)이라는 두 가지 핵심 요소로 구성됩니다. 이 시스템의 성능을 효과적으로 평가하기 위해서는 각 요소를 독립적으로, 그리고 전체 시스템을 통합적으로 평가하는 것이 중요합니다. 이 글에서는 RAG 시스템 평가에 사용되는 다양한 방법론과 메트릭에 대해 살펴보겠습니다. 1. RAG 평가의 기본 개념RAG 시스템은 일반적으로 Retrieval(검색)과 Generation(생성) 부분으로 나누어 평가합니다. 하지만 Retrieval의 성능이 Generation의 성능에 직접적인 영향을 미치기 때문에, 두 요소를 완벽하게 분리해서 평가하는 것은 불가능합니다. 이러한 복잡성을 고려하여..

평소 LLM 애플리케이션을 개발하였지만, 의도대로 답변인 나오는지를 눈대중으로만 확인하다가 신뢰성 확보 및 객관적인 지표를 통한 성능 고도화를 위해 LLM의 성능을 평가해야겠다는 생각이 들었고, 이에 LLM의 성능 평가에 대한 내용을 정리해보고자 합니다.1. LLM 평가 배경LLM평가는 모델 자체의 전반적인 성능을 객관적으로 측정하고, 이를 통해 실제 환경에서의 효용성을 예측하는 데 초점을 둡니다. 신뢰할 수 있는 평가 체계를 갖추는 것은 LLM 개발과 응용에서 필수적인 과정입니다. 이러한 LLM 평가는 크게 모델 자체를 평가하는 것과 LLM 애플리케이션을 평가하는 두 가지로 구분됩니다. 이번 글에서는 모델 자체 평가에 대해 다뤄보도록 하겠습니다. 1) LLM 평가의 주요 접근법LLM 평가는 크게 세 가..

대규모 언어 모델의 효율적인 서빙을 위해서는 메모리 관리와 병렬 처리 같은 최적화 기술이 필수적입니다. LLM 서빙이란 동일한 연산을 수행하면서도 성능 하락 없이 추론 능력을 향상시키는 방안을 통해 모델 서빙을 수행하는 것을 말합니다. 다양한 프레임워크들이 개발되었지만, 현재 가장 널리 사용되고 자주 언급되는 vLLM과 SGLang에 대해 간단히 설명하고 비교해보는 시간을 가지겠습니다. 1. vLLMvLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. UC 버클리의 스카이 컴퓨팅 랩에서 개발되었으며, 학계와 산업계의 기여를 통해 커뮤니티 중심 프로젝트로 발전했습니다.  주요 기능1) 고성능 서빙PagedAttention 기술을 사용한 메모리 관리와 처리 성능 극대화대기중인 요청 ..

이전 포스팅에서 소개한 Opik 프레임워크를 활용하여 실제 LLM 응답을 평가하는 방법에 대해 알아보겠습니다. Opik은 다양한 메트릭을 통해 LLM 출력물의 품질을 체계적으로 평가할 수 있는 프레임워크를 제공합니다. 1. Opik 평가의 주요 구성 요소Opik에서 평가를 진행하기 위해서는 다음 세 가지 핵심 구성요소가 필요합니다: 1) 데이터 세트- LLM 응용 프로그램에 대한 입력과 선택적으로 예상 출력을 나타내는 샘플의 컬렉션- 각 샘플에 대한 입력 및 예상 출력만 저장하며, LLM 지원서의 출력은 평가 프로세스 중에 계산되고 점수가 매겨집니다.2) 평가 과제- 데이터 세트에 저장된 입력을 점수를 매기고 싶은 출력에 매핑합니다. 평가 과제는 일반적으로 프롬프트 템플릿 또는 빌드 중인 LLM 애플리케..

오늘은 오픈소스로 제공되는 LLM 평가 프레임워크인 opik을 처음 접하게 되어 간단한 설명과 활용방법에 대해 얘기해보겠습니다. opik은 LLM 애플리케이션을 평가, 테스트 및 모니터링하기 위한 오픈소스 플랫폼입니다. 저는 보통 RAG 파이프라인을 구성한후 추적을 하는 용도로 Langsmith를 많이 사용했는데, opik에서 좀 더 직관적인 ui와 LLM 성능을 자동으로 평가하는 기능도 제공한다고해서 사용해보게 되었습니다.  로그인하고 볼 수 있는 메인 화면인데 상당히 깔끔한 구조입니다.  하단의 Quickstart guide를 보면 사용하는 프레임워크별로 LLM을 추적할 수 있게끔 샘플 코드가 작성되어있습니다. from langchain_openai import ChatOpenAIfrom common..