Growth Diary

[Prompt Engineering] 프롬프트 엔지니어링의 심화 기법들(1)

대규모 언어 모델(LLM)의 능력이 발전함에 따라, 더 정교하고 효과적인 프롬프트 엔지니어링 기법들이 등장하고 있습니다. 기본적인 Zero-shot, Few-shot, Chain-of-Thought 프롬프팅을 넘어서, 복잡한 문제 해결과 정확도 향상을 위한 고급 프롬프트 기법들을 알아보겠습니다. 1. Generate Knowledge Prompting (GoT): 지식 기반 추론 강화1) 개념언어 모델이 추론 전에 관련 지식을 먼저 생성하도록 하는 방법답변 생성 전 모델이 스스로 관련 정보를 가져오고 활용하는 방식할루시네이션(환각) 현상을 완화하기 위한 효과적인 접근법2) 주요 목적모델의 환각 현상 감소 및 사실 기반 답변 강화추가 지식을 통한 추론 능력 향상오픈 Q-A 테스크 방식을 활용한 자발적 지식..

[Prompt Engineering] 프롬프트 엔지니어링의 기초 기법들

프롬프트 엔지니어링은 대규모 언어 모델(LLM)의 잠재력을 최대한 활용하기 위한 중요한 기술입니다. 적절한 프롬프트 기법을 사용하면 복잡한 문제 해결, 정확한 정보 검색, 창의적인 콘텐츠 생성 등 다양한 작업에서 더 나은 결과를 얻을 수 있습니다. 이 글에서는 프롬프트 엔지니어링의 기본 기법들을 소개하고, 각 기법의 장단점과 활용 사례를 살펴보겠습니다. 1. Zero-shot Prompting: 기본 중의 기본1) 개념언어 모델에게 예제나 시연 없이 직접 작업을 지시하는 방법모델이 사전 학습 과정에서 습득한 지식을 바탕으로 작업을 수행가장 단순하고 직관적인 프롬프트 방식2) 작동 원리LLM은 대량의 텍스트 데이터로 사전 학습되어 있어 다양한 지식을 내포명확한 지시만으로도 기본적인 작업을 수행할 수 있음모..

1. 주요 딥러닝 프레임워크 소개1) TensorFlowTensorFlow는 구글에서 개발한 오픈 소스 머신러닝 프레임워크로, 대규모 데이터와 복잡한 모델을 효율적으로 처리할 수 있습니다. CPU와 GPU를 모두 지원하며, TensorBoard라는 시각화 도구를 통해 학습 과정을 모니터링할 수 있습니다. 주로 대규모 프로젝트와 연구에서 활용됩니다. 2) PyTorchPyTorch는 페이스북이 개발한 프레임워크로, 동적 계산 그래프를 특징으로 합니다. 직관적인 API와 사용 편의성으로 연구자들 사이에서 큰 인기를 얻고 있으며, 특히 자연어 처리(NLP)와 컴퓨터 비전 분야에서 널리 사용됩니다. 3) KerasKeras는 사용자 친화적인 고수준 API로, 여러 백엔드(TensorFlow, Theano, CN..

최근 학습 과정에서 생겼던 궁금증에 대해 간략하게 정리해보는 시간을 가졌습니다.1. 학습 파라미터 vs 하이퍼 파라미터1) 학습 파라미터학습 파라미터는 모델이 학습 과정에서 스스로 최적화하는 내부 변수들입니다.정의: 데이터로부터 학습을 통해 자동으로 업데이트되는 모델 내부 변수예시: 신경망의 가중치(weights), 편향(biases), 임베딩(embeddings)특징:역전파를 통해 자동으로 조정됨모델의 성능을 직접적으로 결정하는 요소학습이 완료된 후 모델과 함께 저장됨파인튜닝 시 주로 조정되는 대상대규모 언어 모델(LLM)의 경우, 학습 파라미터는 수십억 개에 달할 수 있으며, 파인튜닝 과정에서는 이 파라미터의 일부 또는 전체를 조정합니다. 2) 하이퍼 파라미터하이퍼파라미터는 모델의 학습 방식을 제어하..

이전 글에서 Unsloth와 엘리스 클라우드 등 기술적인 부분에 대해 설명했다면, 이번에는 DACON 난독화 한글 리뷰 복원 프로젝트를 진행하면서 겪었던 전체적인 경험과 시행착오를 공유하려 합니다. 대회 개요DACON에서 진행된 이 대회는 의도적으로 난독화된 한글 텍스트를 원래 형태로 복원하는 과제로, 오픈 소스 LLM(Large Language Model)을 활용해 해결하는 것이 핵심이었습니다. 처음에는 같은 경진대회에 참여한 사람이 공유해준 Gemma-2-B-it Full Fint-tuning 모델을 사용하였습니다. model_name = "mindw96/Gemma-2-2B-it-DACON-LLM"model = AutoModelForCausalLM.from_pretrained( model_n..

진행중이던 프로젝트에서 디비를 활용한 부분을 제외하고 API호출을 Tool로 구현하고 LangChain의 Tool calling 기능을 활용하여 ESG 데이터를 조회하는 Agent를 구현한 내용에 대해 말씀드리겠습니다. 1. 시스템 아키텍처 개요1) 구성 요소ESG 데이터 수집을 위한 yfinance API 활용LangChain의 Tool calling 기능을 통한 자연어 기반 데이터 조회ReAct Agent 패턴을 통한 지능형 데이터 분석2) 주요 흐름사용자가 자연어로 ESG 데이터 조회 요청Agent가 의도를 파악하여 적절한 Tool 호출ESG 데이터를 가져와 분석 및 리포트 생성2. ESG 데이터 조회 Tool 구현1) ESG Search Wrapper 클래스class ESGSearchWrapper..

전에 Fork와 PR을 간단하게 코드로 설명하면서 진행했던 글이 있는데, 이번에는 조금 더 심화적으로 협업중 발생한 문제를 해결하면서 PR을 진행하는 과정에 대해 설명하도록 하겠습니다. 현재 장기간 Merge & PR을 하지않아, 원본 레파지토리의 히스토리가 쌓이고 Fork한 원격 레파지토리에서 새롭게 브랜치를 생성해서 커밋이 쌓인 상황입니다. 따라서 히스토리 충돌이 발생하지 않도록, 원본 레파지토리의 코드를 잘 가져와서 병합 후 PR을 요청하는 과정을 다뤄보도록 하겠습니다. 원본 레파지토리의 최신 코드를 가져오기 위해 "git fetch upstream" 명령어를 실행했는데 아래의 에러가 발생하였습니다. 확인해보니 upstream이라는 이름의 원격 저장소가 등록이 되지 않아 발생한 에러였습니다. "g..

LLM(Large Language Model)과 RAG(Retrieval-Augmented Generation) 시스템의 성능을 평가하는 것은 AI 애플리케이션 개발에서 중요한 과정입니다. 다양한 평가 프레임워크들이 각자 독특한 특징과 접근 방식을 제공합니다. 이 글에서는 주요 평가 프레임워크들을 비교하고 각각의 장단점을 살펴보겠습니다. 1. LLM-as-a-judge1) 개념LLM이 평가자 역할을 수행하여 다른 모델이나 시스템의 성능을 평가인간 평가자 대신 LLM을 활용하여 대규모 평가 가능프롬프트 엔지니어링을 통해 평가 기준과 방법 설정2) 장점인간 평가보다 비용 효율적일관된 평가 기준 적용 가능대규모 평가에 적합3) 한계LLM 자체의 편향이 평가에 영향을 줄 수 있음특정 언어나 도메인에 따라 성능 ..

RAG(Retrieval Augmented Generation) 시스템은 정보 검색(Retrieval)과 텍스트 생성(Generation)이라는 두 가지 핵심 요소로 구성됩니다. 이 시스템의 성능을 효과적으로 평가하기 위해서는 각 요소를 독립적으로, 그리고 전체 시스템을 통합적으로 평가하는 것이 중요합니다. 이 글에서는 RAG 시스템 평가에 사용되는 다양한 방법론과 메트릭에 대해 살펴보겠습니다. 1. RAG 평가의 기본 개념RAG 시스템은 일반적으로 Retrieval(검색)과 Generation(생성) 부분으로 나누어 평가합니다. 하지만 Retrieval의 성능이 Generation의 성능에 직접적인 영향을 미치기 때문에, 두 요소를 완벽하게 분리해서 평가하는 것은 불가능합니다. 이러한 복잡성을 고려하여..

오늘은 복습겸 딥러닝의 기초과 되는 핵심 원리와 기법에 대해 간단하게 얘기하고자 합니다. 1. 딥러닝의 학습 과정1) 순전파입력 데이터가 모델의 각 층을 거쳐 예측값을 생성합니다. 이 과정에 각 층의 계산 결과와 상태값이 메모리에 저장됩니다. 2) 손실 계산모델의 예측값과 실제 정답 간의 차이 즉, 손실을 계산합니다. 이 손실은 모델의 정확도를 측정하는 지표가 됩니다. 3) 역전파계산된 손실을 기준으로 각 층을 거슬러 올라가며 가중치가 손실에 미치는 영향 즉, 그래디언트를 계산합니다. 이때 순전파에서 저장해둔 상태값들이 활용됩니다. 4) 가중치 업데이트계산된 그래디언트를 바탕으로 옵티마이저가 모델의 가중치를 조정합니다. 이 과정을 통해 모델은 점점 더 정확한 예측을 할 수 있게 됩니다. 2. 딥러닝의 핵..