Growth Diary

데이터를 파싱하고 정제하는 과정에서 정규표현식을 통해 원하는 내용의 값들만 추출하고, 변경하는 작업을 할 수 있습니다. 파이썬의 re 모듈을 활용한 정규표현식의 개념과 사용 예제에 대해 간략하게 살펴보겠습니다. 1. 정규표현식의 기초 : 패턴을 만드는 규칙정규표현식은 특정 규칙을 가진 문자열의 집합을 표현하는 데 사용됩니다. 몇 가지 기본 특수 문자(패턴)만 알면 금방 익숙해질 수 있습니다. . (마침표): 줄바꿈 문자(\n)를 제외한 모든 문자와 매치됩니다.\d: 숫자를 의미합니다. [0-9]와 같습니다.\s: 공백 문자(스페이스, 탭, 줄바꿈 등)를 의미합니다.\w: 알파벳, 숫자, 언더스코어(_)를 포함하는 문자입니다. [a-zA-Z0-9_]와 같습니다.* (애스터리스크): 바로 앞의 문자가 0번 ..

데이터 전처리과정에서 DataFrame을 많이 다루게 돼서 이참에 기본적이고 핵심적인 함수들을 한번 정리하고 가보도록 하겠습니다. 예제 데이터 준비하기import pandas as pdimport numpy as np# 예제용 샘플 데이터프레임df = pd.DataFrame({ '제품명': ['A-1', 'B-1', 'A-1', 'C-1', 'B-2', 'D-1'], '카테고리': ['가전', '가구', '가전', '가전', '가구', '주방'], '가격': [100, 150, 100, 120, 180, np.nan], '태그': [['신상', '인기'], '할인', ['신상', '인기'], '추천', '할인', np.nan]}, index=['p1', 'p2', 'p3', 'p4'..

1. 서버에서 열려있는 포트 확인 방법1) netstate가장 일반적인 사용 방법 # 모든 열린 포트 확인netstat -tuln# 특정 포트 확인 (예: 8000번)netstat -tuln | grep :8000# 프로세스 정보까지 함께 보기netstat -tulnp 2) ss최신 방법으로 netstat보다 빠른 방법 # 모든 열린 포트 확인ss -tuln# 특정 포트 확인ss -tuln | grep :8000# 프로세스 정보 포함ss -tulnp 2. 결과 해석 1) 0.0.0.0:포트번호서버가 가진 모든 IP 주소로 접근 가능서버 자체(localhost), 서버의 사내 IP, 인터넷에서(공인IP가 있고 방화벽이 허용한다면) 접근 가능 2) 127.0.0.1:포트번호오직 해당 서버 자체에서만 접근 ..

에이전트형 코딩 도구의 양대산맥인 커서와 윈드서프중 어떤걸 사용할지 고민하다가 더 최근에 떠오른 윈드서프를 써보자는 생각이 들어 찾아보던도중 클로드 코드라는 에이전트형 코딩 도구를 접하게 되었습니다. 어쩌다 뜨게 된 것일까 궁금해 찾아보니 윈드서프에서 플랫폼 운영을 위해 클로드 모델에 크게 의존하고 있었는데, 앤트로픽에서 일방적으로 모델 접근 제한을 통보하면서 자연스럽게 이슈가 된 것으로 파악했습니다. 이러한 결정은 경쟁사인 오픈AI의 윈드서프 인수도 한몫 하지 않았을까하는 개인적인 생각입니다. 마침 클로드 프로를 구독하고 있었기에 클로드 코드를 사용해보기로 하였습니다. 기본적으로 npm을 사용하기 때문에 없으신분들은 별도로 설치후 진행해주시면 되겠습니다. npm install -g @anthropic-..

LangGraph를 활용한 RAG 시스템의 챗봇을 과제로 진행하던 도중, 팀장님의 조언으로 동일한 질문에 대해 캐싱을 사용해 비용과 시간을 효율적으로 사용하라는 말씀을 들었습니다. 이에 따라 캐싱을 사용해 보다 더 효율적인 RAG 시스템을 구축하고자 하였습니다. 1. 문제상황아래는 사용자의 같은 질문에 대해 소요된 시간과 토큰에 대한 이미지입니다. 보시다시피 같은 질문임에도 똑같은 노드 순환을 반복하며 시간과 토큰이 소모되는 모습입니다. 2. InMemoryCache (/w Langchain)langchain에서 캐싱을 위한 라이브러리를 제공해주어서 사용해보았습니다.from langchain.globals import set_llm_cachefrom langchain_community.cache im..

LangGraph의 기본적인 개념에 대해 복습하는 시간을 가져보도록 하겠습니다. 1. LangGraph란?LangGraph는 LLM 기반 워크플로우에 순환 연산 기능을 추가하여 복잡한 AI 애플리케이션의 흐름을 효과적으로 제어할 수 있는 프레임워크입니다. 노드(Node), 엣지(Edge), 상태(State)라는 세 가지 핵심 요소를 통해 RAG 파이프라인과 같은 복잡한 시스템을 유연하게 구성할 수 있습니다. - Node, Edge, State 를 통해 LLM을 활용한 워크플로우에 순환 연산 기능을 추가하여 손쉽게 흐름을 제어- RAG 파이프라인의 세부 단계별 흐름 제어가 가능- Conditional Edge를 통한 조건부 흐름 제어 가능- Human-in-th-loop를 통해 필요시 중간에 개입하여 다음..

언어 모델의 성능이 지속적으로 발전함에 따라, 이를 더 효과적으로 활용하기 위한 프롬프트 엔지니어링 기법도 진화하고 있습니다. 기본적인 프롬프트 기법을 넘어, 최근에는 AI의 추론 능력을 극대화하고 더 정확한 답변을 얻기 위한 심화 기법들이 연구되고 있습니다. 이 글에서는 최신 프롬프트 엔지니어링 심화 기법들을 살펴보고, 이를 활용하는 방법에 대해 알아보겠습니다. 1. Automatic Prompt Engineer (APE): 자동화된 프롬프트 최적화1) 개념자동 프롬프트 엔지니어(APE)는 최적의 프롬프트를 자동으로 생성하는 프레임워크인간의 개입 없이 여러 단계의 평가 과정을 통해 최적의 명령어를 생성하고 선택언어 모델 자체를 활용하여 더 나은 프롬프트를 발견하는 메타-프롬프팅 접근법2) 작동 과정: ..

대규모 언어 모델(LLM)의 능력이 발전함에 따라, 더 정교하고 효과적인 프롬프트 엔지니어링 기법들이 등장하고 있습니다. 기본적인 Zero-shot, Few-shot, Chain-of-Thought 프롬프팅을 넘어서, 복잡한 문제 해결과 정확도 향상을 위한 고급 프롬프트 기법들을 알아보겠습니다. 1. Generate Knowledge Prompting (GoT): 지식 기반 추론 강화1) 개념언어 모델이 추론 전에 관련 지식을 먼저 생성하도록 하는 방법답변 생성 전 모델이 스스로 관련 정보를 가져오고 활용하는 방식할루시네이션(환각) 현상을 완화하기 위한 효과적인 접근법2) 주요 목적모델의 환각 현상 감소 및 사실 기반 답변 강화추가 지식을 통한 추론 능력 향상오픈 Q-A 테스크 방식을 활용한 자발적 지식..

프롬프트 엔지니어링은 대규모 언어 모델(LLM)의 잠재력을 최대한 활용하기 위한 중요한 기술입니다. 적절한 프롬프트 기법을 사용하면 복잡한 문제 해결, 정확한 정보 검색, 창의적인 콘텐츠 생성 등 다양한 작업에서 더 나은 결과를 얻을 수 있습니다. 이 글에서는 프롬프트 엔지니어링의 기본 기법들을 소개하고, 각 기법의 장단점과 활용 사례를 살펴보겠습니다. 1. Zero-shot Prompting: 기본 중의 기본1) 개념언어 모델에게 예제나 시연 없이 직접 작업을 지시하는 방법모델이 사전 학습 과정에서 습득한 지식을 바탕으로 작업을 수행가장 단순하고 직관적인 프롬프트 방식2) 작동 원리LLM은 대량의 텍스트 데이터로 사전 학습되어 있어 다양한 지식을 내포명확한 지시만으로도 기본적인 작업을 수행할 수 있음모..

1. 주요 딥러닝 프레임워크 소개1) TensorFlowTensorFlow는 구글에서 개발한 오픈 소스 머신러닝 프레임워크로, 대규모 데이터와 복잡한 모델을 효율적으로 처리할 수 있습니다. CPU와 GPU를 모두 지원하며, TensorBoard라는 시각화 도구를 통해 학습 과정을 모니터링할 수 있습니다. 주로 대규모 프로젝트와 연구에서 활용됩니다. 2) PyTorchPyTorch는 페이스북이 개발한 프레임워크로, 동적 계산 그래프를 특징으로 합니다. 직관적인 API와 사용 편의성으로 연구자들 사이에서 큰 인기를 얻고 있으며, 특히 자연어 처리(NLP)와 컴퓨터 비전 분야에서 널리 사용됩니다. 3) KerasKeras는 사용자 친화적인 고수준 API로, 여러 백엔드(TensorFlow, Theano, CN..