Growth Diary

평소 Claude Code를 터미널에서 실행해 소스 코드 관련 Q&A 용도로만 가볍게 사용해왔습니다. 그러다 최근 Claude Code가 생각보다 훨씬 다양한 기능을 제공한다는 사실을 알게 되었고, 이를 계기로 관련 기능들을 정리하고 직접 활용해보는 시간을 가졌습니다.1. Claude Code 기본 명령어 정리본격적인 설정에 앞서 Claude Code의 핵심 명령어를 정리했습니다.1.1. 터미널 실행 명령어명령어기능claudeClaude Code 실행claude --dangerously-skip-permissionsAuto Mode로 실행 (권한 확인 생략) 1.2. Claude Code 내부 CLI 명령어명령어기능/ideIDE 연동 (Diff viewer, 라인 선택)/model사용할 모델 선택@파일 ..

에이전트형 코딩 도구의 양대산맥인 커서와 윈드서프중 어떤걸 사용할지 고민하다가 더 최근에 떠오른 윈드서프를 써보자는 생각이 들어 찾아보던도중 클로드 코드라는 에이전트형 코딩 도구를 접하게 되었습니다. 어쩌다 뜨게 된 것일까 궁금해 찾아보니 윈드서프에서 플랫폼 운영을 위해 클로드 모델에 크게 의존하고 있었는데, 앤트로픽에서 일방적으로 모델 접근 제한을 통보하면서 자연스럽게 이슈가 된 것으로 파악했습니다. 이러한 결정은 경쟁사인 오픈AI의 윈드서프 인수도 한몫 하지 않았을까하는 개인적인 생각입니다. 마침 클로드 프로를 구독하고 있었기에 클로드 코드를 사용해보기로 하였습니다. 기본적으로 npm을 사용하기 때문에 없으신분들은 별도로 설치후 진행해주시면 되겠습니다. npm install -g @anthropic-..

1. 주요 딥러닝 프레임워크 소개1) TensorFlowTensorFlow는 구글에서 개발한 오픈 소스 머신러닝 프레임워크로, 대규모 데이터와 복잡한 모델을 효율적으로 처리할 수 있습니다. CPU와 GPU를 모두 지원하며, TensorBoard라는 시각화 도구를 통해 학습 과정을 모니터링할 수 있습니다. 주로 대규모 프로젝트와 연구에서 활용됩니다. 2) PyTorchPyTorch는 페이스북이 개발한 프레임워크로, 동적 계산 그래프를 특징으로 합니다. 직관적인 API와 사용 편의성으로 연구자들 사이에서 큰 인기를 얻고 있으며, 특히 자연어 처리(NLP)와 컴퓨터 비전 분야에서 널리 사용됩니다. 3) KerasKeras는 사용자 친화적인 고수준 API로, 여러 백엔드(TensorFlow, Theano, CN..

최근 학습 과정에서 생겼던 궁금증에 대해 간략하게 정리해보는 시간을 가졌습니다.1. 학습 파라미터 vs 하이퍼 파라미터1) 학습 파라미터학습 파라미터는 모델이 학습 과정에서 스스로 최적화하는 내부 변수들입니다.정의: 데이터로부터 학습을 통해 자동으로 업데이트되는 모델 내부 변수예시: 신경망의 가중치(weights), 편향(biases), 임베딩(embeddings)특징:역전파를 통해 자동으로 조정됨모델의 성능을 직접적으로 결정하는 요소학습이 완료된 후 모델과 함께 저장됨파인튜닝 시 주로 조정되는 대상대규모 언어 모델(LLM)의 경우, 학습 파라미터는 수십억 개에 달할 수 있으며, 파인튜닝 과정에서는 이 파라미터의 일부 또는 전체를 조정합니다. 2) 하이퍼 파라미터하이퍼파라미터는 모델의 학습 방식을 제어하..

오늘은 복습겸 딥러닝의 기초과 되는 핵심 원리와 기법에 대해 간단하게 얘기하고자 합니다. 1. 딥러닝의 학습 과정1) 순전파입력 데이터가 모델의 각 층을 거쳐 예측값을 생성합니다. 이 과정에 각 층의 계산 결과와 상태값이 메모리에 저장됩니다. 2) 손실 계산모델의 예측값과 실제 정답 간의 차이 즉, 손실을 계산합니다. 이 손실은 모델의 정확도를 측정하는 지표가 됩니다. 3) 역전파계산된 손실을 기준으로 각 층을 거슬러 올라가며 가중치가 손실에 미치는 영향 즉, 그래디언트를 계산합니다. 이때 순전파에서 저장해둔 상태값들이 활용됩니다. 4) 가중치 업데이트계산된 그래디언트를 바탕으로 옵티마이저가 모델의 가중치를 조정합니다. 이 과정을 통해 모델은 점점 더 정확한 예측을 할 수 있게 됩니다. 2. 딥러닝의 핵..

1. 인코더인코더는 입력 텍스트를 이해하고 의미를 추출하는 역할을 합니다. 기본적으로 여러 개의 동일한 층이 반복되는 구조로 되어 있습니다. 1) 인코더의 주요 구성 요소층 정규화(Layer Normalization): 데이터의 분포를 조정하여 학습을 안정화멀티 헤드 어텐션(Multi-Head Attention): 입력 시퀀스의 다양한 관계를 파악피드 포워드 층(Feed Forward Layer): 비선형 변환을 통해 표현력 강화 2) 잔차 연결잔차 연결은 이미지에 보이는 것처럼 원래 입력값을 각 하위 층의 출력에 더해주는 방식을 말합니다. 그래디언트 소실 문제 해결: 깊은 네트워크에서 학습 신호가 손실되는 문제 방지학습 안정화: 층이 많아져도 안정적인 학습 가능정보 보존: 원본 정보가 네트워크를 통과..

1. 어텐션 연산우리는 글을 읽을 때 모든 단어에 동일한 중요도를 부여하지 않습니다. 어떤 단어들은 특별히 주목하고, 다른 단어들은 상대적으로 덜 집중하며 전체 맥락을 파악합니다. 트랜스포머 모델의 핵심인 어텐션 연산은 이러한 인간의 읽기 방식을 모방한 연산입니다. 1) 어텐션이란 무엇인가?어텐션은 단어들 사이의 관계를 파악하여 문맥을 이해하는 방식으로, 다음과 같은 과정으로 작동합니다:단어와 단어 사이의 관계를 계산하여 관련성의 깊이를 판단관련이 깊은 단어는 더 많이, 관련이 적은 단어는 더 적게 맥락에 반영이 연산은 모델이 문장 내에서 단어 간의 복잡한 관계를 이해하고, 문맥에 따라 단어의 의미를 적절히 해석할 수 있게 합니다. 2. QKV(쿼리, 키, 값) 모델 이해하기트랜스포머 아키텍처를 개발한 ..

딥러닝 모델이 텍스트를 이해하려면 먼저 문자 기반의 텍스트 데이터를 숫자 기반의 벡터로 변환해야 합니다. 이 과정을 임베딩(embedding)이라고 부르며, 보통 다음의 세 가지 단계를 거칩니다.1. 토큰화 (Tokenization)텍스트를 모델에 넣기 위해 가장 먼저 해야 할 일은 텍스트를 잘게 나누는 것, 즉 토큰화입니다. 이때 각 토큰에 고유한 숫자 ID를 부여하며, 이 정보를 사전(dict)에 기록합니다.토큰화 방법은 다양하지만, 크게 다음 두 가지 방식이 있습니다:큰 단위 토큰화: 예를 들어 단어 단위로 자르는 방식입니다. 의미 보존에 유리하지만, 새로운 단어가 등장했을 때 처리할 수 없는 OOV(Out-Of-Vocabulary) 문제가 발생합니다.작은 단위 토큰화: 예를 들어 글자 단위로 자르..

딥러닝 기반 자연어 처리 기술은 최근 몇 년간 혁신적인 발전을 이루었습니다. 이 발전의 중심에는 RNN(순환신경망)에서 트랜스포머 아키텍처로의 패러다임 전환이 있었습니다. 이번 글에서는 두 모델의 특징과 차이점, 그리고 트랜스포머가 어떻게 기존 RNN의 한계를 극복했는지 알아보겠습니다.1. 순환신경망(RNN)의 구조와 한계RNN은 시퀀스 데이터를 처리하기 위한 초기 딥러닝 모델로, 텍스트를 순차적으로 하나씩 처리하는 특징을 가집니다.  1) RNN의 작동 방식텍스트의 각 토큰(단어)을 하나씩 순차적으로 입력이전 토큰 처리 결과를 다음 토큰 처리에 활용이런 순환 구조가 시퀀스 데이터 처리에 적합2) RNN의 한계점 순차적 처리로 인한 비효율병렬 처리가 불가능해 학습 속도가 느림긴 시퀀스 처리 시 계산 시간..

딥러닝 모델, 특히 대규모 언어 모델(LLM)이 발전함에 따라 모델 크기와 필요한 계산 자원도 크게 증가했습니다. 하지만 모델 성능이 향상됨에 따라 모델의 크기와 요구되는 계산 자원 또한 기하급수적으로 증가하고 있습니다. 수십억에서 수백억 개의 파라미터를 가진 모델을 학습하고 추론하려면, 단순히 고성능 하드웨어만으로는 한계가 있습니다. 메모리 효율성과 연산 최적화 없이는 현실적인 운영이 어려워지기 때문이죠. 이번 글에서는 대규모 딥러닝 모델을 효율적으로 다루기 위한 핵심 기술들을 정리해보겠습니다. 특히 메모리 관점에서 모델을 어떻게 경량화하고 최적화할 수 있는지를 중심으로 다뤄보겠습니다.1. 데이터 타입에 따른 메모리 사용량딥러닝 모델은 본질적으로 수많은 파라미터(가중치)를 포함한 거대한 행렬 연산의 집..