Growth Diary

  • 홈
  • 태그
  • 방명록

2025/04/16 1

[DeepLearning] 딥러닝의 기초와 메모리 최적화 기법 복습

오늘은 복습겸 딥러닝의 기초과 되는 핵심 원리와 기법에 대해 간단하게 얘기하고자 합니다. 1. 딥러닝의 학습 과정1) 순전파입력 데이터가 모델의 각 층을 거쳐 예측값을 생성합니다. 이 과정에 각 층의 계산 결과와 상태값이 메모리에 저장됩니다. 2) 손실 계산모델의 예측값과 실제 정답 간의 차이 즉, 손실을 계산합니다. 이 손실은 모델의 정확도를 측정하는 지표가 됩니다. 3) 역전파계산된 손실을 기준으로 각 층을 거슬러 올라가며 가중치가 손실에 미치는 영향 즉, 그래디언트를 계산합니다. 이때 순전파에서 저장해둔 상태값들이 활용됩니다. 4) 가중치 업데이트계산된 그래디언트를 바탕으로 옵티마이저가 모델의 가중치를 조정합니다. 이 과정을 통해 모델은 점점 더 정확한 예측을 할 수 있게 됩니다. 2. 딥러닝의 핵..

DeepLearning 2025.04.16
이전
1
다음
더보기
프로필사진

Growth Diary

개발에 관련된 다양한 IT 지식을 공유하고 최신 트렌드 기술을 배워나갑니다.

  • 분류 전체보기 (88)
    • Spring (4)
    • Git&GitHub (7)
    • Flutter (11)
    • Docker (2)
    • Algorithm (3)
    • 자료구조 (2)
    • Langchain (0)
    • CS (5)
    • Streamlit (1)
    • Backend (2)
    • CampusMeet (12)
    • AWS (1)
    • FastAPI (2)
    • RAG (2)
    • DeepLearning (11)
    • Fine-Tuning (4)
    • LLMops (10)
    • FinAgent Lab (5)
    • LangGraph (0)

Tag

Rag, Flutter, transformer, LLM, 어텐션, llm 평가, MCP, mcp client, github, mcp server, spring, git, GPU, 트랜스포머, 양자화, AWS, NKS, Get, model context protocol, unsloth,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/04   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바