Dacon에서 진행하는 "난독화된 한글 리뷰 복원 AI 경진대회"를 뒤늦게 접하게 되어 LLM을 활용한 문제해결능력을 기르고자 경진대회에 참여하기로 하였습니다. 핵심 주제는 "식별하기 어렵게 쓴 한글 리뷰를 원래 한글 리뷰로 복원하는 AI 알고리즘 개발" 이었습니다. 데이터셋과 샘플 코드를 모두 제공해주었기에 이를 먼저 실행해보았습니다. import pandas as pdimport torchfrom transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig, pipelinetrain = pd.read_csv('./drive/MyDrive/data_set/open/train.csv', encoding = 'utf-8-sig')t..
