TIL #2405

5월에도 꾸준히 안목 기르기!

 

---

 

TIL #240509

 

1등 왜 못함? 그냥 SOTA Model 쓰면 되잖아 ㅋㅋ

 

SOTA: state of the art, 현재 최고 수준의 결과

 

TIL #240510

 

파이썬 | 정규표현식(re) re.compile 사용을 위한 표현법

 

List Comprehension 문법 정리

 

[Python] List Comprehension 에 대한 이해

 

TIL #240524

 

LLM) Chat Vector 논문 내용 및 실험해보기

 

CP: Continual Pre-training 꾸준히 성장하는 모델

PLM: Pre-trained Language Model 사전 훈련된 언어 모델

 

PLM과 Chat Model을 이용해서 Chat Vector를 얻자

SFT, RLHF, DPO 방식

 

사전 훈련한 Mistral 기반의 Breeze-7B 모델, Breeze-Instruct 모델

 

LLM) Quantization 방법론 알아보기 (GPTQ | QAT | AWQ | GGUF | GGML | PTQ)

 

양자화 기술은 모델을 압축하여 빠르고 효율적으로 만드는 기술

방법론: Quantization, GPTQ, GGUF/GGML, QAT, AWQ

Quantization: 높은 정밀도의 숫자를 낮은 정밀도의 숫자로 변환하는 것

GPTQ: 사전 훈련된 LLM 매개변수를 낮은 정밀도로 변환하는 것. GPU에서 선호되며 CPU에서 사용 안함 

GGUF: GGML의 새로운 버전

QAT(Quantization Aware Training): 사전 훈련된 모델 또는 PTQ 모델로 시작. QAT를 사용하여 fine tune. 정확도 손실을 복구하는 것. 모델의 가중치와 활성화를 학습하면서 양자화

AWQ(Activation-Aware Quantization for LLMs): GPU 또는 CPU에서 사용하기 위한 것. 모델의 유효성을 유지하기 위해 중요하지 않은 가중치를 양자화

TIL #240527

 

SI 회사의 PM/PL은 무슨 일을 할까?

TIL #240529

 

내 커리어도 피벗팅할 수 있을까?

 

피벗팅 Pivoting

피벗팅의 어원은 농구의 피벗. 한 발을 땅에 붙인 채 남은 한 발을 이리저리 방향을 바꿔보는 것

 

쿠팡 로고에는 어떤 비전이 숨겨져 있을까?

 

구글과 마소와 쿠팡의 로고

 

빠르게 학습하는 개발자가 되는 방법