TIL #2312

기술 블로그 읽어보고 키워드도 적어보고 기술적인 글과 친해지기

 

---

TIL #231214

 

MLOps 란?

 

💬키워드

 

• Flask API
• 데이터 드리프트
• 데이터 버전 관리, 학습모델 파일 관리 ML모델 배포, 실험 기록
• DevOPs 방법론
• AWS(Sagemaker)/GCP(VertexAI)/Azure(Azure machine learning studio)/kubeflow(k8s)
• 버저닝: 여러 버전(version)으로 작성하는 것. 버전 관리 
• 아티팩트(artifact)

 

Text Generation Inference(TGI)를 활용한 프로덕션 레벨 LLM 추론 가속화

 

💬키워드

 

• Tensor Parallelism, MegaTron-LM
• 양자화(Quantization): 실수형 변수를 정수형 변수로 변환하는 것
• 오버헤드(overhead): 어떤 처리를 하기 위해 들어가는 간접적인 처리 시간 · 메모리 등
• Hugging Face: 딥러닝, 자연어 공유 플랫폼 📌
• bitsandbytes 양자화 라이브러리
• GPTQ
• Flash Attention

---

TIL #231226

 

테크니컬 라이팅을 위한 AI 어시스턴트 구축하기 (Feat. ReAct, Agents for Amazon Bedrock)

 

💬키워드

 

• Primpt Engineering
• RAG
• Fine-Tuning
• 테크니컬 라이팅
• CoT: 문제+풀이+답 형식
• 환각현상
• ReAct(Reason + Act) 프레임워크: CoT 보완. Google DeepMind 팀 주도 개발. 질문-사고-행동-관찰
• LangChain의 Agent
• Agents for Amazon Bedrock
• 오케스트레이션
• Claude 2 모델/Claude Instant 모델
• Lambda/BeautifulSoup
• 서버리스/멱등성

 

MLOps - WorkFlow1: MLFlow

 

💬키워드

 

• MLFlow: 오픈소스 플랫폼
• 주요 컴포넌트: Tracking, Projects, Models, Model Registry
• Tracking: 지표 시각화 가능
• import mlflow
• mlflow/bentoml

 

일반신경망_분류

 

💬키워드

 

• Neural Network 직접 구현
• sudo 코드
• hidden 레이어 하이퍼볼릭탄젠트 활성화 함수
• 출력 레이어 시그모이드 활성화 함수
• cost
• 역전파(gradient descent): 각 단계에서 편미분한 값

 

 

 

 

 

 

---

더 보고 싶은 컨텐츠

https://www.promptingguide.ai/kr/techniques/rag

https://python.langchain.com/docs/modules/agents/

https://blog.research.google/2022/11/react-synergizing-reasoning-and-acting.html