추론속도향상1 [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 홈 > AI코딩 > 로컬AI 구축 > Q4 양자화의 의미와 원리 완전 가이드로컬AI를 구축할 때 초기의 파일럿 프로젝트는 많은 비용을 사용할 수 없습니다. 소프트웨어 개발이야 어차피 투입되는 인력부분이고, 하드웨어는 투자의 개념이 많이 들어갑니다. 양자화는 조금은 더 가벼운 컴퓨터에서 좀 더 무거운 모델을 시험해보고 싶은 욕망에서 시작됩니다. 양자화는 기본적으로 저장되는 학습 데이터에 대한 압축기술입니다. 이러한 압출기술을 이용해서 VRAM등의 메모리 사용량을 줄이며, 처리속도 또한 개선하기 위한 접근입니다.1. 양자화(Quantization)의 기본 개념1.1 양자화란 무엇인가?양자화의 정의와 목적기본 원리고정밀도 숫자를 저정밀도 숫자로 변환하는 압축 기법입니다. 32비트 부동소수점(FP32)으.. 2025. 7. 30. 이전 1 다음
