AI모델3 [로컬AI] Ollama모델의 Q4 양자화 모델 설치 및 실행 홈 > AI활용 > 로컬AI > Q4양자화 > Ollama모델의 Q4 양자화 실행하기관련글 먼저 읽어보기 : 2025.07.22 - [AI 활용] - [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 로컬AI를 구축하기 위해 제일 먼저 GPU서버의 마련과 관련된 부담감을 안고 시작하게 됩니다. 우리가 사용하는 일반적인 PC를 사용해서 간단하게 구축하는 일반적인 프로젝트와는 부담감의 차이가 있을 수 밖에 없습니다. 글로벌 AI전문 기업이면서 일반인들이 쉽게 접할 수 잇는 생성형 AI인 ChatGPT, Gemini, Claude등은 GPU가 수백만장씩 사용되고 여기서 발생되는 전기료, 발열과 관련된 이슈를 기사로 접하다 보면 저걸 우리가 할 수 있나 하면서 조기에 포기하는 현상들이 있을 수 밖에 없습.. 2025. 7. 31. [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 홈 > AI활용 > 로컬AI 구축 > Q4 양자화의 의미와 원리 완전 가이드로컬AI를 구축할 때 초기의 파일럿 프로젝트는 많은 비용을 사용할 수 없습니다. 소프트웨어 개발이야 어차피 투입되는 인력부분이고, 하드웨어는 투자의 개념이 많이 들어갑니다. 양자화는 조금은 더 가벼운 컴퓨터에서 좀 더 무거운 모델을 시험해보고 싶은 욕망에서 시작됩니다. 양자화는 기본적으로 저장되는 학습 데이터에 대한 압축기술입니다. 이러한 압출기술을 이용해서 VRAM등의 메모리 사용량을 줄이며, 처리속도 또한 개선하기 위한 접근입니다.1. 양자화(Quantization)의 기본 개념1.1 양자화란 무엇인가?양자화의 정의와 목적기본 원리고정밀도 숫자를 저정밀도 숫자로 변환하는 압축 기법입니다. 32비트 부동소수점(FP32)으.. 2025. 7. 30. CNC 제조업 특화 AI 모델 선정 가이드 홈 > AI활용 > 제조업 로컬AI 구축 중소기업의 로컬AI를 구축할 때는 제조업종에 따라 특화된 모델이나 학습 패턴이 달라져야 해당 제조 데이터에 최적화된 인공지능 서비스를 구축할 수 있습니다.MCT, CNC등의 가공설비를 이용하여 부품을 가공하는 대부분의 자동차 관련 제조업체는 잦은 공구 마모 및 수명과 관련된 불량문제를 겪게되며, 불량을 사전에 예측하지 못하면 잘못된 공구사용으로 인한 대량의 불량 제품이 생산될 문제점을 가지고 있습니다. 이러한 가공설비 기반의 중소기업은 공구 설비로 부터 수집된 가공 데이터를 활용한 로컬AI 구축을 통하여 예방점검 또는 공구 마모 예측 시스템 구축에 대한 꾸준한 현장 요구사항이 나타나고 있습니다.1. 모델 선정 기준 및 평가 지표1.1 제조업 특화 평가 기준기술.. 2025. 7. 29. 이전 1 다음
