Docker2 [제조 AI] 2-2) 로컬 AI 인프라 구축 - (실습)제조업 AI 실제 개발환경 구축 홈 / AI활용 / 제조AI / 2-2) 로컬 AI 인프라 구축 - (실습)제조업 AI 실제 개발환경 구축AI 개발환경 완전 구축 실습 가이드 - 개발용 하드웨어 기준 실제 설치부터 검증까지앞서 '2-1) 로컬 AI 인프라 구축 - 하드웨어에서 개발환경 구축까지' 편에서 다룬 하드웨어 구성 이론을 바탕으로, 이제 실제 개발용 시스템에서 AI 개발환경을 구축해보겠습니다. 우리가 선택한 개발용 구성은 RTX 4090 24GB 듀얼 GPU, AMD Threadripper PRO 5975WX CPU, 128GB ECC 메모리로 구성된 시스템입니다. 이 하드웨어는 GPT-2 규모의 모델 훈련이 가능하고, 실시간 추론 서비스에서 100명 이상의 동시 사용자를 지원할 수 있는 성능을 제공합니다. 단순히 이론.. 2025. 8. 18. [로컬AI] Ollama모델의 Q4 양자화 모델 설치 및 실행 홈 > AI활용 > 로컬AI > Q4양자화 > Ollama모델의 Q4 양자화 실행하기관련글 먼저 읽어보기 : 2025.07.22 - [AI 활용] - [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 로컬AI를 구축하기 위해 제일 먼저 GPU서버의 마련과 관련된 부담감을 안고 시작하게 됩니다. 우리가 사용하는 일반적인 PC를 사용해서 간단하게 구축하는 일반적인 프로젝트와는 부담감의 차이가 있을 수 밖에 없습니다. 글로벌 AI전문 기업이면서 일반인들이 쉽게 접할 수 잇는 생성형 AI인 ChatGPT, Gemini, Claude등은 GPU가 수백만장씩 사용되고 여기서 발생되는 전기료, 발열과 관련된 이슈를 기사로 접하다 보면 저걸 우리가 할 수 있나 하면서 조기에 포기하는 현상들이 있을 수 밖에 없습.. 2025. 7. 31. 이전 1 다음
