제조업ai4 [제조 AI] 2-2) 로컬 AI 인프라 구축 - (실습)제조업 AI 실제 개발환경 구축 홈 / AI활용 / 제조AI / 2-2) 로컬 AI 인프라 구축 - (실습)제조업 AI 실제 개발환경 구축AI 개발환경 완전 구축 실습 가이드 - 개발용 하드웨어 기준 실제 설치부터 검증까지앞서 '2-1) 로컬 AI 인프라 구축 - 하드웨어에서 개발환경 구축까지' 편에서 다룬 하드웨어 구성 이론을 바탕으로, 이제 실제 개발용 시스템에서 AI 개발환경을 구축해보겠습니다. 우리가 선택한 개발용 구성은 RTX 4090 24GB 듀얼 GPU, AMD Threadripper PRO 5975WX CPU, 128GB ECC 메모리로 구성된 시스템입니다. 이 하드웨어는 GPT-2 규모의 모델 훈련이 가능하고, 실시간 추론 서비스에서 100명 이상의 동시 사용자를 지원할 수 있는 성능을 제공합니다. 단순히 이론.. 2025. 8. 18. [제조 AI] 2-1) 로컬 AI 인프라 구축 - 하드웨어부터 개발환경까지 홈 / AI활용 / 로컬AI / 로컬 AI 인프라 구축 - 하드웨어부터 개발환경까지AI 모델 개발과 운영에서 가장 중요한 기반이 되는 것은 바로 인프라입니다. 클라우드 서비스가 편리하다고 하지만, 지속적인 AI 개발을 위해서는 자체 인프라 구축이 필수적입니다.특히 데이터 보안이 중요한 기업 환경이나 장기적인 비용 절감을 고려한다면 로컬 AI 인프라는 선택이 아닌 필수가 되었습니다. 클라우드 AI 서비스는 초기 진입 장벽은 낮지만, 지속적으로 사용할 경우 월 수백만원의 비용이 발생할 수 있으며, 데이터 전송 비용과 보안 제약도 무시할 수 없는 요소입니다.이번 글에서는 AI 워크로드의 특성을 이해하고, 하드웨어 선정부터 완전한 개발환경 구축까지의 전 과정을 단계별로 살펴보겠습니다. [ 차례 ]1... 2025. 8. 15. [제조 AI] 01) 제조업을 위한 로컬 AI 도입계획 홈 / AI활용 / 로컬AI / 제조업 로컬 AI 구축 완벽 가이드 중소 제조기업의 로컬AI 도입을 위한 로컬AI 생태계 이해 및 구체적인 도입계획 수립을 진행해보려고 합니다. 4차 산업혁명의 핵심 동력인 AI가 제조업 현장을 빠르게 변화시키고 있습니다. 하지만 많은 제조기업들이 클라우드 기반 AI 솔루션의 한계를 경험하며, 보다 실질적이고 현실적인 대안을 찾고 있습니다. 특히 데이터 보안, 실시간 처리, 비용 효율성 측면에서 클라우드 AI만으로는 해결하기 어려운 제약사항들이 있습니다. 이러한 문제를 해결할 수 있는 대안이 바로 로컬 AI입니다. 로컬 AI는 제조 현장 내부에서 직접 AI 모델을 구동하는 방식으로, 클라우드에 의존하지 않고도 인공지능의 이점을 누릴 수 있는 혁신적인 접근법입니다.. 2025. 8. 4. [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 홈 > AI활용 > 로컬AI 구축 > Q4 양자화의 의미와 원리 완전 가이드로컬AI를 구축할 때 초기의 파일럿 프로젝트는 많은 비용을 사용할 수 없습니다. 소프트웨어 개발이야 어차피 투입되는 인력부분이고, 하드웨어는 투자의 개념이 많이 들어갑니다. 양자화는 조금은 더 가벼운 컴퓨터에서 좀 더 무거운 모델을 시험해보고 싶은 욕망에서 시작됩니다. 양자화는 기본적으로 저장되는 학습 데이터에 대한 압축기술입니다. 이러한 압출기술을 이용해서 VRAM등의 메모리 사용량을 줄이며, 처리속도 또한 개선하기 위한 접근입니다.1. 양자화(Quantization)의 기본 개념1.1 양자화란 무엇인가?양자화의 정의와 목적기본 원리고정밀도 숫자를 저정밀도 숫자로 변환하는 압축 기법입니다. 32비트 부동소수점(FP32)으.. 2025. 7. 30. 이전 1 다음
