ollama4 [제조 AI] 3) Ollama를 활용한 로컬 LLM 구축 홈 / AI활용 / 제조 AI / 3) Ollama를 활용한 로컬 LLM 구축제조업의 AI 혁신, 로컬 LLM이 답이다현대 제조업은 디지털 전환의 핵심 기로에 서 있습니다. 특히 대규모 언어모델(LLM)의 등장으로 생산성 향상, 품질관리 자동화, 기술 문서 관리 등 다양한 영역에서 혁신적인 변화가 일어나고 있습니다. 하지만 많은 제조기업들이 데이터 보안과 비용 문제로 인해 클라우드 기반 AI 서비스 도입을 망설이고 있는 것도 사실입니다. 이러한 고민을 해결할 수 있는 해답이 바로 로컬 LLM 환경 구축입니다. 로컬 LLM은 외부 서버에 의존하지 않고 자사 시설 내에서 직접 운영하는 언어모델을 의미합니다.이를 통해 민감한 제조 데이터를 외부로 전송하지 않으면서도 AI의 강력한 기능을 활용할 수 .. 2025. 8. 25. [로컬AI] Ollama모델의 Q4 양자화 모델 설치 및 실행 홈 > AI활용 > 로컬AI > Q4양자화 > Ollama모델의 Q4 양자화 실행하기관련글 먼저 읽어보기 : 2025.07.22 - [AI 활용] - [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 로컬AI를 구축하기 위해 제일 먼저 GPU서버의 마련과 관련된 부담감을 안고 시작하게 됩니다. 우리가 사용하는 일반적인 PC를 사용해서 간단하게 구축하는 일반적인 프로젝트와는 부담감의 차이가 있을 수 밖에 없습니다. 글로벌 AI전문 기업이면서 일반인들이 쉽게 접할 수 잇는 생성형 AI인 ChatGPT, Gemini, Claude등은 GPU가 수백만장씩 사용되고 여기서 발생되는 전기료, 발열과 관련된 이슈를 기사로 접하다 보면 저걸 우리가 할 수 있나 하면서 조기에 포기하는 현상들이 있을 수 밖에 없습.. 2025. 7. 31. 제조업 특화 로컬 LLM 도구 TOP 5 홈 / AI활용 / 로컬AI / 제조업 특화 로컬 LLM 도구 TOP 5 저는 아직도 중소 제조기업에 가장 적합한 로컬AI용 LLM모델이 어떤것일까? 를 계속 시험하고 있고, 아직도 정답을 모르겠습니다. 다양한 형태의 중소기업과 중소기업이 보유한 복잡하고 난해하고, 표준화 되지 않은 생산데이터를 어떻게 하면 가장 적은 비용과 시간안에 AI를 구축하고, 비 전문가인 현장에서 사용될 수 있을 정도의 로컬AI 구축용 LLM모델을 찾는것은 성공으로 가장 빠르게 접근 할 수 있는 방법입니다. 저는 Ollama 플랫폼 기반의 로컬LLM 모델을 이용한 학습과 시험을 진행하는 것을 선호합니다. 그래도 결과가 잘 나오지 않을 때는 다른 LLM도구들에 눈을 돌려 사용해보고 비교해 보기도 합니다. 그래서 개발자 여러분들도 .. 2025. 7. 26. [AI코딩.07] 로컬 AI 모델 - Ollama와 Code Llama 활용법 AI코딩 활용을 위한 개발자 가이드 들어가며지금까지 ChatGPT, Claude, GitHub Copilot과 같은 클라우드 기반 AI 도구들을 활용한 개발 방법을 살펴보았습니다. 이러한 도구들은 분명히 강력하고 편리하지만, 때로는 인터넷 연결이 필요하거나 개인정보 보안에 대한 우려, 그리고 API 비용 등의 제약이 있을 수 있습니다. 이번 편에서는 이러한 한계를 극복할 수 있는 로컬 AI 모델의 세계를 탐험해보겠습니다. 특히 Ollama와 Code Llama를 중심으로 로컬 환경에서 AI 모델을 설치하고 활용하는 방법을 상세히 알아보겠습니다. 로컬 AI 모델은 여러분의 컴퓨터에서 직접 실행되는 인공지능 모델을 의미합니다. 이는 마치 여러분의 컴퓨터에 전문 프로그래머를 고용하는 것과 같아서, 인터넷 없이.. 2025. 7. 16. 이전 1 다음
