로컬ai17 [로컬AI] 중소 제조기업의 로컬AI를 위한 하드웨어 구축 가이드 홈 > AI활용 > 로컬AI구축 > 중소 제조기업의 로컬 AI를 위한 하드웨어 구축가이드현재 제조업계는 디지털 전환의 물결 속에서 생존을 위한 변화를 요구받고 있습니다.특히 중소 제조기업들은 대기업과의 경쟁에서 살아남기 위해 스마트 팩토리와 AI 기술 도입이 필수가 되었습니다. 정부에서는 스마트 제조혁실 지원사업을 수 년간 지속하면서, 중소기업의 디지털 트랜스포메이션을 지원하고 있지만, 뜻 하는 대로 쉽게 실질적인 성공적인 구축이라고 말하기 어려운 경우가 많습니다.클라우드 기반 AI 서비스는 비용 부담과 데이터 보안 문제로 인해 중소기업에게는 부담스러운 선택지입니다. 이러한 상황에서 로컬 AI 시스템 구축은 중소 제조기업이 자체적으로 AI의 혜택을 누릴 수 있는 현실적인 대안이 됩니다.로컬 AI 시스템의.. 2025. 8. 2. [로컬AI] Ollama모델의 Q4 양자화 모델 설치 및 실행 홈 > AI활용 > 로컬AI > Q4양자화 > Ollama모델의 Q4 양자화 실행하기관련글 먼저 읽어보기 : 2025.07.22 - [AI 활용] - [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 로컬AI를 구축하기 위해 제일 먼저 GPU서버의 마련과 관련된 부담감을 안고 시작하게 됩니다. 우리가 사용하는 일반적인 PC를 사용해서 간단하게 구축하는 일반적인 프로젝트와는 부담감의 차이가 있을 수 밖에 없습니다. 글로벌 AI전문 기업이면서 일반인들이 쉽게 접할 수 잇는 생성형 AI인 ChatGPT, Gemini, Claude등은 GPU가 수백만장씩 사용되고 여기서 발생되는 전기료, 발열과 관련된 이슈를 기사로 접하다 보면 저걸 우리가 할 수 있나 하면서 조기에 포기하는 현상들이 있을 수 밖에 없습.. 2025. 7. 31. [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 홈 > AI코딩 > 로컬AI 구축 > Q4 양자화의 의미와 원리 완전 가이드로컬AI를 구축할 때 초기의 파일럿 프로젝트는 많은 비용을 사용할 수 없습니다. 소프트웨어 개발이야 어차피 투입되는 인력부분이고, 하드웨어는 투자의 개념이 많이 들어갑니다. 양자화는 조금은 더 가벼운 컴퓨터에서 좀 더 무거운 모델을 시험해보고 싶은 욕망에서 시작됩니다. 양자화는 기본적으로 저장되는 학습 데이터에 대한 압축기술입니다. 이러한 압출기술을 이용해서 VRAM등의 메모리 사용량을 줄이며, 처리속도 또한 개선하기 위한 접근입니다.1. 양자화(Quantization)의 기본 개념1.1 양자화란 무엇인가?양자화의 정의와 목적기본 원리고정밀도 숫자를 저정밀도 숫자로 변환하는 압축 기법입니다. 32비트 부동소수점(FP32)으.. 2025. 7. 30. CNC 제조업 특화 AI 모델 선정 가이드 홈 > AI활용 > 제조업 로컬AI 구축 중소기업의 로컬AI를 구축할 때는 제조업종에 따라 특화된 모델이나 학습 패턴이 달라져야 해당 제조 데이터에 최적화된 인공지능 서비스를 구축할 수 있습니다.MCT, CNC등의 가공설비를 이용하여 부품을 가공하는 대부분의 자동차 관련 제조업체는 잦은 공구 마모 및 수명과 관련된 불량문제를 겪게되며, 불량을 사전에 예측하지 못하면 잘못된 공구사용으로 인한 대량의 불량 제품이 생산될 문제점을 가지고 있습니다. 이러한 가공설비 기반의 중소기업은 공구 설비로 부터 수집된 가공 데이터를 활용한 로컬AI 구축을 통하여 예방점검 또는 공구 마모 예측 시스템 구축에 대한 꾸준한 현장 요구사항이 나타나고 있습니다.1. 모델 선정 기준 및 평가 지표1.1 제조업 특화 평가 기준기술.. 2025. 7. 29. 로컬AI 구축의 핵심 : LLM과 임베딩 모델의 협업 AI가 어떻게 똑똑해지는 걸까요? 많은 개발자들이 "AI를 만들려면 ChatGPT 같은 모델 하나만 있으면 되는 거 아닌가?"라고 생각합니다.하지만 실제로 업무에 활용할 수 있는 똑똑한 AI를 만들려면 두 개의 서로 다른 AI 모델이 팀워크를 이뤄야 합니다. 이는 마치 사람이 뇌에서 기억을 저장하는 부분(해마)과 생각하고 판단하는 부분(전두엽)이 따로 있는 것과 같습니다. AI도 마찬가지로 정보를 저장하고 찾는 역할을 하는 임베딩 모델과 그 정보를 바탕으로 똑똑한 답변을 만드는 LLM(대형 언어 모델)이 각각의 전문 역할을 담당합니다. 이 두 모델이 협력하는 이유는 각각이 서로 다른 강점을 가지고 있기 때문입니다.임베딩 모델은 마치 도서관 사서처럼 수많은 문서 중에서 질문과 관련된 정보를 빠르게 찾아내는.. 2025. 7. 28. 제조업 특화 로컬 LLM 도구 TOP 5 홈 / AI활용 / 로컬AI / 제조업 특화 로컬 LLM 도구 TOP 5 저는 아직도 중소 제조기업에 가장 적합한 로컬AI용 LLM모델이 어떤것일까? 를 계속 시험하고 있고, 아직도 정답을 모르겠습니다. 다양한 형태의 중소기업과 중소기업이 보유한 복잡하고 난해하고, 표준화 되지 않은 생산데이터를 어떻게 하면 가장 적은 비용과 시간안에 AI를 구축하고, 비 전문가인 현장에서 사용될 수 있을 정도의 로컬AI 구축용 LLM모델을 찾는것은 성공으로 가장 빠르게 접근 할 수 있는 방법입니다. 저는 Ollama 플랫폼 기반의 로컬LLM 모델을 이용한 학습과 시험을 진행하는 것을 선호합니다. 그래도 결과가 잘 나오지 않을 때는 다른 LLM도구들에 눈을 돌려 사용해보고 비교해 보기도 합니다. 그래서 개발자 여러분들도 .. 2025. 7. 26. [AI코딩.07] 로컬 AI 모델 - Ollama와 Code Llama 활용법 AI코딩 활용을 위한 개발자 가이드 들어가며지금까지 ChatGPT, Claude, GitHub Copilot과 같은 클라우드 기반 AI 도구들을 활용한 개발 방법을 살펴보았습니다. 이러한 도구들은 분명히 강력하고 편리하지만, 때로는 인터넷 연결이 필요하거나 개인정보 보안에 대한 우려, 그리고 API 비용 등의 제약이 있을 수 있습니다. 이번 편에서는 이러한 한계를 극복할 수 있는 로컬 AI 모델의 세계를 탐험해보겠습니다. 특히 Ollama와 Code Llama를 중심으로 로컬 환경에서 AI 모델을 설치하고 활용하는 방법을 상세히 알아보겠습니다. 로컬 AI 모델은 여러분의 컴퓨터에서 직접 실행되는 인공지능 모델을 의미합니다. 이는 마치 여러분의 컴퓨터에 전문 프로그래머를 고용하는 것과 같아서, 인터넷 없이.. 2025. 7. 16. [AI코딩.01] AI 코딩 도구 생태계 개요 - 개발자의 새로운 동반자 홈 / AI활용 / AI코딩 / AI코딩을 위한 개발자 가이드 시리즈 안녕하세요! 오늘부터 시작하는 'LLM 기반 AI 코딩 도구' 연재의 첫 번째 이야기입니다. 혹시 최근에 "AI가 코드를 짜준다더라"는 이야기 들어보셨나요? 실제로 사용해보면 위기김을 느낄 정도로 프로그램 코딩에 매우 전문화 되어있습니다. 예전에 어리숙한 인공지능이 아닙니다. 그래도 전문분야와 같은 인터넷 상에 소스가 덜 공개된 분야는 아직 많이 미숙합니다. 느낌상 중급정도의 개발자고 보시면 됩니다. 그래도 초기의 프로그램 구조를 설정하거나, 테스트 및 디버깅에는 이만한 효자가 업습니다. 단순한 소문이 아니라 정말로 우리 개발 현실이 되어버린 2024-2025년의 상황을 함께 살펴보겠습니다.1. 왜 지금 AI 코딩 도구인가.. 2025. 7. 1. 이전 1 2 다음
