로컬 AI 시작하기 입문
로컬 AI 시작하기 입문은 모델 파일을 내 컴퓨터에서 실행하는 데 필요한 지식을 순서대로 정리한 코스입니다. 계약서나 고객 자료를 클라우드에 보내기 어려운 분, 토큰 요금 없이 반복 작업을 돌리고 싶은 분, 그리고 DGX 스파크나 맥 스튜디오 같은 장비를 살지 고민 중인 분을 위해 만들었습니다.
사양표의 메모리 용량과 실제 모델 실행 조건은 다릅니다. 모델 파일 외에 입력을 처리하는 캐시와 계산용 공간이 필요하고, 일부를 CPU로 처리하면 실행은 되어도 오래 걸릴 수 있습니다. 이 코스에서는 용어를 이해한 뒤 지금 가진 장비의 조건과 실제 결과를 비교합니다.
처음에는 목적 한 가지와 가상 메모로 시작합니다
메모장에 “교육 메모에서 날짜와 장소 찾기”처럼 작은 목적 하나를 적습니다. 실제 고객 자료를 쓰기 전에 “교육은 10월 12일, 회의실 2에서 진행하며 시간은 미정”이라는 가상 입력을 준비합니다.
- 로컬 AI 뜻과 라이선스에서 실행 위치와 이용 조건을 구분합니다.
- 하드웨어와 모델 크기에서 현재 기기의 메모리와 저장 공간 및 지원 도구를 확인합니다.
- Ollama와 llama.cpp에서 이미 설치된 작은 로컬 모델이 있다면 위 메모와 함께 “원문에 있는 날짜, 장소와 시간만 항목별로 적고 미정인 것은 미정으로 남겨 주세요”라고 입력합니다. 정답은 날짜 10월 12일, 장소 회의실 2, 시간 미정입니다.
양자화는 모델의 수치를 더 적은 비트로 표현하는 방법으로 해당 편에서 배웁니다. 아직 실행 환경이 없다면 모델 이름과 양자화, 필요한 파일 및 현재 장비의 지원 여부를 비교표로 정리하는 단계부터 시작합니다. 8B나 27B라는 숫자를 모든 기기의 첫 설치 기준으로 삼지 않습니다.
정답이 맞으면 회의실 2를 회의실 3으로 바꿔 새 대화에서 반복합니다. 틀리면 입력과 출력 및 고친 조건을 기록하고 같은 입력으로 다시 확인합니다. 창이 열렸다는 사실과 필요한 업무를 수행한다는 사실을 구분하는 연습입니다.
📚 다루는 개념 12가지
- 개념과 조건: 로컬 AI 뜻, 오픈 웨이트와 오픈 소스 차이
- 하드웨어: VRAM과 통합 메모리와 대역폭, DGX 스파크, RTX 스파크, 맥에서 로컬 AI
- 모델과 도구: 양자화와 GGUF, 올라마와 llama.cpp, 큐원 모델 패밀리, 모델 크기 고르기
- 활용: 원격 접속으로 집 컴퓨터의 AI 쓰기, 컴피UI 이해하기
처음부터 장비 비교와 원격 접속 및 이미지 생성까지 모두 실행할 필요는 없습니다. 장비 편은 구매 조건을 비교할 때, 원격 접속은 내 컴퓨터에서 첫 결과를 확인한 뒤, ComfyUI는 이미지 작업이 필요할 때 이어서 봅니다. 가격과 출시 및 도구 지원은 각 편의 확인일과 현재 자료를 함께 확인합니다.
❓ 자주 묻는 질문
그래픽카드가 없는데 시작할 수 있나요?
CPU로 실행할 수 있는 도구와 모델도 있습니다. 응답이 느릴 수 있으므로 작은 모델과 짧은 입력에서 시작하고 실제 대기 시간을 확인합니다. Apple Silicon Mac은 통합 GPU를 사용할 수 있지만 모델과 실행 도구의 지원 및 메모리 여유를 확인해야 합니다. 별도 그래픽카드가 없다는 이유만으로 새 장비부터 구매할 필요는 없습니다.
장비를 먼저 사야 하나요?
현재 장비의 조건과 원하는 작업부터 확인합니다. 지원되는 작은 모델로 정답 여부와 전체 처리 시간, 오류를 기록하면 부족한 조건을 구체적으로 알 수 있습니다. 로컬 장비와 API 비용은 사용량뿐 아니라 데이터 전송 조건과 관리 비용을 같은 기간으로 비교합니다.
로컬이면 고객 자료를 바로 넣어도 되나요?
모델이 로컬에서 실행되어도 연결한 검색, 플러그인과 외부 API가 데이터를 전송할 수 있습니다. 도구의 구성과 자료 취급 권한을 확인하고 첫 연습에는 가상 자료를 사용합니다. 로컬이라는 이름만으로 개인정보 보호가 보장되지는 않습니다.
글을 읽으면 모든 장비에서 실행할 수 있나요?
이 코스는 지원 조건을 확인하고 작은 결과를 검증하는 방법을 다룹니다. 모든 장비와 모델의 조합을 보장하지 않습니다. 특정 기기의 과거 측정은 그 조건의 기록으로 보고 현재 도구와 모델에서 다시 확인합니다.
🔗 함께 보는 코스
- 비개발자도 쉽게 배우는 디지털 환경 기초 지식: API와 웹 환경의 기본 개념을 다룹니다
- 비개발자를 위한 Claude Code: 로컬 모델을 연결할 수 있는 코딩 도구와 MCP를 다룹니다
- 클로드(Claude) 기초 교육: 컨텍스트 윈도우처럼 로컬과 클라우드에 공통으로 적용되는 모델 개념을 다룹니다
세 줄로 먼저 읽기
이번 방문에서 한 편은 바로 볼 수 있습니다.
로컬 AI 뜻과 클라우드 AI와 다른 점
로컬 AI는 내 컴퓨터에서 모델을 실행해 답을 만드는 방식입니다. 클라우드 AI는 원격 서버에서 모델을 실행합니다. 설치형 앱도 클라우드 모델을 쓸 수 있으므로 실제 실행 위치를 확인해야 합니다.
오픈 웨이트와 오픈 소스 차이, 라이선스 확인법
오픈 웨이트는 학습된 가중치를 제공한다는 뜻이며 공개된 코드와 자료의 범위는 모델마다 다릅니다. OSI의 오픈 소스 AI 정의는 이용과 수정 및 공유의 자유와 함께 데이터 정보, 학습 및 실행 코드와 파라미터를 요구합니다.
로컬 AI 하드웨어 기초, VRAM과 통합 메모리와 대역폭
로컬 AI를 실행하려면 모델과 도구의 호환성, 사용할 수 있는 메모리와 연산 자원을 함께 확인합니다. 메모리 용량은 담을 수 있는 양, 대역폭은 옮기는 속도이며 둘 다 실제 처리 성능에 영향을 줍니다.
DGX 스파크(DGX Spark) 이해하기, 무엇이고 누구에게 맞는지
DGX 스파크는 NVIDIA GB10 칩과 통합 메모리를 사용하는 소형 AI 개발용 컴퓨터입니다. 로컬 모델을 실행하거나 조정할 때 검토할 수 있으며, 실제 모델과 소프트웨어의 지원 및 메모리와 처리 시간을 확인해야 합니다.
RTX 스파크(RTX Spark) 이해하기, 사양과 실제 사용 조건
RTX 스파크는 NVIDIA가 발표한 Windows PC용 칩과 이를 사용하는 제품군입니다. Arm CPU와 Blackwell RTX GPU가 통합 메모리를 사용하며, 구매 판단에는 제품별 구성과 사용할 AI 도구의 지원 및 실제 실행 결과를 확인해야 합니다.
맥에서 로컬 AI 돌리기, 애플 실리콘 메모리와 되는 모델 크기
애플 실리콘 맥은 CPU와 GPU가 통합 메모리를 함께 씁니다. 지원되는 도구와 모델로 로컬 AI를 실행할 수 있으며 모델 파일뿐 아니라 작업 공간과 다른 앱의 메모리 사용량도 확인합니다.
양자화(Quantization) 뜻과 GGUF, 4비트가 뜻하는 것
양자화는 숫자를 더 적은 비트로 표현하는 방법입니다. 이 글에서는 모델 가중치를 양자화해 저장량을 줄이는 경우를 다루며, 파일 크기와 실제 실행 메모리 및 답의 정확성은 따로 확인합니다.
올라마(Ollama)와 llama.cpp, 로컬 모델을 실행하는 도구
llama.cpp는 지원되는 모델을 CPU나 GPU에서 실행하는 도구이고, Ollama는 모델 관리와 대화 및 API 연결을 제공하는 프로그램입니다. 실행 엔진과 지원 형식은 모델과 버전에 따라 확인합니다.
큐원(Qwen) 모델 패밀리 구분, 3.8과 Max와 Flash와 이미지와 TTS
큐원(Qwen)은 언어와 이미지 및 음성 등 여러 AI 모델 계열의 이름입니다. 같은 브랜드라도 할 수 있는 일, 다운로드 가능 여부와 실행 조건 및 라이선스가 다르므로 정확한 모델과 버전을 확인합니다.
로컬 모델 크기 고르기, 8B와 27B와 70B가 뜻하는 것
모델 이름의 B는 파라미터 10억 개 단위입니다. 파라미터 수로 가중치 저장량을 어림한 뒤 도구 호환성, 추가 메모리와 실제 업무의 정확성 및 처리 시간을 확인해 모델을 고릅니다.
원격 접속으로 집 컴퓨터의 로컬 AI 쓰기, SSH와 테일스케일
집 컴퓨터의 로컬 AI를 원격으로 쓰려면 실행할 컴퓨터와 접속할 기기를 연결하고 접근 권한을 확인합니다. 이 글은 Tailscale로 기기를 연결하고 SSH로 Mac에 접속한 뒤 필요하면 tmux로 터미널 작업을 이어가는 예제를 설명합니다.
컴피UI(ComfyUI) 이해하기, 노드로 잇는 이미지 생성
컴피UI(ComfyUI)는 모델과 처리 단계를 노드라는 상자로 연결해 이미지 등을 만드는 오픈소스 도구입니다. 처음에는 기본 이미지 생성 예제에서 문장 입력, 모델 선택과 결과 저장을 익힙니다.