로컬 AI 중급: 서빙, 파인튜닝, 음성과 이미지
로컬 AI 중급은 내 컴퓨터에 올린 모델을 API로 다른 프로그램과 잇고 원격에서 쓰며, 파인튜닝과 음성, 이미지 생성까지 넓히는 방법을 정리한 코스입니다. 모델을 설치하고 대화해 보는 단계를 넘어, 로컬 모델을 다른 도구와 엮어 실제 작업에 쓰려는 분을 위해 만들었습니다.
로컬 AI가 무엇이고 어떤 기기에서 어느 크기의 모델이 돌아가는지는 1차 코스 로컬 AI 시작하기 입문에서 다뤘고, 이 코스는 입문 코스의 내용을 반복하지 않고 링크로 잇습니다. 도구 버전과 기본값은 2026년 10월 3일 공식 문서 기준이라, 올라마나 컴피UI를 업데이트한 뒤에는 달라진 부분이 있을 수 있습니다.
작은 입력부터 시작합니다
터미널과 텍스트 편집기를 준비합니다. 실제 실행은 로컬 모델 하나가 이미 동작하는 환경에서 시작하고, 아직 없다면 입문 코스의 설치 조건부터 확인합니다. 모든 모델과 도구를 한꺼번에 설치할 필요는 없습니다.
- 올라마와 llama.cpp의 API 연결 부분을 보고 같은 컴퓨터의 모델에 가상 회의 메모를 보내 날짜, 장소와 시간 미정이 유지되는지 봅니다.
- 원격 접속으로 집 컴퓨터의 로컬 AI 쓰기에서 Tailscale과 SSH로 접속하고, 연결을 끊었다가 같은 tmux 세션으로 돌아오는지 확인합니다.
- 파인튜닝 기초와 LoRA에서 학습 전에 가상 정답 두 개를 먼저 고쳐 봅니다.
RAG는 질문과 관련된 원문을 찾아 모델 입력에 넣는 방법입니다. 모델이 내 자료를 몰라서 생기는 문제인지, 답의 형식과 어투가 문제인지는 파인튜닝 편의 RAG 비교표에서 먼저 구분합니다. 음성은 본인 녹음과 전사문 대조부터 시작합니다. 이미지 생성은 로컬 워크플로에서 컵 한 장의 색을 바꿔 비교합니다.
📚 다루는 개념 2가지
- 모델에 내 방식 더하기: 파인튜닝 기초와 LoRA(RAG와 고르는 기준 포함)
- 글 밖으로 넓히기: 로컬 음성 합성과 목소리 학습
모델을 다른 도구와 잇고, 밖에서 접속하고, 이미지를 만드는 방법은 로컬 AI 시작하기 입문 코스의 올라마와 llama.cpp(다른 프로그램에 연결하는 API 포함), 원격 접속으로 집 컴퓨터의 로컬 AI 쓰기(SSH 터널과 접근 정책 포함), 컴피UI 이해하기에서 함께 읽습니다. 내 문서를 찾아 답하게 하는 로컬 RAG 구성은 RAG에서, 모델의 처리 속도와 메모리 사용량을 측정하는 방법은 로컬 AI 하드웨어 기초에서 다룹니다.
올라마 편의 API 연결을 먼저 읽으면 나머지 편에서 나오는 주소와 설정이 쉬워지고, 밖에서 쓸 계획이라면 원격 접속 편의 접근 정책 부분을 함께 읽는 편이 좋습니다.
완료 여부는 원문과 결과로 확인합니다
실행 성공 메시지만 보지 말고 입력과 결과를 나란히 놓습니다. 회의 시간 미정을 AI가 오후 2시로 바꾸었다면 틀린 결과입니다.
오류를 고친 뒤 같은 입력으로 다시 확인하고, 날짜나 장소 하나만 바꾼 새 입력으로 반복합니다. 사용한 모델과 설정, 고친 항목과 남은 오류를 기록하면 그 편의 연습을 마친 것입니다. 모델 학습과 기기 구매는 작은 연습의 결과를 확인한 다음 필요성을 판단합니다.
❓ 자주 묻는 질문
어느 정도 기기가 있어야 따라 할 수 있나요?
API 연결과 원격 접속은 API를 지원하는 작은 모델로 시작할 수 있습니다. 모델이 작아도 도구 호출이나 한국어 응답이 충분한지는 별도로 확인합니다. 파인튜닝과 음성 미세조정, 큰 이미지 모델은 메모리를 많이 써서, 각 편에 공식 요구 조건과 기존 블로그의 실측 사례를 구분해 적었습니다.
코드를 몰라도 되나요?
명령의 모델 이름과 파일 경로를 실제 환경에 맞게 바꾸는 과정은 필요합니다. 설정과 코드는 새 연습 폴더에서 시작하고 기존 파일을 예제로 덮어쓰지 않습니다. 코드가 부담스럽다면 로그 계산과 정답 대조부터 진행할 수 있습니다.
클라우드 AI 대신 로컬 AI만 쓰면 되나요?
용도에 따라 나눠 쓰는 편이 현실적입니다. 로컬 모델도 작업에 필요한 도구 호출과 정확성을 확인해야 합니다. 로컬 앱에 외부 API나 웹 검색이 연결되어 있다면 데이터가 외부로 전송될 수 있습니다. 그래서 모델이 어디서 실행되는지만 보고 판단하지 않습니다.
🔗 함께 보는 코스
- 로컬 AI 시작하기 입문: 로컬 AI의 뜻, 하드웨어, 모델 크기, 양자화, 올라마와 컴피UI 기초를 다룹니다
- 코딩 에이전트 입문: 클로드 코드, 코덱스 CLI 같은 코딩 에이전트와 권한 설정을 다룹니다
- AI 에이전트 중급: 원리와 설계: RAG와 에이전트 루프 같은 원리를 도구와 관계없이 다룹니다
세 줄로 먼저 읽기
- 이미 설치된 작은 로컬 모델에서 시작하고 실행 주소와 실제 입력 및 결과를 확인합니다.
- RAG와 파인튜닝, 음성 복제와 미세조정을 구분하며 원문 대조와 짧은 비교로 필요한 방법을 고릅니다.
- 정답 여부와 사용한 모델 및 설정을 함께 기록하고 원격 접속은 접근 정책과 방화벽을 확인한 뒤 엽니다.
파인튜닝 기초와 LoRA (데이터 준비, 언제 필요한지)
파인튜닝은 이미 학습된 모델에 예시를 더 학습시켜 특정 작업의 응답을 개선하는 과정입니다. LoRA는 기본 가중치를 고정하고 선택한 부분에 작은 행렬 쌍을 추가해 학습하는 방법이며, 형식과 정확성을 보장하지는 않습니다.
로컬 음성 합성과 목소리 학습 (Qwen3-TTS, 동의와 표시)
로컬 음성 합성은 글을 읽는 TTS 모델을 내 컴퓨터에서 실행하는 것입니다. 참조 녹음으로 목소리를 흉내 내는 제로샷 복제와 녹음 자료로 모델을 추가 학습하는 미세조정을 구분합니다.