로컬 AI 중급: 서빙, 파인튜닝, 음성과 이미지
로컬 AI 중급은 내 컴퓨터에 올린 모델을 서버로 열어 에이전트와 문서 검색에 쓰고, 파인튜닝과 음성, 이미지 생성까지 넓힌 뒤 성능과 보안을 관리하는 방법을 정리한 코스입니다. 모델을 설치하고 대화해 보는 단계를 넘어, 로컬 모델을 다른 도구와 엮어 실제 작업에 쓰려는 분을 위해 만들었습니다.
로컬 AI가 무엇이고 어떤 기기에서 어느 크기의 모델이 돌아가는지는 1차 코스 로컬 AI 시작하기 입문에서 다뤘고, 이 코스는 그 내용을 반복하지 않고 링크로 잇습니다. 도구 버전과 기본값은 2026년 10월 3일 공식 문서 기준이라, 올라마나 컴피UI를 업데이트한 뒤에는 달라진 부분이 있을 수 있습니다.
작은 입력부터 시작합니다
터미널과 텍스트 편집기를 준비합니다. 실제 실행은 로컬 모델 하나가 이미 동작하는 환경에서 시작하고, 아직 없다면 입문 코스의 설치 조건부터 확인합니다. 모든 모델과 도구를 한꺼번에 설치할 필요는 없습니다.
- 서빙 기초에서 같은 컴퓨터의 모델에 가상 회의 메모를 보내고 날짜, 장소와 시간 미정이 유지되는지 봅니다.
- 성능 측정에서 가상 로그의 나노초를 초로 바꾸고 실제 응답의 전체 시간과 생성 시간을 구분합니다.
- 보안과 백업에서 서버 주소를 읽고 가상 메모 하나를 별도 폴더로 복원합니다.
RAG는 질문과 관련된 원문을 찾아 모델 입력에 넣는 방법입니다. 이후 자료를 찾아 답해야 한다면 RAG, 파일을 다루는 작업이라면 코딩 에이전트 연결 편으로 진행합니다. 파인튜닝은 정답 자료를 먼저 고치는 연습부터, 음성은 본인 녹음과 전사문 대조부터 시작합니다. 이미지 생성은 로컬 워크플로에서 컵 한 장의 색을 바꿔 비교합니다.
📚 다루는 개념 8가지
- 모델을 도구와 잇기: 로컬 모델 서빙 기초, 코딩 에이전트와 로컬 모델 연결
- 모델에 내 자료와 방식 더하기: 로컬 RAG 구성, 파인튜닝 기초와 LoRA
- 글 밖으로 넓히기: 로컬 음성 합성과 목소리 학습, 컴피UI로 로컬 이미지 생성
- 운영하기: 성능 측정과 모니터링, 보안과 백업
서빙 편을 먼저 읽으면 나머지 편에서 나오는 주소와 설정이 쉬워지고, 원격으로 쓸 계획이라면 보안 편을 함께 읽는 편이 좋습니다.
완료 여부는 원문과 결과로 확인합니다
실행 성공 메시지만 보지 말고 입력과 결과를 나란히 놓습니다. 회의 시간 미정을 AI가 오후 2시로 바꾸었다면 틀린 결과입니다. RAG가 관련 자료를 못 찾았다면 답변 문장부터 다듬기보다 검색된 원문과 출처를 먼저 봅니다.
오류를 고친 뒤 같은 입력으로 다시 확인하고, 날짜나 장소 하나만 바꾼 새 입력으로 반복합니다. 사용한 모델과 설정, 고친 항목과 남은 오류를 기록하면 해당 연습을 마친 것입니다. 모델 학습과 기기 구매는 작은 연습의 결과를 확인한 다음 필요성을 판단합니다.
❓ 자주 묻는 질문
어느 정도 기기가 있어야 따라 할 수 있나요?
서빙과 RAG, 성능 측정은 해당 기능을 지원하는 작은 모델로 시작할 수 있습니다. 모델이 작아도 도구 호출이나 한국어 응답이 충분한지는 별도로 확인합니다. 파인튜닝과 음성 미세조정, 큰 이미지 모델은 메모리를 많이 써서, 각 편에 공식 요구 조건과 기존 블로그의 실측 사례를 구분해 적었습니다.
코드를 몰라도 되나요?
명령의 모델 이름과 파일 경로를 실제 환경에 맞게 바꾸는 과정은 필요합니다. 설정과 코드는 새 연습 폴더에서 시작하고 기존 파일을 예제로 덮어쓰지 않습니다. 서빙과 RAG 편의 파이썬 예시는 필요한 도구와 입력을 함께 확인합니다. 코드가 부담스럽다면 로그 계산과 정답 대조부터 진행할 수 있습니다.
클라우드 AI 대신 로컬 AI만 쓰면 되나요?
용도에 따라 나눠 쓰는 편이 현실적입니다. 로컬 모델도 작업에 필요한 도구 호출과 정확성을 확인해야 합니다. 로컬 앱에 외부 API나 웹 검색이 연결되어 있다면 데이터가 밖으로 나갈 수 있으므로 모델 위치만으로 판단하지 않습니다.
🔗 함께 보는 코스
- 로컬 AI 시작하기 입문: 로컬 AI의 뜻, 하드웨어, 모델 크기, 양자화, 올라마와 컴피UI 기초를 다룹니다
- 코딩 에이전트 입문: 클로드 코드, 코덱스 CLI 같은 코딩 에이전트와 권한 설정을 다룹니다
- AI 에이전트 중급: 원리와 설계: RAG와 에이전트 루프 같은 원리를 도구와 관계없이 다룹니다
세 줄로 먼저 읽기
이번 방문에서 한 편은 바로 볼 수 있습니다.
로컬 모델 서빙 기초 (올라마 서버, OpenAI 호환 API, 동시 요청)
로컬 모델 서빙은 내 컴퓨터에서 돌리는 모델을 API 서버로 열어 다른 프로그램이 주소와 요청 형식만으로 쓰게 하는 일입니다. 올라마는 11434 포트에서 자체 API와 OpenAI 호환 API, Anthropic 호환 API를 함께 제공하고, 모델 크기 외에도 동시 요청 수와 컨텍스트 길이가 메모리 사용량에 영향을 줍니다.
코딩 에이전트와 로컬 모델 연결하기 (클로드 코드, 코덱스, 올라마)
코딩 에이전트를 로컬 모델에 연결하면 작업을 판단하는 모델 요청을 내 컴퓨터의 서버로 보낼 수 있습니다. 모델의 도구 호출과 컨텍스트 지원, 에이전트의 권한 및 실제 접속 경로를 함께 확인해야 합니다.
로컬 RAG 구성하기 (청크, 임베딩, 검색 품질 확인)
로컬 RAG 구성은 내 문서를 조각(청크)으로 나눠 내 컴퓨터의 임베딩 모델로 벡터를 만들고, 질문과 가까운 조각을 찾아 로컬 모델에 보내는 질문과 함께 제공하는 일을 모두 내 기기 안에서 하는 방식입니다. 만든 뒤에는 정답 조각이 검색 상위에 나오는지 질문 세트로 확인합니다.
파인튜닝 기초와 LoRA (데이터 준비, 언제 필요한지)
파인튜닝은 이미 학습된 모델에 예시를 더 학습시켜 특정 작업의 응답을 개선하는 과정입니다. LoRA는 기본 가중치를 고정하고 선택한 부분에 작은 행렬 쌍을 추가해 학습하는 방법이며, 형식과 정확성을 보장하지는 않습니다.
로컬 음성 합성과 목소리 학습 (Qwen3-TTS, 동의와 표시)
로컬 음성 합성은 글을 읽는 TTS 모델을 내 컴퓨터에서 실행하는 것입니다. 참조 녹음으로 목소리를 흉내 내는 제로샷 복제와 녹음 자료로 모델을 추가 학습하는 미세조정을 구분합니다.
컴피UI(ComfyUI)로 로컬 이미지 생성하기 (워크플로, 모델 폴더, VRAM)
컴피UI로 로컬 이미지를 생성한다는 것은 모델 파일을 정해진 models 폴더에 받아 두고, 노드를 이은 워크플로 파일을 불러와 내 컴퓨터의 GPU로 이미지를 만드는 일입니다. 모델마다 라이선스와 필요한 메모리가 달라서 받기 전에 두 가지를 먼저 확인합니다.
로컬 AI 성능 측정과 모니터링 (토큰 속도, 메모리, 온도)
로컬 AI 성능 측정은 같은 조건에서 입력 처리 속도와 생성 속도, 메모리 사용과 기기 상태를 기록해 비교하는 일이고, 모니터링은 이 값을 작업 중에 계속 지켜보는 일입니다. 올라마의 --verbose와 ollama ps, llama-bench, 운영체제의 모니터링 도구를 함께 씁니다.
로컬 AI 보안과 백업 (원격 접속 잠금, 모델과 데이터 보관)
로컬 AI 보안은 모델 서버에 접근할 기기와 계정을 제한하고 실행할 모델 및 코드를 확인하는 일입니다. 백업은 원본 자료와 학습 결과 및 설정을 별도로 보관하고 복원할 수 있는지 확인하는 일입니다.