로컬 AI 보안과 백업 (원격 접속 잠금, 모델과 데이터 보관)

🤔 집 컴퓨터의 로컬 AI를 밖에서 쓰기 시작했을 때

로컬 AI를 편하게 쓰다 보면 노트북이나 휴대폰에서도 집 컴퓨터의 모델을 부르고 싶어집니다. 그래서 올라마를 0.0.0.0으로 열고, 컴피UI를 --listen으로 띄우고, 음성 합성 데모도 켜 둡니다. 이 서버들 가운데 상당수는 로그인 기능이 없어서, 여는 순간 그 컴퓨터에 닿는 누구나 쓸 수 있는 상태가 됩니다.

원격 접속의 기본 구성(테일스케일, SSH, tmux)은 1차 코스의 원격 접속으로 집 컴퓨터의 로컬 AI 쓰기에서 다뤘습니다. 지금부터는 서버가 어디에 열려 있는지 확인하는 법, 원격 접속을 더 좁게 잠그는 설정, 모델 파일을 안전하게 받는 법, 무엇을 어디에 백업할지 정리합니다. 설정 이름과 기본값은 2026년 9월 28일 공식 문서 기준입니다.

🔑 로컬 AI 보안과 백업의 정의

로컬 AI 보안은 모델 서버와 원격 접속을 내 기기에서만 닿게 잠그고 모델 파일을 안전한 형식으로 받아 두는 일이고, 백업은 다시 받을 수 없는 데이터와 학습 결과를 골라 암호화해 따로 보관하는 일입니다.

로컬 AI는 데이터가 밖으로 나가지 않는다는 점이 장점이지만, 그 장점은 서버가 내 기기 안에서만 열려 있을 때까지만 유효합니다. 인증이 없는 서버를 넓게 열면 로컬이라는 이점이 사라집니다.

🚪 서버가 열려 있는 주소부터 확인

로컬 AI 도구들의 기본 주소와 인증 기능을 공식 문서 기준으로 정리하면 다음과 같습니다.

127.0.0.1은 같은 컴퓨터에서만 닿는 주소이고, 0.0.0.0은 그 컴퓨터의 모든 네트워크 연결에 연다는 뜻입니다. 올라마 공식 문서는 로컬 API가 인증을 요구하지 않는다고 적고, 주소를 바꾸는 방법(OLLAMA_HOST)도 함께 안내합니다. 두 사실을 합치면 0.0.0.0으로 연 올라마는 같은 망의 누구나 쓸 수 있습니다. 음성 합성 데모처럼 예시 명령이 처음부터 0.0.0.0으로 여는 도구도 있으니 그대로 복사하지 말고 주소를 확인합니다.

원칙은 간단합니다. 같은 컴퓨터에서만 쓰면 127.0.0.1로 두고, 다른 기기에서 써야 하면 인터넷이 아니라 내 기기끼리 묶인 테일넷 안에서만 닿게 합니다. 공유기의 포트를 열어 인터넷에 직접 노출하지 않습니다.

🔒 원격 접속을 좁게 잠그기

테일스케일 접근 정책. 테일스케일 공식 문서에 따르면 처음 만든 테일넷의 기본 정책은 테일넷 안의 모든 기기 사이 통신을 허용합니다. 가족이나 동료의 기기가 같은 테일넷에 있다면 그 기기도 AI 서버에 닿는다는 뜻입니다. 공식 문서는 기본적으로 모두 막고 허용할 것만 적는 grants 방식을 권합니다. 규칙은 출발 기기(src), 도착 기기(dst), 포트(ip)로 적습니다. 아래는 이 구성 요소로 만든 예시이고, 실제 태그와 사용자 이름은 내 테일넷에 맞춰 바꿉니다.

SSH 비밀번호 로그인 끄기. OpenSSH는 기본으로 비밀번호 로그인(PasswordAuthentication)이 켜져 있습니다. 1차 코스처럼 키로 접속하도록 설정했다면 비밀번호 로그인은 꺼 두는 편이 안전합니다. 맥은 /etc/ssh/sshd_config가 sshd_config.d 폴더의 파일을 불러오는 구조라서, 그 폴더에 설정 파일을 하나 만들어 다음처럼 적습니다.

설정을 바꾸기 전에는 키 로그인이 되는지 반드시 먼저 확인합니다. 순서를 거꾸로 하면 원격에서 다시 들어가지 못하는 상황이 생깁니다. 참고로 테일스케일 자체의 SSH 서버 기능은 맥에서 오픈소스판 tailscaled에서만 동작한다고 공식 문서가 적고 있어, 맥은 운영체제 기본 원격 로그인을 쓰는 구성이 일반적입니다.

📦 모델 파일을 안전하게 받기

모델 파일도 보안 대상입니다. 허깅페이스 보안 문서는 pickle 형식 파일을 불러올 때 임의의 코드가 실행되는 공격이 가능하다고 경고합니다. pickle은 파이토치 가중치의 기본 저장 형식이라 .pt, .ckpt, .bin 파일에 흔합니다.

• safetensors를 고릅니다: 텐서만 담도록 만든 형식이라 pickle과 달리 코드 실행 위험이 없다고 공식 문서가 설명합니다
• 신뢰하는 곳에서 받습니다: 허깅페이스는 올라오는 파일을 악성코드와 pickle 가져오기 검사로 훑지만, 모든 pickle 공격을 잡지는 못한다고 적습니다
• 해시를 확인합니다: hf cache verify 저장소이름을 실행하면 내려받은 파일이 허깅페이스의 체크섬과 같은지 확인하고, 같으면 "All checksums match."가 나옵니다
• 커스텀 노드를 가려 설치합니다: 컴피UI 커스텀 노드는 코드이므로 매니저 보안 등급을 낮추지 않습니다. 설정은 컴피UI 이미지 생성에 정리했습니다

🗂️ 무엇이 어디에 저장되는지

백업과 정리를 하려면 먼저 파일 위치를 알아야 합니다.

허깅페이스 토큰 파일은 계정 권한이 담긴 파일이라 백업이나 공유 폴더에 섞이지 않게 주의합니다.

💾 백업 순서와 방법

백업 공간은 한정되어 있으니 다시 만들 수 없는 것부터 챙깁니다. 원본 문서와 녹음, 학습 결과, 워크플로, 설정 파일(Modelfile 같은)이 먼저이고, 수십 GB짜리 공개 모델 파일은 다시 받으면 되므로 뒤로 미룹니다.

맥의 Time Machine 기준으로 정리하면 이렇습니다.

• 설정: 시스템 설정 > 일반 > Time Machine > 백업 디스크 추가. 백업 암호화를 켜면 암호가 필요합니다
• 보존 방식: 지난 24시간은 매시간, 지난 한 달은 매일, 그 이전은 매주 보관하고 디스크가 차면 가장 오래된 것부터 지웁니다. 애플은 맥 저장 공간의 두 배 이상 디스크를 권합니다
• 모델 폴더 빼기: 옵션의 추가 버튼으로 ~/.ollama/models 같은 폴더를 제외합니다. 다만 공식 문서는 제외한 항목도 로컬 스냅숏에는 남는다고 적습니다

기기 자체의 암호화도 함께 켭니다. FileVault는 시스템 설정 > 개인정보 보호 및 보안에서 켜고, 로그인 암호와 복구 키를 모두 잃으면 파일을 영구히 잃는다고 공식 문서가 경고하므로 복구 키는 따로 보관합니다.

⚠️ 자주 하는 실수

• 예시 명령의 0.0.0.0을 그대로 씁니다: 같은 망 전체에 인증 없는 서버를 여는 셈입니다
• 테일넷에 다른 사람 기기를 넣고 정책을 기본값으로 둡니다: 기본 정책은 모든 기기끼리 통신을 허용합니다
• 키 로그인을 확인하기 전에 비밀번호 로그인을 끕니다: 원격 접속이 막힙니다
• 백업 디스크를 큰 모델 파일로 채웁니다: 정작 다시 만들 수 없는 녹음과 학습 결과가 밀려납니다

❓ 자주 묻는 질문

클라우드 모델을 섞어 쓰면 데이터가 밖으로 나가나요?

올라마의 :cloud 태그 모델은 요청이 올라마의 서버로 나갑니다. 모든 요청을 로컬에 두려면 OLLAMA_NO_CLOUD=1로 클라우드 기능을 끕니다. 무료 외부 API를 함께 쓴다면 입력을 제품 개선에 쓰는 조건이 있는지도 확인해야 하고, 사례는 무료 LLM API 라우터의 한도와 데이터 비용에 정리했습니다.

모델 파일도 백업해야 하나요?

공개 저장소에서 다시 받을 수 있는 모델은 우선순위가 낮습니다. 다만 나중에 저장소에서 내려가거나 버전이 바뀔 수 있으니, 결과를 재현해야 하는 모델은 저장소 이름과 리비전(커밋 해시)을 기록해 두고 필요하면 별도 디스크에 보관합니다.

서버에 비밀번호를 걸 방법은 없나요?

올라마 자체에는 로컬 인증 기능이 없고, llama-server는 --api-key로 키를 겁니다. 올라마 공식 문서는 Nginx 같은 프록시 앞에 두는 방법을 안내하는데, 개인 용도라면 테일넷 안에서만 여는 편이 설정이 단순합니다.

📋 3줄 요약

1. 올라마의 로컬 API는 인증을 요구하지 않고 기본 주소가 127.0.0.1이라서, OLLAMA_HOST를 0.0.0.0으로 바꾸면 그 컴퓨터에 닿는 기기 누구나 모델을 쓸 수 있습니다.

2. 테일스케일은 처음 만든 네트워크의 기본 정책이 모든 기기 사이 통신을 허용하므로, 기본 차단 방식인 grants로 AI 서버 포트에 닿을 기기를 좁힙니다.

3. 모델은 safetensors 형식으로 받고 hf cache verify로 해시를 확인하며, 다시 받을 수 있는 큰 모델 파일보다 학습 결과와 참조 음성, 워크플로를 먼저 백업합니다.