애플 LensVLM-9B 이해하기: 긴 문서를 훑고 원문으로 확인하는 방법

긴 계약서나 보고서 수십 쪽을 AI 모델에 통째로 넣으면 그만큼 토큰이 들어갑니다. 토큰은 모델이 글을 쪼개 읽는 단위이고, 입력이 길어질수록 필요한 계산과 메모리가 늘어날 수 있습니다. 프로그램에서 AI를 호출하는 API를 토큰 단위로 과금할 때는 입력 요금에도 영향을 주지만, 정액 구독이나 로컬 실행의 비용을 같은 방식으로 계산하지는 않습니다. 그래서 문서를 잘라 필요한 조각만 찾아 넣는 RAG(검색 증강 생성) 방식이 널리 쓰여 왔습니다.

최근에는 다른 길도 시험되고 있습니다. 글을 글자로 넣지 않고 이미지로 찍어서 넣는 방법입니다. 이 논문에 쓰인 이미지 처리 설정에서는 해상도로 시각 토큰 수가 정해집니다. 글을 더 작은 이미지에 담으면 입력 토큰을 줄일 수 있지만, 모든 AI 서비스가 같은 규칙으로 이미지를 처리하는 것은 아닙니다. 문제는 작게 찍을수록 글자가 뭉개져 모델이 읽지 못한다는 점입니다.

LensVLM-9B는 애플이 2026년 9월 21일 허깅페이스에 공개한 94억 파라미터 비전 언어 모델(VLM)로, 압축된 이미지로 문서 전체를 훑은 뒤 필요한 쪽만 골라 원문으로 다시 펼쳐 읽습니다. 비전 언어 모델은 이미지와 글을 함께 입력받는 모델을 말합니다. 파라미터는 모델이 학습하면서 맞춰 놓은 숫자이고, 이 숫자들을 담은 파일을 가중치라고 부릅니다. 지금부터 모델 카드와 논문, 공식 코드 저장소를 2026년 10월 4일 기준으로 대조해 작동 방식과 성능, 쓸 수 있는 범위를 정리합니다. 모델을 직접 내려받아 실행하지는 않았고, 성능 수치는 모두 논문에 실린 값입니다.

설치 없이 먼저 이해하는 세 쪽 문서

모델 실행 전에 아래 가상 문서를 읽어 봅니다. 제목으로 필요한 쪽을 고르고, 그 쪽의 원문에서 답을 확인하는 연습입니다. 이 연습은 작동 순서를 설명하며 모델 성능을 측정하지는 않습니다.

“충전기를 빌릴 수 있나요?”라는 질문에는 먼저 2쪽을 고릅니다. 그다음 “충전기는 행사장에서 빌려주지 않습니다.”라는 원문을 확인하고 “빌릴 수 없습니다”라고 답합니다. ‘준비물’이라는 제목만 보고 대여 여부를 추측하면 안 됩니다. 실제 LensVLM은 제목 목록 대신 축소된 이미지들을 보고 필요한 쪽을 고릅니다.

메모 앱에 질문 / 고른 쪽 / 근거 문장 / 답 네 항목을 적어 문서 확인 연습이라는 이름으로 저장합니다. 다시 열어 답이 근거 문장과 일치하는지 봅니다. 반복할 때는 질문을 “행사는 어디서 하나요?”로 바꿉니다. 이번에는 3쪽과 ‘2층 세미나실’이 맞아야 합니다. “주차는 무료인가요?”처럼 문서에 없는 질문은 자료에 없음으로 남깁니다.

잘못된 쪽을 골랐다면 다른 쪽을 더 확인하고, 끝내 근거가 없으면 답을 만들어 채우지 않습니다. 이 차이를 이해했다면 모델을 내려받지 않아도 첫 연습은 끝입니다.

LensVLM-9B 한눈에 보기

모델 카드와 논문에 흩어진 기본 정보를 표로 정리했습니다.

논문 발표와 가중치 공개는 별개의 일정입니다. 위 화면의 좋아요와 다운로드 수는 9월 29일 캡처 당시 값이며 모델의 정확도를 뜻하지 않습니다.

글을 이미지로 넣을 때 생기는 문제

글을 이미지로 찍어 넣는 방식을 논문은 시각 텍스트 압축이라고 부릅니다. 같은 글을 더 작은 이미지에 더 빽빽하게 찍으면 이미지 한 장이 차지하는 시각 토큰이 줄어듭니다. 시각 토큰은 모델이 이미지 정보를 처리할 때 쓰는 단위입니다. 이미지 조각을 묶거나 크기를 바꾸는 규칙에 따라 개수가 달라집니다.

아래는 논문에 실린 이미지로, 같은 글을 세 가지 크기로 찍은 것을 나란히 놓았습니다. 왼쪽부터 5배, 10배, 15배 압축입니다.

단계마다 이미지 크기와 글꼴이 정해져 있습니다.

표는 논문에 제시된 1만 토큰 문서의 예시입니다. 15배 설정에서는 처음 넣는 시각 토큰이 648개로 줄어듭니다. 뒤에서 불러오는 원문은 여기에 추가됩니다. 여기서 ‘쪽’은 텍스트를 잘라 새로 만든 이미지 단위이며 원래 PDF의 페이지 번호와 같다고 볼 수 없습니다.

압축을 강하게 하면 모델이 글자를 제대로 읽지 못합니다. 학습하지 않은 기반 모델에 압축 이미지만 주고 질문하면 5배 압축에서 정확도가 31.3%였고, 원문을 글자로 전부 넣었을 때는 72.4%였습니다. 논문의 표현으로는 압축이 어느 선을 넘으면 픽셀에 정보가 아예 남아 있지 않습니다.

지금까지의 연구는 뭉개진 글자를 더 잘 읽도록 모델을 훈련하는 방향이었습니다. LensVLM 연구진은 방향을 바꿔, 모델이 읽기 어려운 이미지는 위치를 찾는 데만 쓰고 내용은 원문에서 읽게 했습니다.

LensVLM이 답을 찾는 순서

서류 수십 장을 축소 복사해 책상에 펼쳐 놓고 필요한 장만 원본으로 꺼내 읽듯, LensVLM은 압축 이미지 전체를 먼저 보고 필요한 쪽만 원문으로 불러옵니다. 순서는 네 단계입니다.

1. 문서를 쪽 단위로 나눠 압축 이미지로 찍고, 질문과 함께 전부 모델에 넣습니다
2. 모델이 이미지를 훑으며 어느 쪽에 근거가 있을지 추론합니다
3. Expand 도구를 호출해 고른 쪽의 원문을 받습니다. 한 번에 한 쪽씩 부릅니다
4. 받은 원문으로 답하거나, 더 필요하면 다른 쪽을 다시 부릅니다

원문은 따로 보존해야 합니다. 흐릿한 이미지에서 사라진 글자를 복원하는 것이 아니라, 도구가 저장된 원문을 다시 가져오기 때문입니다.

공식 저장소의 예시 실행 결과가 이 과정을 그대로 보여 줍니다. 질문은 영화 「Kiss and Tell」에서 코를리스 아처를 연기한 배우가 맡았던 정부 직책이 무엇인지였고, 모델에는 압축 이미지 15장이 들어갔습니다. 모델은 10쪽에 미국 배우 이야기가 있다고 보고 도구 이름이 read_page인 Expand 도구로 10쪽을 불러왔습니다. 돌아온 원문에서 미국 의전장을 지냈다는 문장을 찾아 두 번 주고받은 끝에 답을 냈습니다. 저장소 README에 실린 출력입니다.

한 질문에 주고받는 횟수는 여섯 번까지로 제한돼 있는데 도구 호출의 실제 평균은 1.3번이었습니다. 한 번만 불러도 정확도 상승분의 대부분이 나왔다는 실험 결과입니다. 평균 1.3회 호출은 정답률이 아니므로, 한 번 부르면 대부분의 업무 질문을 맞힌다는 뜻은 아닙니다.

도구가 돌려주는 것은 세 종류로 실험됐습니다.

• 원문 텍스트: 글을 찍어 만든 이미지라면 가장 정확합니다
• OCR 텍스트: 원문이 없을 때 이미지 속 글자를 인식해 뽑은 글입니다. 글을 찍어 만든 이미지 실험에서는 원문과 비슷한 성능을 냈고, 실제 PDF에서는 고해상도 이미지보다 낮았습니다
• 고해상도 이미지: 표와 그림 배치가 중요한 PDF에서는 글만 뽑는 것보다 나았습니다

LensVLM 학습 방법과 단계별 효과

기반 모델은 Expand 도구를 쓸 줄 모르기 때문에 연구진은 세 단계로 가르쳤습니다.

준비로 연구진은 기반 모델이 압축 이미지만 보고는 틀린 문제를 골라냈는데, 전체의 73.5%가 여기에 해당했습니다. 첫 단계는 모범 풀이 만들기입니다. 더 큰 모델인 Qwen3.5-397B에 질문과 정답, 근거 원문을 함께 주고 추론과 도구 호출이 섞인 풀이를 쓰게 했습니다. 둘째 단계는 이 풀이를 쓴 지도 미세조정(SFT)으로, 정답이 있는 예시를 따라 하게 하는 추가 학습입니다. 셋째 단계는 강화학습(RL)이고 모델이 직접 풀어 본 뒤 답이 맞으면 점수를 받습니다.

도구 사용법은 지도 미세조정에서 거의 다 익혔고, 강화학습은 어느 쪽을 고를지 판단을 다듬는 역할이었습니다. 근거가 있는 쪽을 맞게 고른 비율은 5배에서 76.8%, 10배에서 71.0%, 15배에서 52.1%입니다. 이미지를 읽는 시각 인코더는 학습 내내 고정했고 언어 모델 부분만 고쳤습니다.

모델 크기도 시험했습니다. 같은 방법으로 세 가지 크기의 모델을 학습시킨 결과입니다.

연구진은 시험한 2B, 4B, 9B 가운데 9B에서 도구 사용이 가장 안정적이었다고 설명합니다. 이 결과를 모든 모델에 필요한 최소 규모로 일반화할 수는 없습니다.

RAG와 견준 벤치마크 결과

평가 지표는 정해진 질문 묶음인 질의응답 벤치마크 일곱 개의 평균 정확도입니다. 따라서 68.9%를 우리 회사 문서 열 개 중 약 일곱 개를 맞힌다는 보장으로 읽으면 안 됩니다. 넷은 학습에 쓴 데이터셋과 같은 종류이고 셋은 학습에 쓰지 않은 종류입니다. 비교 대상도 답을 읽고 쓰는 모델은 모두 Qwen3.5-9B-Base로 맞췄습니다. 표의 BM25는 낱말이 겹치는 정도로 문서를 찾는 검색이고, 임베딩 검색은 글을 숫자 묶음으로 바꿔 뜻이 가까운 문서를 찾는 검색입니다.

실효 압축은 원문 토큰 수를 모델이 실제로 처리한 토큰 수로 나눈 값입니다. LensVLM은 도구가 돌려준 원문까지 읽으므로 이름에 붙은 5배보다 낮은 4.3배가 됩니다. 토큰 비율이므로 전체 실행 비용이나 메모리도 같은 비율로 줄어든다는 뜻은 아닙니다.

표에서 알 수 있는 점은 세 가지입니다.

• 낮은 압축에서는 상한에 가깝습니다. 5배 설정에서 68.9%로, 원문을 전부 넣은 72.4%와 3.5퍼센트포인트 차이입니다
• 15배 설정에서는 검색 방식과 차이가 거의 없습니다. 10배 설정에서는 표의 두 검색 방식보다 5.0에서 6.4퍼센트포인트 앞섰는데, 15배에서는 LensVLM 52.1%, BGE-M3 51.9%입니다. 이때 검색 방식의 실효 압축은 11.9배로 LensVLM의 10.1배보다 높았습니다
• 데이터셋에 따라 검색이 앞서기도 합니다. 학습에 쓰지 않은 데이터셋 가운데 5배 설정의 RULER에서는 BM25와 임베딩 검색이, Qasper에서는 일부 임베딩 검색이 LensVLM보다 높았습니다

그래서 LensVLM이 RAG를 대체한다고 보기는 어렵습니다. 논문도 두 방식이 보완 관계라고 적었습니다. 논문에서 비교한 검색 방식은 문서 전체의 색인, 즉 검색용 목록을 미리 만듭니다. 임베딩 계산에는 병렬 계산에 쓰이는 GPU를 활용할 수 있지만 GPU가 모든 검색 시스템의 필수 조건은 아닙니다. LensVLM은 사전 작업으로 일반 연산을 담당하는 CPU에서 이미지를 만듭니다. 같은 문서에 질문이 반복된다면 검색 색인을 재사용할 수 있어 검색 방식이 유리해질 수 있습니다.

글이 아닌 자료에서도 시험했습니다. 이 가운데 PDF 실험은 문서 데이터로 따로 학습한 변형 모델의 결과이고, 공개된 LensVLM-9B로 측정한 값이 아닙니다.

PDF 문서는 5배 압축에서 도구 없이 읽었을 때가 조금 높았고, 압축이 커질수록 도구를 썼을 때가 앞섰습니다. 코드는 코드 데이터로 따로 학습하지 않고도 효과가 있었지만 원문을 넣은 65.6%와는 차이가 큽니다.

메모리는 줄고 응답 시간은 늘어납니다

논문 부록에 효율 측정이 있습니다. 측정 장비는 엔비디아 B200 GPU 여덟 장입니다.

토큰이 줄어든 만큼 KV 캐시, 곧 모델이 앞서 읽은 내용을 다시 계산하지 않으려고 GPU 메모리에 쌓아 두는 값도 줄어듭니다. 100장 분량에서 GPU당 KV 캐시가 1,602MiB에서 253MiB로 줄었습니다. MiB는 메모리 용량 단위입니다. 이는 가중치와 다른 실행 메모리를 포함한 전체 사용량이 아닙니다.

반면 도구를 한 번 부르면 추론을 두 번 이어서 해야 하므로, 원문을 한 번에 읽을 때 약 8초 걸리던 답이 약 17초로 늘었습니다. 애플도 이 방법의 목표가 속도가 아니라 압축으로 잃은 정확도를 되찾는 것이라고 적었습니다. 응답을 바로 돌려줘야 하는 서비스보다는 메모리가 빠듯한 환경에서 긴 문서를 처리하는 작업에 맞는 구성으로 보입니다.

LensVLM-9B 라이선스와 실행 조건

가중치를 받기 전에 라이선스를 먼저 봐야 합니다. 모델 파일에는 Apple Machine Learning Research Model License가 적용되고 조건은 이렇습니다.

허깅페이스에는 이 모델을 양자화한, 즉 숫자 정밀도를 낮춰 파일을 줄인 변형이 아홉 개 올라와 있는데, 원래 모델을 수정해 만든 것이라 파생 모델에 해당해 같은 조건을 따르는 것으로 보입니다. 기반 모델인 Qwen3.5의 라이선스와는 별개로 애플이 고친 부분까지 포함한 전체 파일에 이 조건이 걸립니다. 코드는 Apple Sample Code License로 따로 배포됩니다.

선택 실습: 연구 환경에서 공식 예시 실행

아래는 Python과 Git, 모델 실행용 vLLM이 지원되는 환경을 준비할 수 있는 분을 위한 단계입니다. vLLM은 모델을 메모리에 올려 답을 생성하는 프로그램입니다. 이 글은 맥이나 일반 노트북에서 실행을 보장하는 설치 안내가 아닙니다. 가중치만 18.8GB이고 추가 메모리와 저장 공간이 필요하므로 연구용 장비가 준비되지 않았다면 앞의 문서 연습까지만 진행합니다.

Git과 Python이 준비된 연구 환경의 터미널에서 다음을 실행합니다. 가상 환경은 이번 실험의 Python 패키지를 다른 작업과 분리해 설치하는 폴더입니다. 아래 활성화 명령은 Linux 셸 기준입니다.

설치가 오류 없이 끝난 경우에만 다음 실행 명령으로 넘어갑니다. 예시는 가중치를 내려받을 수 있으므로 다운로드 용량과 장비 여유를 먼저 확인합니다. 처음에는 저장소가 제공하는 예시로 동작을 확인하고, 개인 문서나 고객 자료를 넣지 않습니다.

제공 예시는 터미널에 질문, 기준 정답(Gold Answer), 모델의 대화와 도구 호출을 출력합니다. demo_output 폴더에 이미지와 result.json이 만들어지고 마지막에 저장 경로가 표시되는지 봅니다. 기준 정답 표시는 모델이 맞혔다는 뜻이 아니므로, 뒤에 나온 실제 답을 따로 확인합니다. 공식 예시의 기대 답은 미국 의전장이라는 직책이며 실제 실행 결과와 근거 원문을 대조해야 합니다. 이 글에서 해당 모델을 실행해 얻은 결과는 아닙니다.

그다음 자신의 비상업적 연구용 텍스트로 시험할 때는 저장소 폴더 안에 document.txt를 준비하고 아래 질문을 문서에서 답을 확인할 수 있는 질문으로 바꿉니다. 빈 파일이나 아주 짧은 글은 이미지 변환에 실패할 수 있습니다.

결과는 my_document_result/result.json을 텍스트 편집기로 열어 확인합니다. answer는 답, pages_expanded는 펼친 이미지 번호입니다. 답과 원문을 대조한 뒤 다른 질문으로 반복하되 --output_dir ./my_document_repeat처럼 저장 폴더도 바꿔 이전 결과를 보존합니다.

터미널에서 중단하려면 Ctrl+C를 누릅니다. 다시 실행할 때는 저장소 폴더에서 가상 환경을 활성화합니다. 중단만으로 이미 다운로드한 파일이나 생성된 결과가 지워지지는 않습니다.

필요한 하드웨어는 공식 자료에 적혀 있지 않습니다. 확인되는 것은 가중치 파일이 18.8GB라는 점까지입니다. 논문의 B200 여덟 장은 학습과 측정에 쓴 장비이지 추론의 최소 사양이 아닙니다. 입력 형식도 확인해야 합니다. 예시 명령은 텍스트 파일을 받아 직접 이미지로 찍는 구조입니다. 논문은 언어별 성능을 따로 보고하지 않아서, 한국어 문서에서 같은 정확도가 나오는지는 공개된 자료로는 알 수 없습니다.

LensVLM 방식 가운데 실무에 적용할 수 있는 것

라이선스 때문에 이 모델을 서비스에 바로 넣을 수는 없습니다. ‘먼저 위치를 찾고 원문을 확인한다’는 절차는 학습할 수 있습니다. 다른 모델로 구현하려면 그 모델과 코드의 이용 조건을 별도로 확인해야 합니다. 연구진은 학습하지 않은 모델 두 가지에 프롬프트만으로 같은 절차를 적용했습니다. 압축 이미지를 주고 어느 쪽에 답이 있을지 고르게 한 뒤 그 쪽의 원문을 넘기는 방식인데, 압축 이미지만 줬을 때보다 Qwen3.5-9B-Base는 7.9에서 10.2퍼센트포인트, Claude Sonnet 4.6은 평균 4.8에서 9.0퍼센트포인트 올랐습니다. 다만 오른 뒤의 정확도는 따로 봐야 합니다. 학습하지 않은 Qwen3.5-9B-Base는 5배 설정에서 39.2%로 BM25의 62.5%에 못 미쳤고, 논문도 위치를 제대로 고르려면 추가 학습이 필요하다고 적었습니다.

어느 방식이 맞는지는 문서와 질문의 성격에 따라 달라집니다.

RAG와 미세조정 가운데 무엇을 고를지는 RAG와 파인튜닝 차이에 따로 정리해 두었습니다.

자주 묻는 질문

LensVLM-9B를 회사 서비스에 써도 되나요?

쓸 수 없습니다. 라이선스가 비상업적 과학 연구와 학술 목적으로 범위를 정했고 상업적 이용과 제품 개발, 상업 서비스에 넣는 것을 명시적으로 제외했습니다. 미세조정하거나 양자화한 파생 모델도 같은 조건을 따릅니다.

LensVLM이 RAG를 대체하나요?

논문 결과만 보면 대체보다 보완에 가깝습니다. 5배 압축에서는 LensVLM이 텍스트 검색 방식보다 3.8에서 6.4퍼센트포인트 높았지만 15배에서는 임베딩 검색과 거의 같았고, 일부 데이터셋에서는 검색이 앞섰습니다. 값싼 검색으로 관련 없는 부분을 먼저 걸러 낸 뒤 이미지로 찍는 조합도 가능하다고 논문에 적혀 있습니다.

맥이나 개인 컴퓨터에서 실행할 수 있나요?

공식 자료에는 최소 사양이 없습니다. 공식 예시는 BF16 가중치와 vLLM을 사용합니다. 가중치 파일 18.8GB는 실행 메모리의 최소 사양표가 아니며 운영체제, 실행 엔진, 문서 길이와 추가 캐시까지 확인해야 합니다. 파일 크기가 메모리보다 작아도 GPU에 올라가지 않는 경우가 있다는 점은 Qwen3.8 27B 로컬 실행 결과에서 다뤘습니다.

정리

지금 이 모델에서 얻을 것은 가중치보다 방식이라고 생각하는 편입니다. 문서를 흐릿하게라도 전부 보여 주고 모델이 필요한 부분을 스스로 고르게 하는 절차는 다른 모델에 프롬프트로도 적용할 수 있습니다. 긴 문서를 다루는 작업에서 메모리가 먼저 부족해지는지 응답 시간이 먼저 문제가 되는지를 확인하고, 메모리가 문제라면 작은 범위에서 시험해 볼 만합니다.

8컷 만화로 정리한 LensVLM-9B

아래 만화는 기존 설명 자료입니다. 5컷의 “한 번이면 대부분 답이 나온다”는 대사는 평균 호출 횟수를 정답률처럼 표현하므로 본문의 설명을 기준으로 이해합니다. 6컷의 메모리 감소는 실험에서 측정한 KV 캐시이며 전체 메모리가 아닙니다. 7컷의 허용 범위는 단순한 업무 여부가 아니라 비상업적 연구 목적이라는 조건으로 판단합니다.

기존 만화 펼치기

그림은 DGX Spark에서 Qwen-Image-2.1로 그렸고, 대사는 글과 대조해 따로 얹었습니다.

만화 대사 전문

1. (2026년 9월, 애플 LensVLM-9B 공개) 민준: 긴 문서를 통째로 넣으면 한도에 걸려요. / 준이아빠: 다 읽지 않고 훑는 방법이 있어요.
2. (글을 작은 이미지로 찍는다) 준이아빠: 쪽마다 작은 이미지로 바꿔서 넣어요. / 민준: 그러면 넣을 양이 확 줄겠네요.
3. (전부 펼쳐 놓고 먼저 훑는다) 민준: 이 가운데 어디에 답이 있는지 어떻게 알아요? / 준이아빠: 훑어보고 있을 만한 쪽을 먼저 골라요.
4. (고른 쪽만 원본으로 부른다) 준이아빠: 고른 쪽만 원문으로 다시 불러와요. / 민준: 한 번에 한 장씩요?
5. (실제로는 거의 한 번이면 끝난다) 준이아빠: 여섯 번까지 부를 수 있는데 실제 평균은 1.3번이에요. / 민준: 한 번만 불러와도 대부분 답이 나온다는 거군요.
6. (메모리는 줄고 시간은 늘어난다) 준이아빠: 메모리는 줄지만 응답 시간은 늘어요. / 민준: 공짜로 얻는 건 아니네요.
7. (라이선스는 연구 용도까지) 민준: 업무에도 써 볼 수 있을까요? / 준이아빠: 연구 용도만 허용이라 납품물에는 못 써요.
8. (지금 가져다 쓸 수 있는 것) 민준: 모델은 못 써도 먼저 훑고 필요한 쪽만 펼쳐 읽는 방식은 따라 할 수 있겠어요. / 준이아빠: 그게 이 글에서 가져갈 부분이에요.

Sources

• apple/LensVLM-9B 모델 카드 (Hugging Face)
• Apple Machine Learning Research Model License 원문 (Hugging Face)
• LensVLM: Selective Context Expansion for Compressed Visual Representation of Text (arXiv 2605.07019)
• apple-aiml-research/ml-lensvlm (GitHub)
• LensVLM 연구 소개 (Apple Machine Learning Research)

3줄 요약

1. LensVLM-9B는 글을 압축 이미지로 훑은 뒤 필요한 쪽의 원문을 불러와 답하는 애플의 비전 언어 모델입니다.

2. 논문의 5배 압축 설정에서 평균 정확도는 68.9%이고 실제 입력 토큰의 압축은 4.3배이며, 이는 한국어 업무 문서의 성공률이나 전체 비용 절감률이 아닙니다.

3. 모델은 비상업적 연구 용도로 제한되며, 처음에는 설치 없이 가상 문서에서 답과 근거를 구분하는 연습부터 할 수 있습니다.