애플 LensVLM-9B 이해하기: 긴 문서를 훑고 원문으로 확인하는 방법

긴 계약서나 보고서 수십 쪽을 AI 모델에 통째로 넣으면 그만큼 토큰이 들어갑니다. 토큰은 모델이 글을 쪼개 읽는 단위이고, 입력이 길수록 계산량과 메모리 사용량이 늘어납니다. 토큰 단위로 요금을 매기는 API(프로그램에서 AI를 호출하는 방식)라면 입력 요금도 올라갑니다. 그래서 문서를 잘라 필요한 조각만 찾아 넣는 RAG(검색 증강 생성) 방식이 널리 쓰여 왔습니다.

글을 글자 대신 이미지로 찍어 넣는 연구도 나오고 있습니다. 뒤에서 다룰 LensVLM 논문의 이미지 처리 설정에서는 해상도가 시각 토큰 수를 정하므로, 글을 더 작은 이미지에 담으면 입력 토큰이 줄어듭니다. 대신 작게 찍을수록 글자가 뭉개져 모델이 읽지 못합니다.

LensVLM-9B는 애플이 2026년 9월 21일 허깅페이스에 공개한 94억 파라미터 비전 언어 모델(VLM)로, 압축된 이미지로 문서 전체를 훑은 뒤 필요한 쪽만 골라 원문으로 다시 펼쳐 읽습니다. 비전 언어 모델은 이미지와 글을 함께 입력받는 모델을 말합니다. 파라미터는 모델이 학습하면서 맞춰 놓은 숫자이고, 이 숫자들을 담은 파일을 가중치라고 부릅니다. 아래 내용은 2026년 10월 4일 기준 모델 카드와 논문, 공식 코드 저장소를 바탕으로 했고, 성능 수치는 모두 논문에 실린 값입니다.

LensVLM-9B 한눈에 보기

모델 카드와 논문에 나온 기본 수치부터 봅니다. BF16은 숫자 하나를 16비트로 저장하는 형식입니다.

LensVLM-9B의 기본 수치

• 94억 개파라미터
• 18.8GB가중치 파일BF16 형식
• 3단계압축 옵션5배, 10배, 15배

논문은 5월에 먼저 나왔고 가중치는 9월에 공개됐습니다. 위 화면의 다운로드 수는 9월 29일 캡처 당시 값입니다.

글을 이미지로 넣을 때 생기는 문제

글을 이미지로 찍어 넣는 방식을 논문은 시각 텍스트 압축이라고 부릅니다. 같은 글을 더 작은 이미지에 더 빽빽하게 찍으면 이미지 한 장이 차지하는 시각 토큰이 줄어듭니다. 시각 토큰은 모델이 이미지 정보를 처리할 때 쓰는 단위이고, 이미지 조각을 묶거나 크기를 바꾸는 규칙에 따라 개수가 달라집니다.

아래는 논문에 실린 이미지로, 같은 글을 세 가지 크기로 찍은 것을 나란히 놓았습니다. 왼쪽부터 5배, 10배, 15배 압축입니다.

단계마다 이미지 크기와 글꼴이 정해져 있습니다.

논문은 1만 토큰짜리 문서를 예로 들어 단계별 시각 토큰 수를 제시했습니다.

1만 토큰 문서를 넣을 때 처음 들어가는 토큰 수

• 원문 텍스트10,000토큰
• 5배 압축1,800토큰
• 10배 압축912토큰
• 15배 압축648토큰

여기서 ‘쪽’은 텍스트를 잘라 새로 만든 이미지 한 장을 가리키며, 원래 PDF의 페이지와는 다릅니다.

압축을 강하게 하면 모델이 글자를 제대로 읽지 못합니다. 학습하지 않은 기반 모델에 압축 이미지만 주고 질문하면 5배 압축에서 정확도가 31.3%였고, 원문을 글자로 전부 넣었을 때는 72.4%였습니다. 논문의 표현으로는 압축이 어느 선을 넘으면 픽셀에 정보가 아예 남아 있지 않습니다.

그동안의 연구는 뭉개진 글자를 더 잘 읽도록 모델을 훈련하는 쪽이었습니다. LensVLM 연구진은 방향을 바꿔, 읽기 어려운 이미지는 위치를 찾는 데만 쓰고 내용은 원문에서 읽게 했습니다.

LensVLM이 답을 찾는 순서

LensVLM은 압축 이미지 전체를 먼저 보고 필요한 쪽만 원문으로 불러옵니다. 축소 복사한 서류 수십 장을 펼쳐 놓고 필요한 장만 원본으로 꺼내 읽는 것과 같은 순서입니다.

압축 이미지로 고르고 원문으로 답하는 네 단계

1. 11. 쪽 나눠 찍기문서를 쪽 단위 압축 이미지로
   질문과 함께 입력
2. 22. 훑어보기어느 쪽에 근거가
   있을지 추론
3. 33. Expand 호출고른 쪽의 원문 받기
   한 번에 한 쪽씩
4. 44. 답하기받은 원문으로 답하거나
   다른 쪽을 다시 호출

Expand 도구는 흐릿한 이미지에서 사라진 글자를 복원하지 않고, 저장해 둔 원문을 다시 가져옵니다. 그래서 원문은 따로 보존해 둬야 합니다.

공식 저장소 README에 실린 예시 실행이 이 과정을 그대로 보여 줍니다. 질문은 영화 「Kiss and Tell」에서 코를리스 아처를 연기한 배우가 맡았던 정부 직책이었고, 모델에는 압축 이미지 15장이 들어갔습니다.

ml-lensvlm 예시 실행

> 질문 영화 Kiss and Tell에서 코를리스 아처를 연기한 배우가 맡았던 정부 직책은?
입력 압축 이미지 15장

생각 10쪽에 미국 배우 이야기가 있다
도구 호출 read_page(10)

흐릿한 이미지로 고른 10쪽만 원문으로 받습니다

10쪽 원문을 받음
그 배우가 미국 의전장을 지냈다는 문장

답 미국 의전장

모델은 read_page라는 이름의 Expand 도구로 10쪽을 불러왔고, 두 번 주고받은 끝에 답을 냈습니다. 한 질문에 주고받는 횟수는 여섯 번까지로 제한돼 있는데, 실험에서 도구 호출은 평균 1.3번이었습니다. 한 번만 불러도 정확도 상승분의 대부분이 나왔습니다.

Expand 도구가 돌려주는 자료 세 가지

연구진은 도구가 돌려주는 자료를 원문 텍스트, OCR 텍스트, 고해상도 이미지 세 가지로 바꿔 가며 실험했습니다. OCR 텍스트는 원문이 없을 때 이미지 속 글자를 인식해 뽑은 글입니다.

도구가 돌려주는 자료별 결과

입력 자료	원문 텍스트	OCR 텍스트	고해상도 이미지
글을 찍어 만든 이미지	가장 정확	원문과 비슷	–
표와 그림이 있는 실제 PDF	–	고해상도보다 낮음	글만 뽑을 때보다 나음

LensVLM 학습 방법과 단계별 효과

기반 모델은 Expand 도구를 쓸 줄 모르기 때문에 연구진은 가르칠 문제를 먼저 골라낸 뒤 세 단계로 학습시켰습니다.

도구 사용을 가르친 순서

1. 1틀린 문제 고르기압축 이미지만 보고 틀린 문제
   전체의 73.5%
2. 2모범 풀이 만들기Qwen3.5-397B가 추론과
   도구 호출을 섞어 작성
3. 3지도 미세조정정답이 있는 풀이를
   따라 하게 학습
4. 4강화학습직접 풀어 보고
   답이 맞으면 점수

모범 풀이는 더 큰 모델인 Qwen3.5-397B가 질문과 정답, 근거 원문을 함께 받아 썼습니다. 지도 미세조정(SFT)은 정답이 있는 예시를 따라 하게 하는 추가 학습이고, 강화학습(RL)은 모델이 직접 풀어 본 결과에 점수를 주는 학습입니다. 단계마다 정확도가 이렇게 올랐습니다.

도구 사용법은 지도 미세조정에서 거의 다 익혔고, 강화학습은 어느 쪽을 고를지 판단을 다듬었습니다. 근거가 있는 쪽을 맞게 고른 비율은 5배에서 76.8%, 10배에서 71.0%, 15배에서 52.1%입니다. 이미지를 읽는 시각 인코더는 학습 내내 고정했고 언어 모델 부분만 고쳤습니다.

같은 방법으로 크기가 다른 모델 세 개도 학습시켰습니다.

모델 크기별 5배 압축 정확도

• 2B45.5%
• 4B56.3%
• 9B68.9%공개된 LensVLM-9B

연구진은 시험한 세 크기 가운데 9B에서 도구 사용이 가장 안정적이었다고 설명합니다.

RAG와 견준 벤치마크 결과

평가 지표는 정해진 질문 묶음인 질의응답 벤치마크 일곱 개의 평균 정확도입니다. 넷은 학습에 쓴 데이터셋과 같은 종류이고 셋은 학습에 쓰지 않은 종류입니다. 비교 방식에서도 답을 쓰는 모델은 모두 Qwen3.5-9B-Base로 맞췄습니다.

아래 막대에는 원문 전체와 압축 이미지만 넣은 경우 사이에 세 가지 비교 방식이 들어 있습니다. BM25는 낱말이 겹치는 정도로 문서를 찾는 키워드 검색이고, BGE-M3는 글을 숫자 묶음으로 바꿔 뜻이 가까운 문서를 찾는 임베딩 검색입니다. LLMLingua-2는 덜 중요한 토큰을 지워 입력을 줄이는 방식입니다. 실효 압축은 원문 토큰 수를 모델이 실제로 처리한 토큰 수로 나눈 값입니다. LensVLM은 도구가 돌려준 원문까지 읽으므로 실효 압축이 이름에 붙은 배수보다 낮습니다.

5배 압축 설정의 평균 정확도

• 원문 전체(상한)72.4%
• LensVLM68.9%실효 압축 4.3배
• BGE-M3 임베딩 검색65.1%
• BM25 키워드 검색62.5%
• LLMLingua-247.2%
• 압축 이미지만31.3%

15배 압축 설정의 평균 정확도

• 원문 전체(상한)72.4%
• LensVLM52.1%실효 압축 10.1배
• BGE-M3 임베딩 검색51.9%실효 압축 11.9배
• BM25 키워드 검색50.8%
• LLMLingua-233.0%
• 압축 이미지만18.1%

그 사이인 10배 설정에서는 LensVLM 62.1%, BGE-M3 57.1%, BM25 55.7%, LLMLingua-2 37.6%, 압축 이미지만 21.0%였고 LensVLM의 실효 압축은 7.4배였습니다. 두 막대 그래프에서 알 수 있는 점은 세 가지입니다.

• 낮은 압축에서는 상한에 가깝습니다. 5배 설정에서 68.9%로, 원문을 전부 넣은 72.4%와 3.5퍼센트포인트 차이입니다.
• 15배 설정에서는 검색 방식과 차이가 거의 없습니다. 10배 설정에서는 두 검색 방식보다 5.0에서 6.4퍼센트포인트 앞섰지만, 15배에서는 LensVLM 52.1%, BGE-M3 51.9%입니다. 이때 BGE-M3는 실효 압축도 11.9배로 LensVLM의 10.1배보다 높았습니다.
• 데이터셋에 따라 검색이 앞서기도 합니다. 학습에 쓰지 않은 데이터셋 가운데 5배 설정의 RULER에서는 BM25와 임베딩 검색이, Qasper에서는 일부 임베딩 검색이 LensVLM보다 높았습니다.

그래서 LensVLM을 RAG의 대체로 보기는 어렵고, 논문도 두 방식이 서로 보완한다고 적었습니다. 논문에서 비교한 검색 방식은 문서 전체의 색인, 즉 검색용 목록을 미리 만들고, 임베딩 계산에는 GPU를 쓸 수 있습니다. LensVLM은 사전 작업으로 CPU에서 이미지를 만듭니다. 같은 문서에 질문이 반복된다면 만들어 둔 색인을 다시 쓰는 검색 방식이 유리해집니다.

PDF와 코드에서의 결과

글이 아닌 자료로도 시험했습니다. PDF 실험은 문서 데이터로 따로 학습한 변형 모델의 결과이고, 공개된 LensVLM-9B와는 다른 모델입니다.

PDF 문서는 5배 압축에서 도구 없이 읽었을 때가 조금 높았고, 압축이 커질수록 도구를 썼을 때가 앞섰습니다. 코드는 코드 데이터로 따로 학습하지 않고도 효과가 있었지만 원문을 넣은 65.6%와는 차이가 큽니다.

메모리는 줄고 응답 시간은 늘어납니다

논문 부록에 효율 측정이 있고, 측정 장비는 엔비디아 B200 GPU 여덟 장입니다. 15배 설정에서 이미지 20장 분량의 입력은 10,686토큰에서 2,288토큰으로 78.6% 줄었고, 100장 분량은 51,273토큰에서 8,090토큰으로 84.2% 줄었습니다.

15배 압축의 효율 측정 결과

• 84.2%줄어든 입력 토큰100장 분량 기준
• 253MiBGPU당 KV 캐시원문 전체는 1,602MiB
• 17초도구를 한 번 부를 때 응답 시간(약)원문을 한 번에 읽으면 약 8초

KV 캐시는 모델이 앞서 읽은 내용을 다시 계산하지 않으려고 GPU 메모리에 쌓아 두는 값입니다. 토큰이 줄어든 만큼 이 값도 줄었습니다. MiB는 메모리 용량 단위이고, 이 수치는 KV 캐시만 측정한 값이라 가중치를 올리는 메모리는 따로 듭니다.

응답 시간이 늘어난 이유는 도구를 한 번 부르면 추론을 두 번 이어서 해야 하기 때문입니다. 애플도 이 방법의 목표가 속도가 아니라 압축으로 잃은 정확도를 되찾는 것이라고 적었습니다. 응답을 바로 돌려줘야 하는 서비스보다는 메모리가 빠듯한 환경에서 긴 문서를 처리하는 작업에 맞는 구성으로 보입니다.

LensVLM-9B 라이선스

가중치를 받기 전에 라이선스부터 봐야 합니다. 모델 파일에는 Apple Machine Learning Research Model License가 적용됩니다.

원본 가중치와 파생 모델의 이용 범위

용도	LensVLM-9B 원본	파생 모델미세조정, 양자화
비상업적 과학 연구와 학술 목적	제공	제공
상업적 이용	제공하지 않음	제공하지 않음
제품 개발	제공하지 않음	제공하지 않음
상업 제품이나 서비스에 넣기	제공하지 않음	제공하지 않음

연구 목적이라면 복제와 수정, 재배포도 허용됩니다. 재배포할 때는 라이선스 사본과 출처 문구를 함께 제공하고 수정한 내용을 밝혀야 합니다. 조건을 어기면 애플이 라이선스를 해지할 수 있고, 해지되면 사본을 지워야 합니다.

허깅페이스에는 이 모델을 양자화한, 즉 숫자 정밀도를 낮춰 파일을 줄인 변형이 아홉 개 올라와 있습니다. 원래 모델을 고쳐 만든 파생 모델이므로 같은 조건을 따른다고 보는 편이 맞습니다. 기반 모델인 Qwen3.5의 라이선스와 별개로, 애플이 고친 부분까지 포함한 전체 파일에 이 조건이 걸립니다. 코드는 Apple Sample Code License로 따로 배포됩니다.

연구 환경에서 공식 예시를 실행하는 순서

Python과 Git, vLLM을 쓸 수 있는 연구용 장비에서 따라 하는 순서입니다. vLLM은 모델을 메모리에 올려 답을 생성하는 프로그램입니다. 가중치만 18.8GB라 내려받을 공간과 GPU 메모리 여유를 먼저 봐 둡니다.

저장소를 받아 내 문서로 실행하기까지

1. 11. 저장소 받기git clone 후
   ml-lensvlm 폴더로 이동
2. 22. 가상 환경venv를 만들고 활성화
   이번 실험 패키지만 따로
3. 33. 패키지 설치requirements.txt 설치
   오류 없이 끝나면 다음
4. 44. 공식 예시run_demo.py 실행
   demo_output에 result.json
5. 55. 내 문서로demo.py에 텍스트 파일 지정
   answer와 pages_expanded

1~3단계는 터미널에서 아래 명령으로 진행합니다. 가상 환경은 이번 실험의 Python 패키지를 다른 작업과 분리해 설치하는 폴더이고, 활성화 명령은 Linux 셸 기준입니다.

설치가 오류 없이 끝나면 4단계로 공식 예시를 실행합니다. 이 명령은 실행 중에 가중치를 내려받기도 합니다. 처음에는 저장소의 예시만 돌리고 개인 문서나 고객 자료는 넣지 않습니다.

터미널에 질문과 기준 정답(Gold Answer), 모델의 대화와 도구 호출이 차례로 나오고 마지막에 저장 경로가 표시되면 실행이 끝난 것입니다. demo_output 폴더에는 이미지와 result.json이 생깁니다. Gold Answer는 데이터셋이 정해 둔 정답이므로, 모델의 답은 대화 끝에서 찾아 이 값과 비교합니다. 공식 예시의 기준 정답은 미국 의전장입니다.

5단계는 비상업적 연구용 텍스트로 진행합니다. demo.py는 텍스트 파일을 받아 직접 이미지로 찍습니다. 저장소 폴더 안에 document.txt를 두고, 아래 질문을 그 문서에서 답을 찾을 수 있는 내용으로 바꿉니다.

my_document_result/result.json을 텍스트 편집기로 열면 answer에 답, pages_expanded에 펼친 이미지 번호가 있습니다. 답을 원문과 대조한 뒤 질문을 바꿔 다시 돌릴 때는 --output_dir ./my_document_repeat처럼 저장 폴더도 바꿔 앞의 결과를 남깁니다.

실행을 멈추려면 Ctrl+C를 누릅니다. 이미 내려받은 파일과 만들어진 결과는 그대로 남고, 다시 실행할 때는 저장소 폴더에서 가상 환경부터 활성화합니다.

LensVLM 방식 가운데 실무에 적용할 수 있는 것

라이선스 때문에 이 모델을 서비스에 바로 넣을 수는 없지만, ‘먼저 위치를 찾고 원문을 확인한다’는 절차는 가져다 쓸 수 있습니다. 연구진은 학습하지 않은 모델 두 가지에 프롬프트만으로 같은 절차를 적용했습니다. 압축 이미지를 주고 어느 쪽에 답이 있을지 고르게 한 뒤 그 쪽의 원문을 넘기는 방식입니다. 압축 이미지만 줬을 때보다 Qwen3.5-9B-Base는 7.9에서 10.2퍼센트포인트, Claude Sonnet 4.6은 평균 4.8에서 9.0퍼센트포인트 올랐습니다.

오른 뒤의 정확도는 높지 않았습니다. 학습하지 않은 Qwen3.5-9B-Base는 5배 설정에서 39.2%로 BM25의 62.5%에 못 미쳤고, 논문도 위치를 제대로 고르려면 추가 학습이 필요하다고 적었습니다. 어느 방식이 맞는지는 문서와 질문의 성격에 따라 달라집니다.

문서와 질문의 성격별로 비교해 볼 방식

이런 경우	압축 이미지LensVLM 방식	RAG검색 후 조각 입력	원문 직접 입력
근거가 문서 여러 곳에 흩어져 상위 몇 조각만 뽑으면 빠진다	제공	–	–
표와 그림 배치가 답에 영향을 주는 PDF	고해상도 확대와 함께	–	–
색인을 만들 시간이 없거나 한 번만 쓰는 문서	제공	–	–
근거가 몇 군데에 몰려 있고 같은 문서에 질문이 반복된다	–	제공	–
응답 속도가 중요한 서비스	–	제공	제공

RAG와 미세조정 가운데 무엇을 고를지는 RAG와 파인튜닝 차이에 따로 정리해 두었습니다.

지금 이 모델에서 얻을 것은 가중치보다 방식이라고 생각하는 편입니다. 문서를 흐릿하게라도 전부 보여 주고 모델이 필요한 부분을 스스로 고르게 하는 절차는 다른 모델에 프롬프트로도 적용할 수 있습니다. 긴 문서를 다룰 때 메모리가 먼저 부족해지는지, 응답 시간이 먼저 문제가 되는지를 보고, 메모리가 문제라면 작은 범위에서 시험해 볼 만합니다.

자주 묻는 질문

LensVLM-9B를 회사 서비스에 써도 되나요?

쓸 수 없습니다. 라이선스가 비상업적 과학 연구와 학술 목적으로 범위를 정했고 상업적 이용과 제품 개발, 상업 서비스에 넣는 것을 명시적으로 제외했습니다. 미세조정하거나 양자화한 파생 모델도 같은 조건을 따릅니다.

LensVLM이 RAG를 대체하나요?

논문 결과만 보면 대체보다 보완에 가깝습니다. 5배 압축에서는 LensVLM이 텍스트 검색 방식보다 3.8에서 6.4퍼센트포인트 높았지만 15배에서는 임베딩 검색과 거의 같았고, 일부 데이터셋에서는 검색이 앞섰습니다. 값싼 검색으로 관련 없는 부분을 먼저 걸러 낸 뒤 이미지로 찍는 조합도 가능하다고 논문에 적혀 있습니다.

맥이나 개인 컴퓨터에서 실행할 수 있나요?

공식 예시는 BF16 가중치와 vLLM을 사용하고, 가중치 파일만 18.8GB입니다. 실행하려면 가중치 외에 문서 길이에 따라 늘어나는 캐시 메모리와 실행 엔진의 메모리가 더 듭니다. 논문의 B200 여덟 장은 학습과 측정에 쓴 장비입니다. 파일 크기가 메모리보다 작아도 GPU에 올라가지 않는 경우는 Qwen3.8 27B 로컬 실행 결과에서 다뤘습니다.

Sources

• apple/LensVLM-9B 모델 카드 (Hugging Face)
• Apple Machine Learning Research Model License 원문 (Hugging Face)
• LensVLM: Selective Context Expansion for Compressed Visual Representation of Text (arXiv 2605.07019)
• apple-aiml-research/ml-lensvlm (GitHub)
• LensVLM 연구 소개 (Apple Machine Learning Research)

3줄 요약

1. LensVLM-9B는 애플이 2026년 9월 21일 공개한 94억 파라미터 비전 언어 모델로, 글을 압축 이미지로 훑은 뒤 필요한 쪽의 원문을 불러와 답합니다.

2. 논문의 5배 압축 설정에서 질의응답 벤치마크 일곱 개의 평균 정확도는 68.9%로 원문 전체를 넣은 72.4%에 가깝고, 실제 처리한 토큰 기준 압축은 4.3배입니다.

3. 15배 설정에서는 임베딩 검색과 정확도가 거의 같아 RAG를 대체하기보다 보완하는 방식이며, 가중치와 파생 모델은 비상업적 연구에만 쓸 수 있습니다.