모든 자동 완성 도구는 어딘가에서 언어 모델을 실행해야 합니다. 그 ‘어딘가’가 핵심입니다. 서버에서 실행하면 키 입력 내용을 먼저 서버로 보내야 합니다. 자신의 기기에서 실행하면 입력 내용은 기기 밖으로 나가지 않습니다. 화면에 표시되는 제안은 어느 쪽이든 똑같아 보일 수 있습니다. 실제로 연산이 어디에서 이루어졌는지 물어보기 전까지는 그 차이가 보이지 않습니다.
이는 추상적인 차이가 아닙니다. 회사가 기술적으로 사용자의 텍스트를 어떻게 처리할 수 있는지, 서버 침해가 발생했을 때 무엇이 노출되는지, Wi-Fi를 끈 비행기 안에서도 자동 완성 도구를 사용할 수 있는지를 좌우합니다. 내부 구조에서 실제로 무엇이 다른지 살펴보겠습니다.
클라우드 자동 완성 작동 방식
클라우드 기반 글쓰기 도우미는 일반적으로 가벼운 클라이언트(브라우저 확장 프로그램이나 작은 백그라운드 프로세스)를 원격 서버에서 실행되는 대형 모델과 함께 사용합니다. 작동 흐름은 다음과 같습니다.
- 텍스트 입력란에 몇 단어를 입력합니다.
- 클라이언트가 주변 텍스트를 수집해 네트워크를 통해 공급업체의 API로 보냅니다.
- 공급업체의 인프라에서 실행되는 대형 모델이 문장을 완성합니다.
- 제안이 다시 전송되어 입력란에 고스트 텍스트로 표시됩니다.
이 왕복 과정은 입력을 잠시 멈출 때마다 발생합니다. 즉, 초안 이메일, 채팅 메시지, 내부 메모 등 작성 중인 내용이 지속적으로 제삼자의 서버를 거칩니다. 일부 공급업체는 모델 개선, 악용 감지 또는 디버깅을 위해 이 데이터를 기록합니다. 기록하지 않는 곳도 있습니다. 일반 사용자는 외부에서 어느 쪽이 사실인지 대체로 확인할 수 없으며, 개인정보 보호정책이 업데이트되면 약관이 바뀔 수도 있습니다.
로컬 LLM 작동 방식
온디바이스 도구는 아키텍처를 반대로 바꿉니다. 클라이언트뿐 아니라 모델 자체도 사용자 기기에 있습니다.
모델은 한 번 다운로드합니다
설정 중에 소형 양자화 모델 파일을 디스크에 다운로드합니다. 그러면 작동에 추가 네트워크 연결이 필요하지 않습니다.
추론은 CPU/GPU에서 이루어집니다
입력을 멈추면 추론 엔진을 통해 모델이 로컬에서 실행되어 메모리에서 주변 텍스트를 직접 읽습니다. 텍스트는 프로세스 밖으로 나가지 않습니다.
네트워크 왕복 없음
텍스트를 보낼 서버가 없으므로 가로채거나 기록하거나 보관할 요청도 없습니다. 제안은 동일한 로컬 프로세스에서 생성된 뒤 폐기됩니다.
Windows용 Typeahead 은 이런 방식으로 구축되었습니다. llama.cpp를 통해 제공되는 Qwen 3.5 로컬 모델을 PC에서 직접 실행합니다. 필요한 네트워크 활동은 모델 파일 다운로드와 앱 업데이트 확인뿐입니다. 제안을 생성할 때는 연결이 전혀 필요하지 않으며, 입력한 텍스트는 어디에도 전송되지 않습니다.
‘텔레메트리 없음’의 실제 의미
‘개인정보 보호를 고려한’이라는 표현은 내부 구현이 저마다 다른 수많은 제품에 붙습니다. 진정한 로컬 아키텍처가 기술적으로 무엇을 배제하는지 구체적으로 살펴볼 필요가 있습니다. 계약상 약속만이 아니라 실제 구현 측면에서 말입니다.
서버가 관여하지 않으므로 잘못 설정될 수 있는 텍스트 기록 파이프라인도, 메시지 내용이 실수로 포함될 수 있는 분석 대시보드도, 나중에 침해 사고나 인수 또는 데이터 사용 정책 변경에 휘말릴 수 있는 사용자 텍스트 데이터세트도 없습니다. 클라우드 경로가 없다는 것은 정책상의 약속이 아니라 아키텍처의 특성입니다.
절충점: 모델 크기와 성능
이런 선택에는 대가가 따릅니다. 디스크 공간 600 MB–2.5 GB 안에서 노트북 CPU로 완전히 실행되는 모델은 데이터센터 GPU에서 클라우드 서비스가 실행하는 거대한 모델보다 작습니다. 처음부터 완성된 에세이를 작성하는 것과 같은 개방형 작업에서는 거대한 클라우드 모델이 여전히 순수한 창작 범위 면에서 우위에 있습니다. 균형형에는 시스템 메모리 8 GB가 필요하며, 최대형에는 전용 그래픽 카드 자체 메모리 8 GB와 시스템 메모리 16 GB가 필요합니다.
하지만 다음 구절 자동 완성은 개방형 생성보다 범위가 좁은 작업입니다. 아무것도 없는 상태에서 새 콘텐츠를 작성하는 것이 아니라, 이미 시작한 문장을 그럴듯하게 짧게 이어 쓰는 작업입니다. 작고 잘 조정된 로컬 모델은 이 작업을 잘 처리할 수 있습니다. 따라서 이 사용 사례에서는 범용 채팅과 비교해 크기 때문에 치르는 절충이 훨씬 작습니다.
| 항목 | 로컬 LLM(Typeahead) | 클라우드 자동 완성 |
|---|---|---|
| 추론이 실행되는 위치 | 내 기기 | 공급업체 서버 |
| 네트워크를 통해 전송되는 텍스트 | 전송되지 않음 | 제안이 생성될 때마다 |
| 오프라인 작동 | 예 | 아니요 |
| 계정 필요 | 아니요 | 일반적으로 전송됨 |
| 공급업체가 침해당했을 때의 노출 | 없음 — 서버 측에 저장되는 텍스트 없음 | 보존 정책에 따라 다름 |
이 차이가 가장 중요한 경우
민감한 내용을 입력하는 사람에게 로컬 방식과 클라우드 방식의 차이는 이론에 그치지 않습니다. 계정 정보를 다루는 고객 지원 담당자, 메모를 작성하는 의료·법률 분야 종사자, 기밀 유지 계약에 따라 글을 쓰는 사람 등이 그렇습니다. 기차 안이나 지하 사무실, 또는 연결 상태가 불안정한 곳에서 글을 쓸 때도 마찬가지입니다. 클라우드 도구는 작동을 멈추지만 로컬 도구는 이를 알아차리지 못합니다.
Typeahead는 이를 설정이 아니라 기본 원칙으로 삼습니다. 비밀번호 입력란은 항상 무시되며, 비밀번호 관리자와 금융 앱은 처음부터 보호됩니다. 이 보호를 끄는 토글도 없습니다. 입력한 텍스트가 애초에 기기 밖으로 나가지 않는다는 점은 물론 별개로 적용됩니다.
자주 묻는 질문
Typeahead는 입력한 텍스트를 어디로든 전송하나요?
도구가 실제로 로컬에서 작동하는지, 아니면 그렇다고 주장만 하는지 확인할 수 있나요?
소형 로컬 모델이 대형 클라우드 모델만큼 좋나요?
Typeahead를 사용하려면 계정이나 로그인이 필요한가요?
Typeahead는 인터넷에서 무엇을 다운로드하나요?
Typeahead 다운로드
서버가 아닌 기기에서 생성되는 제안. 일회성 구매 $9.99, 7일 무료 체험.
Microsoft Store에서 다운로드