타이핑 제안에 소형 온디바이스 모델이면 충분한 이유

더 나은 추천을 받으려면 더 큰 모델, 즉 더 많은 매개변수와 연산 능력, API 호출을 처리하는 데이터센터 GPU가 필요하다고 생각하기 쉽습니다. 자유 형식 생성에서는 이런 생각이 흔히 맞습니다. 하지만 다음 구절 자동 완성은 본질적으로 다르고 범위가 더 좁은 작업이며, 노트북 CPU에서 실행되는 간결한 양자화 모델이 이 작업에 잘 맞습니다.

자동 완성은 개방형 작업이 아니라 제약된 작업입니다

빈 페이지에서 에세이를 쓰도록 대규모 언어 모델에 요청하면 구조, 논리 전개, 어조에 관해 거의 제약 없이 수천 가지 결정을 내려야 합니다. 바로 이럴 때 모델 규모가 빛을 발합니다. 일반적으로 매개변수가 많을수록 선택할 수 있는 그럴듯한 결과의 범위가 넓어집니다.

다음 구절 예측은 다른 문제입니다. 모델은 사용자가 시작한 문장과 주변 맥락, 그리고 Typeahead의 경우 입력 중인 앱이라는 강력한 단서를 이미 알고 있습니다. 아무것도 없는 상태에서 생성하는 것이 아니라, 이미 제약된 짧은 문장을 이어 완성합니다. 이러한 제약 덕분에 소형 모델도 충분히 사용할 수 있습니다. 선택할 만한 그럴듯한 완성 문구가 더 적으므로, 적절한 것을 고르는 데 필요한 순수한 용량도 줄어듭니다.

양자화의 효과

일반적으로 기본 언어 모델의 가중치는 16비트 또는 32비트 부동소수점 숫자로 저장됩니다. 양자화는 이 가중치를 4비트나 8비트 표현처럼 더 낮은 정밀도로 압축하며, 정확도가 조금 낮아지지만 대체로 감수할 만한 수준입니다. 그 결과 모델 파일의 크기가 원래보다 훨씬 작아지고, 전용 GPU가 없는 노트북을 포함한 일반 소비자용 하드웨어에서도 유용한 추론을 충분히 빠르게 실행할 수 있습니다.

이 방식 덕분에 모델을 서버 랙이 아니라 사용자의 Windows PC에 완전히 설치해 실행하는 것이 현실적으로 가능해집니다. 수백 MB에서 1 GB 초반대 크기의 양자화 모델은 디스크와 메모리에서 이미 실행 중인 다른 프로그램과 함께 무리 없이 사용할 수 있습니다.

Typeahead의 모델 크기 구성

Windows용 Typeahead에는 선택 가능한 모델이 세 가지 있습니다. 이를 통해 컴퓨터에 맞는 속도와 추천 품질의 균형을 선택할 수 있습니다.

세 모델 모두 llama.cpp를 통해 실행됩니다. 이 추론 엔진은 일반 CPU와 소비자용 GPU에서 언어 모델을 효율적으로 실행하도록 특별히 제작되었습니다. 세 모델 모두 Qwen 3.5을 기반으로 하며, 100개 이상의 언어를 지원하는 다국어 모델 계열입니다. 따라서 언어를 수동으로 전환하지 않아도 현재 입력 중인 언어에 맞춰 추천 언어가 정해집니다.

클라우드에 의존하지 않는 이유

모델이 로컬에서 실행될 만큼 작기 때문에 Typeahead는 복잡한 처리를 위해 서버를 사용할 필요가 없습니다. 이는 개인정보 보호에 직접적인 영향을 줍니다. 입력한 내용이 어디에도 전송되지 않습니다. 또한 실용적인 이점도 있습니다. 인터넷 연결, API 요청 한도, 원격 서비스의 가동 상태에 의존하지 않고 추천을 사용할 수 있습니다.

모델을 다운로드하기 전에도 이용할 수 있는 기능

Typeahead는 설치 첫날부터 유용한 기능을 제공하는 데 모델이 필요하지 않습니다. 사용자 지정 스니펫과 사전 기반 자동 완성은 모델을 다운로드하기 전, 설치 직후부터 작동합니다. 세 가지 모델 중 하나를 선택하면 AI 기반 문장 추천 기능이 추가됩니다.

자주 묻는 질문

Typeahead 다운로드

빠름, 균형 또는 최대 중에서 선택하세요. 모두 포함되어 있으며 추가 요금은 없습니다. $9.99. 일회성

Microsoft Store에서 다운로드