Ollama(올라마): 로컬에서 LLM(Gemma 3 모델) 실행하기

안녕하세요? 이번 글에서는 로컬에서 대규모 언어 모델(LLMs: Large Language Models)을 바로 시작해볼 수 있는 Ollama(올라마)를 이용해, Google의 Gemma(젬마) 3 모델 실행 방법을 학습해 보겠습니다.

 

Ollama는  DeepSeek-R1, Qwen 3, Llama 3.3, Qwen 2.5‑VL, Gemma 3 등 다양한 모델을 로컬에서 실행할 수 있습니다. 먼저 Ollama 다운로드 웹사이트로 이동하겠습니다.

Ollama

 

Download를 클릭합니다.

 

Download for Windows를 클릭합니다.

 

OllamaSetup.exe를 다운로드 및 설치를 진행합니다.

 

설치가 완료되면, 작업 표시줄에 알림이 표시되고 트레이 아이콘에 Ollama가 추가됩니다.

 

알림을 클릭하면 Windows PowerShell이 실행됩니다.

 

이어서 Gemma 3 모델을 다운로드 받아보겠습니다.

gemma3

 

Gemma는 Google이 Gemini 기술을 기반으로 개발한 경량 모델 계열입니다. Gemma 3 모델은 텍스트와 이미지를 모두 처리할 수 있는 멀티모달 모델로, 128K 컨텍스트 윈도우를 지원하며 140개 이상의 언어를 처리할 수 있습니다. 1B, 4B, 12B, 27B 파라미터 규모로 제공되며, 질의응답, 요약, 추론과 같은 작업에서 뛰어난 성능을 발휘합니다. 또한 컴팩트한 설계 덕분에 자원이 제한된 디바이스에서도 활용이 가능합니다.

 

여기서는 gemma3:4b 모델을 다운로드 받아보겠습니다. 저는 D드라이브에 Ollama 모델 저장 위치 폴더를 생성하고, 해당 폴더를 사용자 환경 변수로 설정했습니다. 환경 변수 설정 적용을 위해 Ollama를 재시작합니다.

@echo off
REM Ollama 모델 저장 위치 폴더 생성
mkdir D:\ollama\models

REM 사용자 환경 변수 설정
setx OLLAMA_MODELS D:\ollama\models

 

이제 모델을 다운로드 및 실행해 보겠습니다. 저는 편의상 배치 파일(bat: batch file)을 만들었습니다.

ollama_setup.bat

0.00MB

REM 모델 다운로드
ollama pull gemma3:4b

REM 모델 실행
ollama run gemma3:4b

 

이제 로컬에서 Gemma 3 모델을 실행할 수 있습니다.