Qwen LLM으로 한국어 챗봇 만들기: Ollama + Open WebUI 완전 가이드 3편 (초심자용)

지난 2편에서는 Qwen LLM을 PC에 직접 설치하고 첫 실행까지 해봤습니다. 이번 3편에서는 한 단계 더 나아가서 Ollama와 Open WebUI를 활용해 ChatGPT처럼 깔끔한 인터페이스로 Qwen과 대화하는 나만의 한국어 챗봇을 만들어보겠습니다.

설치부터 실제 사용까지 초심자도 따라할 수 있도록 단계별로 설명드릴게요.

Ollama란 무엇인가요?

Ollama는 로컬 LLM을 가장 쉽게 실행할 수 있는 도구입니다. 복잡한 환경 설정 없이 명령어 한 줄로 Qwen, Llama, Mistral 같은 대형 언어 모델을 PC에서 바로 실행할 수 있어요.

공식 사이트: ollama.com
지원 OS: Windows, macOS, Linux
핵심 장점: 설치 쉬움, 모델 관리 간편, API 자동 제공

1단계: Ollama 설치

Windows 기준

ollama.com 접속
Download for Windows 버튼 클릭
다운로드된 OllamaSetup.exe 실행
설치 완료 후 시스템 트레이에 Ollama 아이콘 확인

설치가 끝나면 터미널(PowerShell 또는 CMD)을 열어 확인해봅니다.

ollama --version

버전 번호가 뜨면 설치 성공입니다!

2단계: Qwen 모델 다운로드

Ollama로 Qwen 모델을 받는 방법은 아주 간단합니다. 터미널에서 아래 명령어를 입력하세요.

권장 모델 (VRAM에 따라 선택)

모델	크기	최소 VRAM	추천 대상
qwen2.5:3b	약 2GB	4GB	저사양 PC
qwen2.5:7b	약 4.5GB	8GB	일반 PC
qwen2.5:14b	약 9GB	16GB	고사양 PC

# 7B 모델 추천 (처음 시작이라면)
ollama pull qwen2.5:7b

다운로드 완료 후 바로 터미널에서 대화 테스트도 가능합니다.

ollama run qwen2.5:7b

프롬프트가 뜨면 한국어로 질문해보세요. 한국어 응답이 잘 나오면 준비 완료입니다!

3단계: Open WebUI 설치

터미널 챗봇도 좋지만, ChatGPT처럼 웹 브라우저에서 편하게 사용하고 싶으시죠? 바로 Open WebUI가 그 역할을 합니다.

Docker로 설치하기 (가장 쉬운 방법)

먼저 Docker Desktop이 설치되어 있어야 합니다.

docker.com 에서 다운로드 후 설치

Docker 설치 후 터미널에서 아래 명령어 한 줄 실행:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always

ghcr.io/open-webui/open-webui:main

명령어 실행 후 1~2분 기다렸다가 브라우저에서 접속합니다.

http://localhost:3000

4단계: Qwen 모델 연결하기

Open WebUI에 처음 접속하면 회원가입 화면이 나옵니다. 이건 로컬 계정이니 간단하게 만들어주세요.

로그인 후 순서:

좌측 상단 모델 선택 드롭다운 클릭
qwen2.5:7b 선택 (아까 다운로드한 모델)
채팅창에 바로 한국어로 입력

Ollama가 백그라운드에서 실행 중이라면 Open WebUI가 자동으로 연결됩니다.

5단계: 한국어 챗봇 성능 확인

실제로 몇 가지 한국어 질문으로 테스트해봤습니다.

질문 1: “삼계탕 레시피 간단하게 알려줘”

→ 재료와 조리 순서를 자연스러운 한국어로 설명 ✅

질문 2: “파이썬으로 계산기 코드 짜줘”

→ 주석까지 한국어로 달린 코드 출력 ✅

질문 3: “오늘 날씨 어때?”

→ 인터넷 연결 없는 로컬 모델이라 실시간 정보는 불가 (예상된 한계) ⚠️

전반적으로 일상 대화, 글쓰기, 코딩 보조 역할은 충분히 해낼 수 있는 수준입니다.

자주 묻는 질문

Q. GPU 없이도 되나요?

A. 네, CPU만으로도 실행 가능합니다. 다만 응답 속도가 많이 느려요. 3B 모델부터 시작해보세요.

Q. 인터넷 없이도 사용 가능한가요?

A. 모델 다운로드 후에는 완전 오프라인 사용 가능합니다. 데이터가 외부로 나가지 않아 보안에도 좋아요.

Q. Open WebUI 대신 다른 UI는 없나요?

A. LM Studio, Msty 등도 있지만 Open WebUI가 가장 기능이 많고 ChatGPT와 UX가 가장 비슷합니다.

마무리

이번 3편에서는 Ollama와 Open WebUI로 나만의 로컬 한국어 챗봇을 완성했습니다. 인터넷 없이, 비용 없이, 개인 데이터 유출 걱정 없이 AI를 마음껏 쓸 수 있게 됐네요.

다음 4편에서는 Qwen LLM과 Llama 3, Mistral을 한국어 기준으로 직접 비교해드릴 예정입니다. 어떤 모델이 한국어를 가장 잘 할까요? 다음 편도 기대해주세요!