[인공지능] 내 노트북에서 ChatGPT 같은 오픈소스 인공지능 챗봇(ChatBot) 구축하기(GPT4All)

 

목차

 

0. 개요

내가 가진 노트북, PC에서 ChatGPT같은 챗봇을 구축해서 구동시킬 수 있습니다.

이제 내가 가진 노트북에서 오픈소스 인공지능 챗봇(ChatBot)을 구동시키는 방법을 알아보도록 하겠습니다.

메타에서 오픈소스로 내놓은 LLaMa이후에 수많은 오픈소스 인공지능 챗봇이 등장하고 있습니다.

오늘 소개 해드리는 'GPT4All' 인공지능 챗봇 역시 LLaMa를 기반으로 한 오픈소스 어시스턴트 대형 언어 모델(LLM)입니다

 

GPT4All 오픈소스 링크 : https://github.com/nomic-ai/gpt4all

GitHub - nomic-ai/gpt4all: gpt4all: an ecosystem of open-source chatbots trained on a massive collections of clean assistant dat

 

제가 사용하고 있는 노트북 사양은 다음과 같습니다.

노트북 환경 모델명 : MacBook Pro 13, M2, 2022년 모델 칩 : Apple M2 메모리 : 24GB macOS : Ventura 13.4.1

 

1. 내 노트북에서 구동되는 오픈소스 인공지능 챗봇 'GPT4All' 설치하기

이제 본격적으로 내 노트북에 오픈소스 인공지능 챗봇을 설치해보도록 하겠습니다.

 

1) 파이썬 설치 여부 확인

터미널 프로그램을 실행시켜서 파이썬3가 설치되어 있는지 확인을 합니다.

python --version

파이썬 3.9.6이 설치되어 있음을 확인할 수 있습니다.

사실 실행 파일을 구동하는 것이기 때문에 파이썬은 설치를 안해도 되지만

추후에 파이썬을 통해서 챗봇 서비스를 개발하려고 생각하신다면

파이썬을 설치를 해놓는것이 좋습니다.

 

 

2) GitHub 저장소에서 'GPT4All' 다운로드(Clone)하기

오픈소스는 대부분 GitHub 저장소를 사용합니다.

터미널 프로그램에서 다음의 명령어로 내 PC에 GPT4All 저장소를 다운로드합니다.

git clone https://github.com/nomic-ai/gpt4all.git

gpt4all 폴더가 생성되고, 저장소에 내용이 복사된것을 확인할 수 있습니다.

 

3) GPT4All 모델 다운로드

GPT4All CPU 양자화 모델을 다운로드하도록 하겠습니다.

양자화는 구글 검색을 통해서 알아보시면 되는데,

간단하게 말씀드리자면 모바일, 임베디드, 노트북 처럼 메모리, 저장공간 등의 제한이 있기 때문에

딥러닝에서는 모델 경량화를 합니다.

성능이 낮은 하드웨어 환경(모바일,임베디드...등)에서도 딥러닝을 잘 동작하도록 가볍게 만드는 것입니다.

그중에 하나가 양자화(Quantization)이며, 

양자화는 부동소수점으로 표현되는 파라미터들을 특정 비트 수로 줄이는 방법입니다.

 

웹브라우저에서 아래 링크를 접속해서 다운로드를 합니다. 

용량은 4GB가 넘습니다.

https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin

다운로드 받은 gpt4all-lora-quantized.bin파일을

2)번에서 github 저장소에서 복제한 폴더로 이동 복사합니다.

복사할 경로는 'gpt4all/gpt4all-training/chat' 폴더입니다.

 

 

4) GPT4All ChatBot 실행하기

모든 준비가 완료되었습니다.

 

3)번에서 다운로드 받은 모델을 복사한 chat 폴더로 이동합니다.

이동경로 : 'gpt4all/gpt4all-training/chat'

다음 명령어를 통해서 GPT4All ChatBot을 실행합니다

./gpt4all-lora-quantized-OSX-m1

 

그리고 대화를 시작합니다~^^

 

2. 참고출처 

GPT4All Website

https://gpt4all.io/index.html

 

GPT4All Documentation

https://docs.gpt4all.io/

GPT4All Documentation

 

Discord

https://discord.com/invite/mGZE39AS3e

Nomic AI Discord 서버에 가입하세요!

 

Official Langchain Backend

https://python.langchain.com/docs/modules/model_io/models/llms/integrations/gpt4all.html

 

 

GPT4All: 로컬 랩탑에서 작동할 수 있는 미니 ChatGPT

https://docs.kanaries.net/ko/articles/gpt4all

로컬에서 GPT4All 실행하기: AI 챗봇의 힘 끌어내기 – Kanaries

 

How to Install GPT4All

https://easywithai.com/guide/how-to-install-gpt4all/

How to Install GPT4All