로컬 AI 최대한 뽑아쓰기 (1/?)

근래 극심한 지병을 앓고 회복하는 도중 집에 돌아올 수 있어서 마침 요새 그렇게 핫한 (사실 핫한지 꽤 된) AI를 써보려 한다.

그냥 ChatGPT나 Claude 같은 거 쓰면 안 되냐고? 재미도 없고 돈도 들고 기분도 안 좋다.

 

1. 굴러다니는 서버에 로컬 AI 설치하기 (Ollama 사용 예정)

2. Copilot과 같이 Code assistant AI로 만들어보기 (Visual Studio Code 확장 프로그램 형식으로)

3. Node.js 및 React로 챗봇 UI 만들어서 원격 접속 및 대화

4. 챗봇에 행동지침등을 부여, 대화내용을 저장하여 유동적인 대화가 가능하게끔 해보기 (SQL로 봇별로 나누고 NoSQL로 대화내역 저장)

5. Reverse Proxy 및 Cloudflare 도메인을 연결하여 로컬 네트워크 외부에서 원격 접속하기

 

GPU가 그렇게 좋지는 않지만 (VRAM 8G) 늘 그렇듯 헤딩부터 해본다