엔비디아에서 인터넷 연결없이 개인 PC 의 GPU를 이용해서 로컬에서 동작하는 Chat with RTX 를 공개했습니다.
Chat With RTX와 함께 맞춤형 LLM 구축 | NVIDIA
NVIDIA Chat With RTX
나만의 맞춤형 AI 챗봇.
www.nvidia.com
데모용 어플리케이션을 다운로드해서 설치보았습니다.
시스템 요구사항은 아래와 같네요. 사용중인 노트북에는 RTX 4070 제품이 탑재되어 있습니다.
설치를 마치면 웹브라우저에 아래와 같은 chat 화면이 보여지고 어떤 AI 모델을 사용중인지 보여주고 어떤 Dataset을 지원하는지와 Dataset 경로를 볼 수 있습니다.
한글도 지원하나 위 예제와 같이 모든 답변이 다 한글로 표시되지는 않습니다.
테스트를 위해 5월 수출입동향 PDF문서를 dataset path에 복사하고 Dataset 항목 오른쪽 새로고침 아이콘을 선택하여 습득을 시킵니다.
시간은 제 PC에서 대략 17초 정도 걸렸습니다.
PDF 문서 중에 반도체 수출액을 질문했는데 답은 113.9 억달러 인데 109.3억달러라고 답변합니다. 109.3억 달러는 미국에만 수출한 금액입니다.
Chat에 PDF의 표 데이터도 읽을 수 있냐고 물어봤을 때는 가능하다고 말했는데 데모에 사용중인 모델(Mistral 7B int4)의 문제인지는 모르겠으나 아직 갈길이 멀어보이네요.
