LLM 최적화와 On-Premise 실행 경험

이번 주는 LLM 관련 개념과 On-Premise 환경에서의 실행 방법을 학습하는 데 집중한 한 주였다. Meta의 Llama-2-7b 모델을 직접 로컬 환경에서 실행해보면서 실무적인 감각을 키웠고, LLM의 핵심 기법인 프롬프트 트렁케이션, Chain-of-Thought(CoT), Retrieval-Augmented Generation(RAG)의 개념을 정리하며 보다 깊이 있는 이해를 할 수 있었다.

1️⃣ FACTS: 이번 주에 학습한 내용

📌 Llama-2-7b On-Premise 실행

• Meta의 Llama-2-7b 모델 개요 및 Hugging Face에서의 활용 방법 학습
• On-Premise 환경의 개념과 장단점 이해
• 로컬 환경에서 모델을 실행하기 위한 가상 환경 설정 및 실행 스크립트 작성

📌 LLM 활용 기법 학습

• 프롬프트 트렁케이션(Prompt Truncation)과 컨텍스트 손실
  • LLM에서 입력 길이 초과로 인해 정보가 손실되는 현상과 해결 방법
• Chain-of-Thought(CoT) 방식
  • 단계별 추론을 통해 논리적인 답변을 생성하는 기법
• Retrieval-Augmented Generation(RAG)
  • 외부 데이터 검색을 통해 보다 정확하고 최신 정보를 반영하는 방법

2️⃣ FEELINGS: 이번 주 느낀 점

✔ 실제 환경에서 LLM을 실행하는 과정이 흥미로웠다
Llama-2-7b 모델을 On-Premise 환경에서 실행하는 과정에서 Hugging Face를 활용해 모델을 로드하고, 간단한 텍스트 생성 스크립트를 실행해 보았다. 실제 모델을 다뤄보니 이론적으로만 알고 있던 개념이 더욱 명확해졌고, 실행 과정에서 생기는 다양한 이슈(설치 문제, 메모리 관리 등)들이 흥미로웠다.

✔ LLM 활용 기법을 정리하면서 LLM의 한계를 이해할 수 있었다.
프롬프트 트렁케이션 문제를 해결하기 위해 요약 기법이나 프롬프트 체이닝 같은 방법을 사용해야 한다는 점, CoT를 활용하면 모델의 추론 성능을 개선할 수 있다는 점 등을 배웠다. 특히, RAG는 단순히 모델을 개선하는 것이 아니라 외부 정보를 활용하여 최신 데이터까지 반영할 수 있다는 점에서 강력한 기법이라고 느꼈다.

✔ 학습을 정리하는 과정이 중요하다는 걸 다시 깨달았다.
이번 주는 LLM 관련 개념을 정리하는 과정에서 학습의 효과가 배가되었다. 정리하면서 이해가 부족했던 부분을 다시 살펴볼 수 있었고, 향후 실제 프로젝트에서 적용할 수 있는 인사이트를 얻었다.

3️⃣ FINDINGS: 이번 주 배운 것

🛠 LLM을 로컬에서 실행하는 것은 이론과 다르다

• 단순히 모델을 다운로드해서 실행하는 것이 아니라, 환경 설정부터 패키지 설치, 메모리 관리까지 신경 써야 할 요소가 많았다.
• 특히 대형 모델을 실행할 경우 GPU 자원이 부족할 수 있기 때문에 적절한 모델 선택이 중요하다.

💡 프롬프트 트렁케이션 문제를 해결하려면 최적화가 필요하다.

• 입력을 최대한 효율적으로 설계해야 하며, 불필요한 내용을 제거하는 것이 중요하다.
• 요약 기법과 프롬프트 체이닝을 활용하면 컨텍스트를 유지하면서도 모델의 성능을 높일 수 있다.

🧩 Chain-of-Thought(CoT) 방식은 복잡한 문제 해결에 유용하다.

• 단계별 사고 과정을 모델에게 명시적으로 제공하면 추론 성능이 개선된다.
• 코딩 문제, 수학 문제, 법률 분석 등 논리적인 답변이 필요한 경우 특히 유용하다.

🌍 RAG는 최신 정보를 반영할 수 있는 강력한 방법이다.

• LLM 자체가 학습한 데이터만 활용하는 한계를 극복할 수 있다.
• 실제 적용 사례(질문 응답 시스템, 법률 자문, 의료 분야)에서 활용도가 높다.

4️⃣ FUTURE: 다음 주 목표

🚀 LLM 활용 기법을 실무 프로젝트에 적용해보기

• 배운 개념들을 직접 코드로 구현해보고, 실제 프로젝트에서 활용 가능성을 탐색해볼 예정.

🛠 On-Premise 환경 최적화 실습

• 모델 실행 시 발생할 수 있는 메모리 이슈나 속도 최적화 방법을 더 깊이 파악해볼 것.