안녕하세요, 여러분! 요즘 LLM(거대 언어 모델) 기반 서비스가 정말 핫하잖아요? ChatGPT부터 시작해서, 우리 일상 속 다양한 곳에 LLM 기술이 녹아들고 있는데요. 이렇게 빠르게 발전하는 LLM 시스템, 과연 성능이 얼마나 좋고, 어떻게 하면 더 좋게 만들 수 있을지 고민 많으셨을 거예요. 저도 늘 궁금했거든요. 그런데 이번에 AISchool 채널의 따끈따끈한 영상을 보면서 LLM 시스템의 성능을 평가하고 개선하는 방법에 대한 답을 명확하게 얻을 수 있었습니다. 이 영상, 정말 물건인데요! 기존의 막연했던 평가 방법들을 LangSmith라는 도구를 통해 얼마나 쉽고 체계적으로 할 수 있는지 보여주더라고요.
LLM 시스템, 이제 ‘감’이 아닌 ‘데이터’로 평가하자!
사실 저는 LLM 시스템의 성능을 평가한다고 하면, 그냥 몇 가지 질문을 던져보고 답변이 괜찮은지 정도만 파악하는 수준이었어요. 그러다 보니 어떤 모델이 더 좋은지, 프롬프트를 조금 바꿨을 때 성능이 얼마나 달라지는지 객관적으로 비교하기가 어렵더라고요. 이번 영상에서는 바로 이런 점을 시원하게 긁어줬습니다. LangSmith 데이터셋이라는 걸 활용해서 LLM 시스템, 예를 들어 Retrieval-Augmented Generation (RAG) 시스템이나 LangGraph 기반 AI 에이전트 같은 복잡한 시스템의 성능을 체계적으로 측정하고 개선하는 방법을 알려주는데요. 단순히 ‘좋다, 나쁘다’를 넘어, 어떤 부분을 어떻게 바꿔야 성능이 올라가는지 데이터로 보여주니까 훨씬 신뢰가 갔어요.
영상 보기 전, 제 생각은 이랬어요.
- LLM 성능 평가는 주로 사람이 직접 답변을 보고 판단하는 주관적인 방식일 것이다.
- 모델을 바꾸거나 프롬프트를 수정하는 건 단순히 ‘해보고 괜찮은 것’을 찾는 과정일 것이다.
- 복잡한 LLM 시스템의 성능을 객관적으로 비교 분석하는 건 엄청난 노력과 전문 지식이 필요할 것이다.
영상을 보고 나서, 제 생각이 바뀐 점은요!
- ‘감’이 아닌 ‘데이터’로 객관적인 비교가 가능하다는 것: 90개의 질문-정답 데이터셋을 준비해서 다양한 LLM 모델(QN3비, 덴마 3, 라마 3.2 등)을 돌려보고, 정확도와 처리 시간(레이턴시)을 LangSmith UI에서 한눈에 비교할 수 있다는 점이 정말 놀라웠어요. 물론 모델별로 정확도나 레이턴시가 천차만별인 것도 직접 눈으로 확인했고요.
- 다양한 변경 요소를 체계적으로 관리할 수 있다: 단순히 LLM 모델만 바꾸는 게 아니라, 시스템 프롬프트, 사용자 프롬프트, 외부 툴 연동, 심지어 LangGraph의 구조 변경까지. 이 모든 변화가 시스템 성능에 어떤 영향을 미치는지 LangSmith를 통해 추적하고 분석할 수 있다는 게 너무 매력적이더라고요.
- 평가 방법론이 명확하게 정립되어 있다: 벤치마킹, 유닛 테스트, 회귀 테스트. 이렇게 세 가지 핵심 평가 방법론을 LangSmith 문서와 함께 설명해주는데, 기존에 제가 생각했던 막연한 평가 방식과는 차원이 달랐습니다. 특히 회귀 테스트를 통해 기존에 잘 되던 기능이 업데이트 후 망가지지 않았는지 확인하는 기능은 정말 유용해 보였어요.
모델만 바꿔서 될 일인가? 프롬프트, 툴, 구조까지!
저는 사실 LLM 시스템을 개선하려면 결국 더 좋은 모델을 써야 한다고 생각했어요. 그런데 이 영상에서는 모델 변경 외에도 프롬프트 엔지니어링, 외부 툴 연동, 그리고 LangGraph 같은 시스템의 구조 변경이 얼마나 중요한지 강조하더라고요. 예를 들어, 어떤 모델은 프롬프트를 조금만 바꿔도 성능이 극적으로 올라가기도 하고, 반대로 아무리 좋은 모델을 써도 필요한 툴 연동이 제대로 안 되면 의미 없는 결과가 나올 수 있다는 거죠. LangSmith는 이런 다양한 변경점들을 효과적으로 관리하고, 각 변경이 성능에 미치는 영향을 데이터로 보여주니, 정말 시행착오를 줄이는 데 큰 도움이 될 것 같았습니다.
특히 기억에 남는 부분이 벤치마킹과 회귀 테스트였어요. 벤치마킹에서는 사람이 만든 정답 데이터와 모델 답변의 일치도를 비교하는 방식이 소개되었는데, 이게 단순히 ‘맞았다, 틀렸다’를 넘어 LLM 저지(LLM-as-a-judge)를 활용해 사람이 만든 정답과 다양한 LLM이 만든 정답을 비교 평가할 수도 있다는 점이 인상 깊었습니다. 또, 회귀 테스트에서는 랭그래프 컴패리슨 기능으로 업데이트 후 성능이 저하된 케이스를 분석하는 과정을 보여줬는데, 이게 바로 안정적인 서비스 운영을 위해 필수적인 부분이잖아요. 이런 과정을 LangSmith에서 시각적으로 확인할 수 있다는 게 정말 좋더라고요.
“LLM 시스템 성능 개선을 위한 반복적인 실험 환경 구성 및 분석을 지원하는 서비스인 랭스미스 데이터셋은, 다양한 LLM 모델의 성능을 정확도와 처리 시간 측면에서 비교 분석할 수 있게 돕습니다.”
내 생각이 완전히 바뀐 부분
가장 제 생각을 뒤엎은 부분은 바로 ‘회귀 테스트’의 중요성이었습니다. 저는 보통 새로운 기능을 추가하거나 성능을 개선하면 ‘더 좋아졌겠지’라고 생각하고 넘어가기 쉬웠는데요. 이 영상에서는 오히려 업데이트 과정에서 기존에 잘 동작하던 기능이 망가지는 ‘회귀(Regression)’ 현상이 발생할 수 있다는 점을 명확히 짚어줬어요. 그리고 LangSmith의 랭그래프 컴패리슨 기능을 활용하면 이런 회귀 테스트를 얼마나 쉽고 체계적으로 할 수 있는지 보여주는데, 이건 정말 개발자라면 필수적으로 알아야 할 내용이라고 생각합니다. 단순히 성능을 좋게 만드는 걸 넘어, 기존의 안정성을 유지하면서 개선하는 것이 얼마나 중요한지를 다시 한번 깨닫게 해주었습니다.
그래서, 누가 보면 좋을까?
이 영상은 이런 분들께 정말 강력 추천하고 싶어요.
- LLM 기반 서비스 개발자/엔지니어: 모델 선택부터 프롬프트 튜닝, 툴 연동까지, 시스템 성능을 객관적으로 측정하고 개선하는 방법을 배우고 싶으신 분들께는 필수 시청입니다. LangSmith라는 강력한 도구를 무료로 활용할 수 있다는 점도 큰 장점이고요.
- AI 스타트업 대표/기획자: 어떤 LLM 모델이 우리 서비스에 가장 적합할지, 비용 대비 성능은 어떤지 빠르고 정확하게 판단하고 싶으신 분들께 도움이 될 거예요.
- LLM 기술에 대해 더 깊이 알고 싶은 분: 단순히 LLM을 사용하는 것을 넘어, 그 성능을 어떻게 평가하고 실제 서비스에 적용할 수 있는지 구체적인 방법론을 배우고 싶으신 분들께도 좋은 학습 자료가 될 것입니다.
LangSmith 사용을 위해서는 랭체인(LangChain) 회원 가입과 API 키 설정이 필수라고 하니, 이 부분도 미리 준비하시면 영상을 더 효과적으로 활용하실 수 있을 거예요. LLM의 무궁무진한 가능성을 현실로 만드는 여정에, LangSmith가 든든한 동반자가 되어줄 것이라는 확신이 드는 영상이었습니다!