카테고리
RAG
-
4GB 노트북으로 문서 검색과 답변을 다 돌린다, GPU 없이
사내 계약서나 개인 진료 기록을 ChatGPT에 붙여넣고 요약을 시키는 순간, 그 문서는 이미 내 컴퓨터를 떠난다. 많은 사람이 여기서 멈칫한다. 그렇다고 답변 자동화를 포기하긴 아깝다. RAG는 바로 이 딜레마를 푸는 구조다 — 문서를 밖으로 보내지 않고, …
-
AI 서비스 설계, 모델은 7단계 중 5번째다
AI 기능 하나를 붙이는 코드는 반나절이면 짠다. 문제는 그게 서비스가 되는 순간이다. 응답이 느려지고, 비용이 새고, 그럴듯한 오답이 나가고, 남의 개인정보가 답변에 섞인다. 그런데 대부분은 이 문제를 “더 좋은 모델로 바꾸면 되지 않나”로 해결하려 한다. …
-
긴 지시문이 안 먹히는 3가지 순간, 작은 전용 모델이 답이다
“프롬프트를 더 잘 써라”는 조언에는 함정이 있다. 규칙이 정말 복잡한 업무에선 지시문을 아무리 정교하게 늘려도 벽에 부딪힌다. 항목이 빠지고, 없던 내용이 붙고, 분기 규칙이 어긋난다. 그런데 여기서 대부분은 “더 큰 모델을 쓰자”로 간다 — 실은 방향이 틀…
-
고객지원 AI의 정확도, 모델이 아니라 자료가 결정한다
고객지원 챗봇이 틀린 답을 내면, 대부분 “모델이 작아서” 또는 “학습을 더 시켜야 해서”라고 생각한다. 그런데 한 실무 사례가 정반대의 그림을 보여준다. 회사 말투에 맞춰 모델을 fine-tuning했더니 말투는 약 90%까지 자연스러워졌는데, 정작 사실 정…