LLM 작동 방식: 경영진 수준의 상위 10가지 질문

내 작업에서 저는 MIT Sloan School of Management에서 지난 2년 동안 많은 임원들에게 대규모 언어 모델(LLM)이 어떻게 작동하는지에 대한 기본 사항을 가르쳤습니다.

일부 사람들은 비즈니스 리더가 LLM과 자신이 지원하는 생성 AI 도구가 어떻게 작동하는지 알고 싶어하지도 알 필요도 없으며 오직 비즈니스에만 관심이 있다고 가정합니다. 결과 도구가 제공할 수 있습니다.

이번 칼럼에서는 제가 자주 질문을 받는 오해를 많이 받는 주제 10가지에 대한 질문과 그에 대한 답변을 공유합니다.

GenAI 및 LLM에 대한 10가지 필수 질문과 답변

1. 나는 LLM이 한 번에 한 텍스트씩 출력을 생성한다는 것을 이해합니다.

달리 말하면, LLM은 언제 사용자에게 질문에 대한 최종 답변을 제공하기로 결정합니까?

LLM이 질문에 답하면 한 번에 작은 조각씩 텍스트를 생성합니다. 토큰.1 토큰은 단어일 수도 있고 단어의 일부일 수도 있습니다. 그리고 지금까지 이미 작성한 것입니다.2

외부 시스템은 "다음 토큰 생성, 입력에 추가, 다음 토큰 생성" 루프에서 LLM을 실행합니다. 정지상태 트리거됩니다.

실제로는 많은 정지 조건이 사용됩니다. 정지 시퀀스.

ChatGPT와 같은 도구의 웹 버전을 소비자로 사용하면 이 프로세스가 표시되지 않고 완성된 텍스트만 표시됩니다.

여기서 중요한 점은 중지 "결정"은 LLM의 결정이 아니라 LLM의 토큰 예측과 외부 제어 논리 간의 상호 작용이라는 것입니다.

2. LLM에서 실수를 하고 이를 수정하면 즉시 자체적으로 업데이트됩니까?

아니요, LLM은 수정하더라도 즉시 업데이트되지 않습니다.

ChatGPT와 같은 일부 앱에는 이름, 선호도, 위치와 같은 개인 정보를 기억하기 위해 실시간으로 업데이트할 수 있는 메모리 기능이 있습니다.

3. LLM이 현재 대화를 기반으로 한 번에 하나의 토큰을 반복적으로 생성하는 경우 응답에서 이전 대화(예: 일주일 전)의 정보를 사용하는 것으로 보이는 이유는 무엇입니까?

LLM은 해당 대화에서 제공된 입력을 기반으로 한 번에 하나의 토큰 응답을 생성합니다.

새로운 채팅을 시작하면 저장된 메모리의 관련 부분이 자동으로 프롬프트에 추가됨 무대 뒤에서.

자세한 저장 내용과 사용 시기는 업체별로 다르며, 정확한 방법은 공개되지 않았습니다.

RAG는 ​​익숙하지 않은 경우 LLM에 특정 독점 데이터 세트에 대한 액세스를 제공하는 데 사용되는 기술입니다.

4. LLM에는 교육 마감일이 있으며 해당 날짜 이후에 발생한 일에 대해 "알지" 못한다는 것을 이해합니다. ~할 수 있다 일어난 사건에 대한 질문에 답하기 ~ 후에 마감일.

LLM의 교육 마감일 이후에 발생한 일에 대해 질문할 때 모델 자체는 최신 정보에 액세스할 수 없는 한 이벤트에 대해 "알지" 못합니다.

이러한 경우 LLM은 귀하의 질문을 기반으로 검색어를 생성할 수 있으며 시스템의 별도 부분(모델 자체 외부)이 검색을 수행합니다.

5. 프롬프트의 일부로 문서를 포함하는 경우 LLM이 응답을 생성할 때 제공된 문서만 사용하도록 할 수 있습니까?

아니요. RAG와 같은 신중한 메시지와 기술은 AI 모델이 제공된 문서 집합의 우선 순위를 지정하도록 장려할 수 있지만 표준 LLM은 해당 콘텐츠만 사용하도록 강요할 수 없습니다.

6. LLM은 때때로 질문에 대한 답변을 생성하는 데 사용된 출처를 인용합니다.

아니요. LLM은 인용을 조작(환각)하거나 부정확하거나 오해의 소지가 있는 방식으로 실제 출처를 사용할 수 있습니다.

7. 문서가 많을 때 먼저 문서에서 관련 정보를 수집하고 프롬프트에 해당 정보만 포함하는 RAG를 사용합니다. 모두 문서.

GPT-4.1 및 Gemini 2.5와 같은 최신 LLM은 책 전체를 보관하기에 충분한 백만 개의 토큰 컨텍스트 창을 제공합니다.

이러한 확장된 컨텍스트 창은 강력하지만 프롬프트에 모든 문서를 포함하는 것이 항상 좋은 생각은 아닙니다.

첫째, RAG는 프롬프트를 짧게 유지하는 것만이 아닙니다. 컨텍스트 오버로드 정보가 너무 많거나 관련성이 없으면 성과가 저하될 수 있으며, 맥락과 프롬프트를 관련성 있고 간결하며 정확하게 유지하면 더 나은 답변을 얻을 수 있는 경우가 많습니다.

둘째, LLM은 긴 컨텍스트를 수용할 수 있지만 모든 부분을 동일하게 잘 처리하지는 않습니다.

마지막으로 프롬프트가 길수록 토큰이 많아져 API 비용이 증가하고 응답 속도가 느려집니다.

즉, 긴 컨텍스트 창이 유용하지만 검색을 쓸모없게 만들지는 않습니다. 평가됨 특정 애플리케이션의 요구 사항을 기반으로 합니다.

8. LLM 환각을 없앨 수 있나요?

아니요, 현재 LLM 기술로는 환각을 완전히 제거할 수 없습니다.

그러나 RAG, 도메인별 데이터 미세 조정, 규칙 기반 검사 또는 외부 검증을 통한 사후 처리와 같은 신중하고 신속한 엔지니어링 및 전략을 통해 환각을 줄인다 특정 사용 사례에서는.3 이러한 전략이 환각 제거를 보장하지는 않지만 많은 실제 응용 분야에서 LLM의 신뢰성을 충분히 향상시킬 수 있습니다.

9. LLM 환각과 실수는 지울 수 없기 때문에 답을 확인해야 합니다.

LLM 결과를 효율적으로 확인하는 것은 작업 유형과 허용 가능한 위험 수준에 따라 다릅니다.

요약, 에세이, 보고서 또는 분석과 같은 개방형 작업의 경우 인적 검토가 가장 신뢰할 수 있는 감독을 제공합니다.

점점 인기가 높아지고 있는 대안은 일반적으로 첫 번째 도구의 결과를 평가하거나 확인할 수 있는 또 다른 LLM인 "AI 판사"를 사용하는 것입니다.

코드 생성, 정보 분류, SQL이나 JSON과 같은 형식으로 구조화된 데이터 생성과 같은 구조화된 작업은 자동화에 더 쉽게 적합합니다.

요약하면 가장 효율적인 검사 전략은 자동화와 인간의 감독을 결합하는 것입니다.

10. 우리는 LLM 기반 챗봇을 구축하고 있으며 다른 사용자가 동일한 질문을 할 때(또는 한 사용자가 다른 시간에 동일한 질문을 할 때) 질문에 대한 답변이 변경되지 않도록 보장하고 싶습니다.

"보증"을 의미하는 경우 정확히 매번 같은 말이지만 짧은 대답은 '아니요'입니다.

동일한 질문이 다른 단어를 사용하여 다른 경우에 제기되면 LLM의 답변이 바뀔 가능성이 높습니다. 정확히 매번 같은 대답이 생성됩니다.

특정 LLM 설정(예: "온도"를 0으로 설정)을 구성하고, 정확한 모델 버전을 잠그고, 전체 하드웨어 및 소프트웨어 스택을 제어할 수 있는 자체 호스팅을 통해 변동성을 줄일 수 있습니다.4 따라서 기본 답변의 의미를 바꾸지 않는 작은 단어나 강조 변화를 여전히 가끔 볼 수 있습니다.

동일한 문구를 실제로 보장하는 유일한 방법은 답변이 처음 생성될 때 답변을 저장(캐시)하고 동일한 질문이 감지될 때마다 저장된 텍스트를 제공하는 것입니다.

간단히 말해서, 답변을 매우 일관되게 만들 수 있지만 현재 기술로는 100% 표현 보장을 달성할 수 없습니다.