대중 과학: 대규모 언어 모델 컨텍스트 창이란 무엇인가요?

대형 모델의 컨텍스트 창은 모델의 텍스트 처리 및 생성 기능에 영향을 미치는 핵심 개념입니다. 컨텍스트 창의 크기에 따라 모델이 단일 상호작용에서 고려할 수 있는 입력 및 출력 토큰의 총 수가 결정됩니다.

컨텍스트 윈도우의 정의

컨텍스트 창은 입력 텍스트를 처리하고 동시에 출력 텍스트를 생성할 때 대규모 언어 모델(LLM)이 고려할 수 있는 최대 토큰(토큰) 수를 의미합니다. 토큰은 단어, 구문 또는 문장 부호일 수 있습니다. 컨텍스트 창의 크기는 입력 정보에 대한 모델의 이해 깊이와 생성된 콘텐츠의 일관성에 직접적인 영향을 미칩니다.

입력 및 출력 마커

• 입력 마커질문, 지침 등을 포함하여 사용자가 모델에게 제공한 모든 텍스트 콘텐츠
• 출력 마커모델 생성 응답 또는 결과.

특정 순간에 입력 및 출력 토큰의 총 개수는 컨텍스트 창의 최대 길이를 초과할 수 없습니다. 예를 들어 GPT-3.5 터보 모델의 최대 컨텍스트 창은 4096개이므로 사용자 입력과 모델 출력의 합계가 이 제한을 초과할 수 없습니다.

일반적인 매크로 모델의 입력 및 출력 제약 조건

대형 언어 모델마다 컨텍스트 창 제한이 다릅니다. 다음은 몇 가지 일반적인 모델과 그 제한 사항입니다:

• GPT-3.5최대 컨텍스트 창은 4096 토큰입니다.
• GPT-4더 큰 컨텍스트 창이 지원되며, 구체적인 값은 버전마다 다르며 일반적으로 8000에서 32000 토큰 사이입니다.
• 쌍둥이자리 1.5최대 1백만 토큰의 최대 컨텍스트 창.
• KIMI(국내 대형 모델): 최대 2백만 개의 마커.

이러한 제한은 모델의 정보 처리 능력뿐만 아니라 생성된 콘텐츠의 품질과 일관성에도 영향을 미칩니다.

구체적인 사례 분석

책의 내용을 요약해야 하는 작업에 GPT-3.5를 사용한다고 가정해 봅시다. 이 책에는 약 10만 개의 단어가 있는데, GPT-3.5는 4096개의 토큰만 처리할 수 있습니다. 책 내용을 각각 4096개 이하의 토큰으로 여러 부분으로 나누면 모델과 단계별로 상호 작용하여 한 번에 콘텐츠의 일부를 입력하고 요약을 요청해야 합니다. 이렇게 하면 모델이 전체 책을 처리할 수 있지만 각 호출이 이전 텍스트와 이후 텍스트 간의 일관성을 보장해야 하므로 복잡성이 증가합니다.

샘플 시나리오

1. 사용자 입력책의 첫 장을 요약하는 데 도움을 주세요(장이 3000개의 마커라고 가정).
2. 모델 출력1장 요약입니다(500개의 마커가 생성되었다고 가정).
3. 사용자가 계속 입력합니다.다음으로, 2장(다시 마커 3000개)을 요약해 주세요.

이 경우 사용자는 총 입력 및 출력 토큰이 4096개를 초과할 수 없으므로 각 상호 작용 후에 이전 정보가 잊혀질 수 있다는 점을 고려해야 합니다. 사용자가 컨텍스트 창을 벗어난 후속 요청에서 첫 번째 장의 정보를 참조하는 경우 모델이 정확하게 응답하지 못하여 대화의 일관성에 영향을 미칠 수 있습니다.

요약

이러한 기술을 효과적으로 사용하려면 빅 모델의 컨텍스트 창과 입력 및 출력 제약 조건을 이해하는 것이 중요합니다. 이러한 제약 조건을 현명하게 사용하면 개발자가 보다 효율적이고 일관된 애플리케이션을 설계하는 동시에 사용자 경험을 개선하는 데 도움이 될 수 있습니다. 앞으로 기술이 발전함에 따라 더 큰 컨텍스트 창을 통해 대규모 언어 모델이 더 복잡하고 긴 형식의 정보를 처리할 수 있을 것으로 기대할 수 있습니다.