R1 오버씽커: 딥시크 R1 모델이 더 오래 생각하도록 만들기

일반 소개

DeepSeek R1 오버씽커는 전문 소프트웨어입니다. DeepSeek R1 모델이 깊이 생각할 수 있도록 설계된 도구입니다. 이 도구는 모델의 추론 과정을 연장함으로써 모델이 더 깊이 사고할 수 있도록 하여 답변의 품질과 정확성을 향상시킵니다. 이 도구는 다음을 활용합니다. unsloth 컨텍스트 길이를 무제한으로 지원하는 최적화된 모델(사용 가능한 VRAM에 따라 다름). 사용자는 추론 확장 및 씽크스루 임계값을 사용자 지정하고, 모델 매개변수(예: 온도, 최고 P 등)를 세밀하게 제어하고, 다음과 같은 씽크스루를 실시간으로 추적할 수 있습니다. 토큰 딥시크 R1 오버씽커는 다양한 VRAM 구성에 적합하며, 다양한 모델 크기(1.5B~70B 매개변수)를 지원합니다.

프로젝트의 원칙은 결과물을 지속적으로 점검하고 을 프로젝트에 영감을 준 다시 생각하기 문장으로 바꾸는 것입니다:r1_overthinker .

기능 목록

• 모델이 더 오래, 더 깊이 생각하도록 유도하기
• 사용자 지정 추론 확장 및 사고 임계값
• 모델 매개변수(온도, 탑피 등)의 세밀한 제어
• 사고 과정의 실시간 가시성 및 토큰 수 추적
• LaTeX 수학 표현식 지원
• 다양한 VRAM 구성에 최적화됨
• 다양한 모델 크기 지원(1.5억~70억 매개변수)

도움말 사용

설치 프로세스

1. 움직여야 합니다. Google Colab.

사용 가이드라인

1. 애플리케이션 실행::
   • 움직여야 합니다. python r1_overthinker.py 애플리케이션을 실행합니다.
   • 애플리케이션이 시작되면 DeepSeek R1 모델을 로드하고 입력을 처리할 준비를 합니다.
2. 입력 처리::
   • 문장이나 단락을 입력하면 애플리케이션이 확장된 추론 프로세스를 통해 처리합니다.
   • 애플리케이션은 모델이 사고를 종료하려고 할 때를 감지하고 사용자가 지정한 사고 시간 임계값에 도달할 때까지 추가 추론을 유도하는 신호로 대체합니다.
3. 맞춤형 사고 시간::
   • 예를 들어 사용자는 애플리케이션을 시작할 때 생각 시간 임계값을 지정할 수 있습니다:

     python r1_overthinker.py --min-think-time 10
     

   • 위의 명령은 모델이 생각하는 데 필요한 최소 시간을 10초로 설정합니다.
4. 결과 보기::
   • 처리가 완료되면 애플리케이션은 확장 추론 결과를 출력하고 사용자는 모델의 심층 추론 과정을 볼 수 있습니다.

세부 운영 절차

1. 초기화 설정::
   • 처음 사용하는 경우 모든 종속성이 올바르게 설치되고 초기 설정이 완료되었는지 확인하세요.
   • 더 긴 컨텍스트 길이를 처리할 수 있도록 VRAM 가용성을 확인합니다.
2. 입력 텍스트 처리::
   • 처리할 텍스트를 입력하면 애플리케이션이 자동으로 모델의 추론 프로세스를 감지하고 확장합니다.
   • 처리하는 동안 사용자는 모델의 추론 진행 상황과 현재 사고 상태를 실시간으로 확인할 수 있습니다.
3. 사용자 지정 설정::
   • 사용자는 최상의 결과를 얻기 위해 필요에 따라 생각 시간 임계값 및 기타 매개변수를 조정할 수 있습니다.
   • 이 애플리케이션은 사용자가 다양한 사용 시나리오에 맞게 유연하게 조정할 수 있는 광범위한 사용자 지정 설정을 지원합니다.
4. 결과 출력::
   • 처리가 완료되면 애플리케이션은 전체 추론 결과를 출력하여 사용자가 모델의 사고 과정을 보고 분석할 수 있도록 합니다.
   • 결과 출력은 다양한 형식을 지원하므로 사용자가 필요에 따라 저장하고 추가로 처리할 수 있습니다.