메인 콘텐츠로 건너뛰기
이 가이드를 사용하여 두 개 이상의 Tokios 배포를 비교합니다. 테스트는 처음에 간단하게 유지합니다: 동일한 프롬프트, 동일한 클라이언트, 동일한 하드웨어, 동일한 백엔드 설정을 사용합니다. model 필드의 배포 이름만 변경합니다.

사전 요구 사항

  • 실행 중인 커넥터. 커넥터 설치를 참조하세요.
  • 하나 이상의 등록된 배포. 모델 등록을 참조하세요.
  • Tokios API 키. API 키를 참조하세요.
  • Tokios가 개입되기 전에 작동하는 로컬 백엔드. 백엔드를 참조하세요.

기본 요청 테스트

작은 비스트리밍 요청부터 시작합니다. 키와 모델을 사용자 값으로 교체합니다.
이것은 인증, 배포 라우팅, 커넥터 연결성 및 백엔드 응답 처리를 확인합니다.

스트리밍 테스트

그런 다음 스트리밍 동작을 테스트합니다. 이것은 실제로 많은 코딩 에이전트 및 채팅 도구가 작동하는 방식과 더 가깝습니다.
스트리밍이 멈추면 로컬 백엔드를 직접 확인한 다음 커넥터 로그 및 클라이언트 기본 URL을 확인합니다.

두 배포 비교

동일한 요청 본문을 사용하고 model만 변경합니다.
결과를 작은 표에 기록합니다:

실제 클라이언트로 테스트

먼저 curl이 작동한 후, 사용하려는 클라이언트를 통해 테스트합니다.

결과 해석

단일 숫자에 최적화하지 마십시오. 빠르게 스트리밍하지만 코딩 작업을 실패하는 배포는 지시를 신뢰할 수 있게 따르는 더 느린 모델보다 나쁠 수 있습니다.
가장 좋은 배포 이름을 안정적으로 유지합니다. 나중에 더 빠른 백엔드나 다른 머신으로 이동하더라도 클라이언트는 동일한 model 값을 계속 사용할 수 있습니다.