OpenAI SDK를 통해 uncensored LLM 통합

공식 OpenAI SDK 설치

HTTP 요청을 처리하는 라이브러리를 설치하세요. 이 SDK는 우리가 동일한 프로토콜을 따르기 때문에 엔드포인트와 호환됩니다.

• 실행 pip install openai Python용입니다.
• 실행 npm install openai Node.js용입니다.

전체 스트리밍 지원을 위해 버전 0.27.0 이상이 권장됩니다. 라이브러리는 재시도 및 JSON 직렬화를 자동으로 관리합니다.

base_url 및 API 키 구성

특정 게이트웨이 URL로 SDK 클라이언트를 설정하세요. 이는 기본 OpenAI 엔드포인트를 우리의 무장비 모델 서버로 대체합니다.

환경 변수를 설정하세요. OPENAI_BASE_URL 수신하여 https://api.gatewayapillm.com/v1그런 다음 대시보드에서 API 키를 입력하세요. 계정당 키는 하나만 필요하며, 새 키를 생성하면 이전 키가 무효화됩니다.

이러한 구성은 모든 호출이 당사 무검열 인프라로 직접 라우팅되도록 보장합니다.

첫 번째 채팅 완성 보내기

표준 POST 요청을 /v1/chat/completions. 모델 ID는 단순히 uncensored. 이는 합법적인 성인 사용에 대한 콘텐츠 필터 없이 직접 텍스트 응답을 반환합니다.

당사의 컨텍스트 윈도우는 총 100,000 토큰을 지원합니다. 호출당 최대 16,000개의 출력 토큰을 요청할 수 있습니다. 설정하지 않으면 max_tokens기본값은 2,048 토큰입니다.

실시간 토큰을 위한 스트리밍 활성화

저지연 출력을 위해 Server-Sent Events(SSE)를 사용하세요. SDK는 생성되는 대로 토큰을 스트리밍합니다. 이는 긴 컨텍스트에 대한 즉각적인 피드백을 제공합니다.

토큰 사용량 통계는 스트림의 마지막 청크에 포함됩니다. 전체 응답을 기다리지 않고 실시간으로 소비량을 추적할 수 있습니다. 이는 채팅 인터페이스나 실시간 코드 생성에 이상적입니다.

도구와 JSON 모드 사용

함수 호출은 OpenAI 표준과 정확히 동일하게 작동합니다. 도구 요청을 정의하세요 tools 매개변수를 사용하고 모델이 호출 시기를 결정하도록 하세요. 사용 response_format: {"type": "json_object"} 엄격한 JSON 출력

온도 같은 temperature, top_p, stop, 그리고 seed 완전히 지원됩니다. 이는 모델의 동작 및 출력 구조에 대한 정밀한 제어를 가능하게 합니다.

사용량 확인 및 오류 처리

대시보드를 통해 선불 크레딧 잔액을 모니터링하세요. 오류 및 거부는 토큰을 소모하지 않습니다. 크레딧은 만료되지 않으므로 필요할 때 충전할 수 있습니다.

일반적인 HTTP 오류에는 401(잘못된 키), 402(불충분한 크레딧), 429(속도 제한)이 포함됩니다. 키당 분당 요청 제한은 300회입니다. 본문 크기 오류를 피하려면 요청을 8 MB 미만으로 유지하세요.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

스트리밍

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)