透過 OpenAI SDK 整合無審查 LLM

安裝官方 OpenAI SDK

首先安裝處理 HTTP 請求的函式庫。此 SDK 能與我們的端點配合，因為我們遵循相同的協定。

• 運行 pip install openai for Python。
• 運行 npm install openai for Node.js。

建議使用 0.27.0 或更高版本以獲得完整的串流支援。該程式庫自動管理重試和 JSON 序列化。

配置 base_url 和 API 金鑰

將您的 SDK 客戶端指向我們特定的閘道 URL。這將預設的 OpenAI 端點替換為我們的無審查模型伺服器。

設定環境變數 OPENAI_BASE_URL 以 https://api.gatewayapillm.com/v1. 接著從儀表板取得您的 API 金鑰。每個帳戶只需一支金鑰；生成新金鑰將使舊金鑰失效。

此設定確保所有呼叫直接路由至我們無防護的基礎設施。

傳送您的第一個聊天補全

向 /v1/chat/completions. 模型 ID 只是 uncensored. 這返回一個直接的文字回應，不會對合法的成人用途進行內容過濾。

我們的上下文視窗總共支援 100,000 個 token。您可以每次呼叫請求最多 16,000 個輸出 token。如果您未設定 max_tokens預設為 2,048 個 token。

啟用串流以即時輸出 Token

使用 Server-Sent Events (SSE) 實現低延遲輸出。SDK 會在生成時流式傳輸 token。這為長上下文提供了即時反饋。

Token 用量統計數據包含在串流的最後一個區塊中。您可以在等待完整回應之前即時追蹤消耗量。這非常適合聊天介面或即時程式碼生成。

使用工具和 JSON 模式

函式呼叫運作方式與 OpenAI 標準完全相同。在 tools parameter and let the model decide when to call them. Use response_format: {"type": "json_object"} 用於嚴格的 JSON 輸出。

類似 temperature, top_p, stop，以及 seed 完全支援。這允許對模型行為和輸出結構進行精確控制。

檢查使用情況並處理錯誤

透過儀表板監控您的預付信用額度餘額。錯誤和拒絕不會消耗令牌。您的信用額度永不過期，因此您可以在需要時充值。

常見的 HTTP 錯誤包含 401（金鑰無效）、402（信用不足）與 429（速率限制）。每支金鑰的限額為每分鐘 300 次請求。請將請求保持在 8 MB 以下以避免主體大小錯誤。

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

串流

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)