OpenAI SDK経由でuncensored LLMを統合

公式のOpenAI SDKをインストール

HTTPリクエストを処理するライブラリをインストールすることから始めましょう。当社のエンドポイントは、同じプロトコルに従っているため、このSDKと互換性があります。

• 実行 pip install openai for Python.
• 実行 npm install openai for Node.js.

完全なストリーミングサポートにはバージョン0.27.0以上を推奨します。ライブラリはリトライとJSONシリアライズを自動的に管理します。

base_urlとAPIキーを設定

SDKクライアントを特定のゲートウェイURLにポイントしてください。これにより、デフォルトのOpenAIエンドポイントが当社の無制限モデルサーバーに置き換えられます。

環境変数を設定します。 OPENAI_BASE_URL に https://api.gatewayapillm.com/v1次に、ダッシュボードから取得したAPIキーを設定します。アカウントごとに1つのキーだけでよく、新しいキーを生成すると以前のキーは無効になります。

この構成により、すべての呼び出しが当社の uncensored インフラに直接ルーティングされます。

最初のチャット完了

標準的なPOSTリクエストを /v1/chat/completions. モデルIDは単に uncensored. これは法的な成人向け用途に対してコンテンツフィルタなしで直接テキストレスポンスを返します。

当社のコンテキストウィンドウは合計100,000トークンをサポートします。1回の呼び出しで最大16,000出力トークンをリクエストできます。設定を行わない場合、 max_tokensデフォルト値は2,048トークンです。

リアルタイムのトークンのためにストリーミングを有効にする

Server-Sent Events (SSE)を使用して低レイテンシの出力を実現してください。SDKはトークン生成時にストリーミングします。これにより、長いコンテキストに対して即時フィードバックが得られます。

トークン使用統計はストリームの最終チャンクに含まれます。完全な応答を待たずにリアルタイムで消費を追跡できます。これは、チャットインターフェースやライブコード生成に最適です。

ツールとJSONモードを使用

関数呼び出しはOpenAIの標準と完全に一致します。リクエストでツールを定義します。 tools パラメータを使用して、モデルに呼び出しのタイミングを選ばせます。 response_format: {"type": "json_object"} 厳密なJSON出力用。

パラメータなど temperature, top_p, stop、および seed 完全にサポートされています。これにより、モデルの動作と出力構造を正確に制御できます。

使用状況を確認し、エラーを処理する

ダッシュボードからプリペイド残高を確認できます。エラーや拒否はトークンを消費しません。クレジットは期限切れにならないため、必要に応じてチャージしてください。

一般的なHTTPエラーには、401（無効なキー）、402（残高不足）、429（レート制限）が含まれます。制限はキーあたり1分間300リクエストです。本文サイズのエラーを避けるために、リクエストを8 MB未満に保ってください。

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

ストリーミング

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)