Integrieren Sie unzensierte LLMs über das OpenAI-SDK

Installieren Sie das offizielle OpenAI-SDK

Installieren Sie zunächst die Bibliothek, die die HTTP-Anfragen verarbeitet. Dieses SDK funktioniert mit unserem Endpunkt, da wir demselben Protokoll folgen.

• Ausführen pip install openai für Python.
• Ausführen npm install openai für Node.js.

Version 0.27.0 oder höher wird für vollständige Streaming-Unterstützung empfohlen. Die Bibliothek verwaltet Retries und JSON-Serialisierung automatisch.

base_url und API-Schlüssel konfigurieren

Richten Sie Ihren SDK-Client auf unsere spezifische Gateway-URL. Dies ersetzt den Standard-OpenAI-Endpunkt durch unseren unzensierten Modellservr.

Legen Sie die Umgebungsvariable fest. OPENAI_BASE_URL zu https://api.gatewayapillm.com/v1. Geben Sie dann Ihren API-Schlüssel aus dem Dashboard ein. Sie benötigen nur einen Schlüssel pro Konto; die Generierung eines neuen Schlüssels macht den vorherigen ungültig.

Diese Konfiguration stellt sicher, dass alle Aufrufe direkt an unsere unzensierte Infrastruktur geleitet werden.

Senden Sie Ihre erste Chat-Vervollständigung

Senden Sie eine Standard-POST-Anfrage an /v1/chat/completions. Die Modell-ID ist einfach uncensored. Dies gibt eine direkte Textantwort ohne Inhaltsfilter für legale erwachsene Nutzung zurück.

Unser Kontextfenster unterstützt insgesamt 100.000 Tokens. Sie können bis zu 16.000 Ausgabe-Tokens pro Aufruf anfordern. Wenn Sie nicht festlegen max_tokens, beträgt der Standardwert 2.048 Tokens.

Streaming für Echtzeit-Tokens aktivieren

Verwenden Sie Server-Sent Events (SSE) für eine geringe Latenz. Das SDK streamt Tokens, sobald sie generiert werden. Dies bietet sofortiges Feedback für lange Kontexte.

Token-Nutzungsstatistiken sind im finalen Chunk des Streams enthalten. Sie können den Verbrauch in Echtzeit verfolgen, ohne auf die vollständige Antwort zu warten. Dies ist ideal für Chat-Oberflächen oder Live-Code-Generierung.

Nutzen Sie Tools und JSON-Modus

Function Calling funktioniert genau wie der OpenAI-Standard. Definieren Sie Ihre Tools in der tools parameter und lassen Sie das Modell entscheiden, wann sie aufgerufen werden sollen. Verwenden response_format: {"type": "json_object"} für strikte JSON-Ausgaben.

Parameter wie temperature, top_p, stop, und seed werden vollständig unterstützt. Dies ermöglicht eine präzise Steuerung des Modellverhaltens und der Ausgabestruktur.

Prüfen Sie die Nutzung und behandeln Sie Fehler

Überwachen Sie Ihr vorausbezahltes Guthaben über das Dashboard. Fehler und Ablehnungen verbrauchen keine Tokens. Ihr Guthaben verfällt nie, sodass Sie bei Bedarf aufladen können.

Häufige HTTP-Fehler umfassen 401 (ungültiger Schlüssel), 402 (unzureichendes Guthaben) und 429 (Rate Limit). Das Limit beträgt 300 Anfragen pro Minute pro Schlüssel. Halten Sie Anfragen unter 8 MB, um Fehler aufgrund der Body-Größe zu vermeiden.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)