Integreer ongefilterde LLM via OpenAI SDK

Installeer de officiële OpenAI SDK

Installeer eerst de bibliotheek die de HTTP-verzoeken afhandelt. Deze SDK werkt met ons eindpunt omdat we hetzelfde protocol volgen.

• Uitvoeren pip install openai voor Python.
• Uitvoeren npm install openai voor Node.js.

Versie 0.27.0 of hoger wordt aanbevolen voor volledige streamingondersteuning. De bibliotheek beheert retries en JSON-serialisatie automatisch.

Configureer base_url en API-sleutel

Wijs uw SDK-client naar onze specifieke gateway-URL. Dit vervangt het standaard OpenAI-eindpunt door onze ongefilterde modelservers.

Stel de omgevingsvariabele in. OPENAI_BASE_URL naar https://api.gatewayapillm.com/v1. Geef vervolgens je API-sleutel opgehaald uit het dashboard. Je hebt slechts één sleutel per account nodig; het genereren van een nieuwe maakt de vorige ongeldig.

Deze opstelling zorgt ervoor dat alle calls direct naar onze ongefilterde infrastructuur worden gerouteerd.

Stuur uw eerste chatcompletie

Maak een standaard POST-request naar /v1/chat/completions. De model-ID is eenvoudigweg uncensored. Dit retourneert een directe tekstrespons zonder inhoudsfilters voor wettelijk volwassen gebruik.

Ons contextvenster ondersteunt 100.000 tokens in totaal. Je kunt tot 16.000 uitvoertokens per aanroep opvragen. Als je niet instelt max_tokens, de standaardwaarde is 2.048 tokens.

Schakel streaming in voor realtime tokens

Gebruik Server-Sent Events (SSE) voor lage latentie-uitvoer. De SDK streamt tokens terwijl ze worden gegenereerd. Dit biedt onmiddellijke feedback voor lange contexten.

Tokengebruikstatistieken zijn opgenomen in het laatste chunk van de stream. Je kunt verbruik in real-time bijhouden zonder te wachten op het volledige antwoord. Dit is ideaal voor chatinterfaces of live codegeneratie.

Gebruik tools en JSON-modus

Function calling werkt precies zoals de OpenAI-standaard. Definieer je tools in de tools parameter en laat het model beslissen wanneer ze aan te roepen. Gebruik response_format: {"type": "json_object"} voor strikte JSON-uitvoeren.

Parameters zoals temperature, top_p, stop, en seed zijn volledig ondersteund. Dit stelt je in staat tot precieze controle over het gedrag en de uitvoerstructuur van het model.

Controleer gebruik en verwerk fouten

Monitor uw vooraf betaalde kredietbalans via het dashboard. Fouten en weigeringen verbruiken geen tokens. Uw krediet verloopt niet, dus u kunt opladen wanneer dat nodig is.

Veelgemaakte HTTP-fouten zijn onder andere 401 (ongeldige sleutel), 402 (onvoldoende tegoed) en 429 (rate limit). De limiet is 300 verzoeken per minuut per sleutel. Houd verzoeken onder de 8 MB om fouten voor de grootte van de body te vermijden.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)