Integrer ubegrænset LLM via OpenAI SDK

Installer den officielle OpenAI SDK

Start med at installere biblioteket, der håndterer HTTP-anmodninger. Denne SDK fungerer med vores endpoint, fordi vi følger den samme protokol.

• Kør pip install openai til Python.
• Kør npm install openai til Node.js.

Version 0.27.0 eller højere anbefales til fuld streaming-understøttelse. Biblioteket håndterer automatisk retries og JSON-serialisering.

Konfigurér base_url og API-nøgle

Peg din SDK-klient på vores specifikke gateway-URL. Dette erstatter standard OpenAI-endpointet med vores server til ubegrænsede modeller.

Indstil miljøvariablen OPENAI_BASE_URL til https://api.gatewayapillm.com/v1. Derefter skal du angive din API-nøgle fra dashboardet. Du har kun brug for én nøgle pr. konto; generering af en ny ugyldiggør den forrige.

Denne opsætning sikrer, at alle kald dirigeres direkte til vores ufiltrerede infrastruktur.

Send din første chat-completion

Lav en standard POST-anmodning til /v1/chat/completions. Model-ID'et er blot uncensored. Dette returnerer et direkte tekstrespons uden indholdsfiltere for lovligt voksenbrug.

Vores context-vinduet understøtter 100.000 tokens i alt. Du kan anmode om op til 16.000 output-tokens per kald. Hvis du ikke indstiller max_tokens, standardindstillingen er 2.048 tokens.

Aktivér streaming for realtids-tokens

Brug Server-Sendte Begivenheder (SSE) til lav-latency output. SDK'et streamer tokens, mens de genereres. Dette giver øjeblikkelig feedback til lange kontekster.

Tokenforbrugsstatistikker er inkluderet i den sidste chunk af streamet. Du kan spore forbrug i realtid uden at vente på det fulde svar. Dette er ideelt til chatgrænseflader eller live kodegenerering.

Brug tools og JSON-tilstand

Function calling fungerer præcis som OpenAI-standarden. Definér dine værktøjer i tools parameter og lad modellen bestemme, hvornår de skal kaldes. Brug response_format: {"type": "json_object"} for strenge JSON-outputs.

Parameters like temperature, top_p, stop, og seed understøttes fuldt ud. Dette giver præcis kontrol over modellens adfærd og output-struktur.

Tjek brug og håndter fejl

Overvåg din forudbetalte kreditbalance via dashboardet. Fejl og afslag forbruger ikke tokens. Din kredit udløber aldrig, så du kan oplade, når det er nødvendigt.

Almindelige HTTP-fejl inkluderer 401 (ugyldig nøgle), 402 (utilstrækkelig kredit) og 429 (rate limit). Grænsen er 300 anmodninger i minuttet pr. nøgle. Hold anmodninger under 8 MB for at undgå fejl med kropstørrelse.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)