Integrera obegränsad LLM via OpenAI-SDK:n

Installera det officiella OpenAI SDK

Börja med att installera biblioteket som hanterar HTTP-förfrågningar. Detta SDK fungerar med vår slutpunkt eftersom vi följer samma protokoll.

• Kör pip install openai för Python.
• Kör npm install openai för Node.js.

Version 0.27.0 eller högre rekommenderas för fullt strömningsstöd. Biblioteket hanterar omförsök och JSON-seriering automatiskt.

Konfigurera base_url och API-nyckel

Pek SDK-klienten mot vår specifika gateway-URL. Detta ersätter standard OpenAI-slutpunkten med vår obegränsade modellserver.

Ställ in miljövariabeln OPENAI_BASE_URL för https://api.gatewayapillm.com/v1. Ange sedan din API-nyckel från kontrollpanelen. Du behöver bara en nyckel per konto; att generera en ny ogiltigförklarar den tidigare.

Denna konfiguration säkerställer att alla anrop dirigeras direkt till vår ofiltrerade infrastruktur.

Skicka din första chattkomplettering

Gör en standard POST-begäran till /v1/chat/completions. Modell-ID:t är helt enkelt uncensored. Detta returnerar ett direkt text svar utan innehållsfilter för laglig vuxenanvändning.

Vårt kontextfönster stödjer 100 000 tokens totalt. Du kan begära upp till 16 000 utmatningstokens per anrop. Om du inte anger max_tokens, är 2 048 tokens som standard.

Aktivera strömning för realtids-tokens

Använd Server-Sent Events (SSE) för låg latensutdata. SDK:et strömmar tokens när de genereras. Detta ger omedelbar återkoppling för långa kontexter.

Tokenanvändningsstatistik ingår i den sista biten av strömmen. Du kan spåra förbrukning i realtid utan att vänta på hela svaret. Detta är idealiskt för chattgränssnitt eller livekodgenerering.

Använd verktyg och JSON-läge

Function calling fungerar exakt enligt OpenAI-standarden. Definiera dina verktyg i tools parameter och låt modellen bestämma när de ska anropas. Använd response_format: {"type": "json_object"} för strikta JSON-utdata.

Parameters like temperature, top_p, stop, och seed är fullt stödda. Detta möjliggör precis kontroll över modellens beteende och utdatastruktur.

Kontrollera användning och hantera fel

Övervaka din förbetalda kreditbalans via dashboarden. Fel och avvisningar förbrukar inte tokens. Din kredit upphör aldrig att gälla, så du kan fylla på när det behövs.

Vanliga HTTP-fel inkluderar 401 (ogiltig nyckel), 402 (otillräckligt kredit) och 429 (hastighetsbegränsning). Gränsen är 300 förfrågningar per minut per nyckel. Håll förfrågningar under 8 MB för att undvika fel för kroppsstorlek.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strömning

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)