Integrálja az uncensored LLM-t az OpenAI SDK-n keresztül

Telepítse a hivatalos OpenAI SDK-t

Kezdje a HTTP-kéréseket kezelő könyvtár telepítésével. Ez az SDK az endpointunkkal működik, mert ugyanazt a protokollt követjük.

• Futtatás pip install openai Python számára.
• Futtatás npm install openai Node.js-hez.

A teljes streamelés támogatáshoz a 0.27.0 vagy magasabb verzió ajánlott. A könyvtár automatikusan kezeli az újrapróbálkozásokat és a JSON szerializálást.

base_url és API-kulcs konfigurálása

Irányítsd SDK-kliensedet a specifikus kapu URL-re. Ez lecseréli az alapértelmezett OpenAI végpontot az uncensored modell szerverünkre.

Állítsa be a környezeti változót OPENAI_BASE_URL a https://api.gatewayapillm.com/v1. Ezután adja meg API-kulcsát a műszerfapról. Fiókonként csak egy kulcra van szüksége; az új kulcs generálása érvényteleníti a korábbit.

Ez a beállítás biztosítja, hogy minden kérés közvetlenül a mi szűrőmentes infrastruktúránkra irányuljon.

Küldje el első chat-lezárás

Tegyen egy szabványos POST kérést a /v1/chat/completions. A modell azonosítója egyszerűen uncensored.Ez egy közvetlen szövegválaszt ad vissza jogszerű felnőtt felhasználás esetén tartalom-szűrők nélkül.

A kontextusablakunk összesen 100,000 tokent támogat. Kérésenként maximum 16,000 kimeneti tokent kérhet. Ha nem állítja be max_tokens, az alapértelmezett 2 048 token.

Streamelés engedélyezése valós idejű tokenekhez

Használja a Szerveroldali Eseményeket (SSE) az alacsony késleltetésű kimenethez. Az SDK streameli a tokeneket generálás közben. Ez azonnali visszajelzést biztosít hosszú kontextusok esetén.

A tokenfelhasználási statisztikák a stream végső tömbjében szerepelnek. Nyomon követheti a fogyasztást valós időben a teljes válaszra való várakozás nélkül. Ez ideális chat felületekhez vagy élő kódgeneráláshoz.

Használjon eszközöket és JSON módot

A function calling pontosan úgy működik, mint az OpenAI szabvány. Definiálja eszközeit a tools parameter and let the model decide when to call them. Use response_format: {"type": "json_object"} a szigorú JSON kimenetekhez.

Paraméterek, mint például temperature, top_p, stop, és seed teljesen támogatottak. Ez pontos ellenőrzést tesz lehetővé a modell viselkedése és a kimeneti struktúra felett.

Ellenőrizze a használatot és kezelje a hibákat

Kövesse nyomon az előre fizetett hitel egyenlegét a műszerfalon. A hibák és elutasítások nem fogyasztanak tokeneket. A hitel sosem jár le, így akkor tölthet fel, amikor szüksége van rá.

A gyakori HTTP hibák közé tartozik a 401 (érvénytelen kulcs), a 402 (elégtelen hitel) és a 429 (rate limit). A limit percenként 300 kérés kulcsonként. Tartsa a kéréseket 8 MB alatt a body méret hibák elkerülése érdekében.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamelés

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)