Integrujte LLM bez omezení přes SDK OpenAI

Nainstalujte oficiální SDK OpenAI

Začněte instalací knihovny, která zajišťuje zpracování HTTP požadavků. Toto SDK funguje s naším koncovým bodem, protože dodržujeme stejný protokol.

• Spustit pip install openai pro Python.
• Spustit npm install openai pro Node.js.

Verze 0.27.0 nebo vyšší se doporučuje pro plnou podporu streamování. Knihovna automaticky spravuje opakování pokusů a serializaci JSON.

Nastavte base_url a API klíč

Nasměrujte klienta SDK na konkrétní URL brány. Toto nahrazuje výchozí endpoint OpenAI serverem modelu bez omezení.

Nastavte proměnnou prostředí OPENAI_BASE_URL na https://api.gatewayapillm.com/v1.Poté zadejte svůj API klíč z ovládacího panelu. Na účet potřebujete pouze jeden klíč; vygenerování nového zneplatní předchozí.

Toto nastavení zajišťuje, že všechny požadavky jsou směrovány přímo na naši neomezenou infrastrukturu.

Odeslat své první dokončení chatu

Odešlete standardní POST požadavek na /v1/chat/completions. ID modelu je jednoduše uncensored.Tohle vrací přímou textovou odpověď bez filtrů obsahu pro legální použití pro dospělé.

Naše kontextová okna podporují celkem 100 000 tokenů. Můžete požadovat až 16 000 výstupních tokenů na volání. Pokud nenastavíte max_tokens, výchozí hodnota je 2 048 tokenů.

Povolte streamování pro tokeny v reálném čase

Použijte Server-Sent Events (SSE) pro nízkou latenci výstupu. SDK streamuje tokeny, jak jsou generovány. To poskytuje okamžitou zpětnou vazbu pro dlouhá kontextová okna.

Statistiky spotřeby tokenů jsou zahrnuty v posledním bloku streamu. Můžete sledovat spotřebu v reálném čase bez čekání na úplnou odpověď. To je ideální pro chatová rozhraní nebo živé generování kódu.

Použijte nástroje a režim JSON

Volání funkcí funguje přesně podle standardu OpenAI. Definujte své nástroje v tools parameter a nechte model rozhodnout, kdy je zavolat. Použijte response_format: {"type": "json_object"} pro přísné výstupy JSON.

Parametry jako temperature, top_p, stop, a seed jsou plně podporovány. To umožňuje přesnou kontrolu nad chováním modelu a strukturou výstupu.

Zkontrolujte využití a ošetřete chyby

Sledujte zůstatek předplaceného kreditu přes dashboard. Chyby a odmítnutí nespotřebovávají tokeny. Váš kredit nevyprší, takže můžete dobít, když potřebujete.

Běžné chyby HTTP zahrnují 401 (neplatný klíč), 402 (nedostatečný kredit) a 429 (limit rychlosti). Limit je 300 požadavků za minutu na klíč. Udržujte požadavky pod 8 MB, abyste předešli chybám velikosti těla.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamování

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)