Integrează LLM fără cenzură prin SDK OpenAI

Instalează SDK-ul oficial OpenAI

Începe prin a instala biblioteca care gestionează cererile HTTP. Acest SDK funcționează cu punctul nostru de terminare deoarece respectăm același protocol.

• Execută pip install openai pentru Python.
• Execută npm install openai pentru Node.js.

Versiunea 0.27.0 sau superioară este recomandată pentru suportul complet de streaming. Biblioteca gestionează automat reîncercările și serializarea JSON.

Configurează base_url și cheia API

Indreptați clientul SDK către URL-ul specific al gateway-ului. Acesta înlocuiește endpoint-ul implicit OpenAI cu serverul nostru de modele fără cenzură.

Stabilește variabila de mediu OPENAI_BASE_URL pentru https://api.gatewayapillm.com/v1. Apoi furnizează cheia ta API din panoul de control. Ai nevoie de o singură cheie per cont; generarea uneia noi invalidează cea anterioară.

Această configurare asigură că toate apelurile sunt direcționate direct către infrastructura noastră fără cenzură.

Trimite prima ta completare de chat

Efectuați o cerere POST standard către /v1/chat/completions. ID-ul modelului este simplu uncensored.Aceasta returnează un răspuns text direct, fără filtre de conținut pentru uz adult legal.

Fereastra de context suportă 100.000 de tokeni în total. Puteți solicita până la 16.000 de tokeni de ieșire per apel. Dacă nu setați max_tokens, implicitul este de 2.048 de tokeni.

Activați streaming-ul pentru tokenii în timp real

Folosiți Server-Sent Events (SSE) pentru ieșiri cu latență redusă. SDK-ul streamuiește tokenii pe măsură ce sunt generați. Acest lucru oferă feedback imediat pentru contexte lungi.

Statisticile privind utilizarea tokenilor sunt incluse în ultimul fragment al fluxului. Poți urmări consumul în timp real fără a aștepta răspunsul complet. Acest lucru este ideal pentru interfețele de chat sau generarea live de cod.

Folosește instrumente și modul JSON

Funcția de apelare a funcțiilor funcționează exact ca standardul OpenAI. Definește-ți instrumentele în tools parametru și lasă modelul să decidă când să le apeleze. Folosește response_format: {"type": "json_object"} pentru ieșiri JSON stricte.

Parametri precum temperature, top_p, stop, și seed sunt complet suportate. Acest lucru permite un control precis asupra comportamentului și structurii ieșirii modelului.

Verificați utilizarea și gestionați erorile

Monitorizați-vă soldul de credit preplătit prin panoul de control. Erorile și refuzurile nu consumă tokeni. Creditul dvs. nu expiră niciodată, astfel încât puteți reîncărca atunci când este necesar.

Erorile HTTP comune includ 401 (cheie invalidă), 402 (credit insuficient) și 429 (limită de rată). Limita este de 300 de cereri pe minut per cheie. Menține cererile sub 8 MB pentru a evita erorile de dimensiune a corpului.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)