Integra LLM senza filtri tramite SDK OpenAI

Installa l'SDK ufficiale di OpenAI

Inizia installando la libreria che gestisce le richieste HTTP. Questo SDK funziona con il nostro endpoint perché seguiamo lo stesso protocollo.

• Run pip install openai per Python.
• Run npm install openai per Node.js.

La versione 0.27.0 o superiore è consigliata per il supporto completo allo streaming. La libreria gestisce automaticamente i ritentativi e la serializzazione JSON.

Configura base_url e chiave API

Indirizza il client SDK all'URL gateway specifico. Questo sostituisce l'endpoint OpenAI predefinito con il nostro server per modelli senza filtri.

Imposta la variabile d'ambiente OPENAI_BASE_URL a https://api.gatewayapillm.com/v1. Quindi fornisci la tua chiave API dalla dashboard. Ti serve una sola chiave per account; generarne una nuova invalida quella precedente.

Questa configurazione garantisce che tutte le chiamate vengano instradate direttamente alla nostra infrastruttura senza filtri.

Invia la tua prima chat completion

Esegui una richiesta POST standard a /v1/chat/completions. L'ID del modello è semplicemente uncensored. Questo restituisce una risposta testuale diretta senza filtri di contenuto per uso adulto lecito.

La nostra finestra di contesto supporta 100.000 token in totale. Puoi richiedere fino a 16.000 token di output per chiamata. Se non imposti max_tokens, il valore predefinito è 2.048 token.

Abilita lo streaming per i token in tempo reale

Usa Server-Sent Events (SSE) per l'output a bassa latenza. L'SDK trasmette i token man mano che vengono generati. Questo fornisce feedback immediato per contesti lunghi.

Le statistiche sull'utilizzo dei token sono incluse nell'ultimo chunk dello stream. Puoi monitorare il consumo in tempo reale senza attendere la risposta completa. Questo è ideale per interfacce chat o generazione di codice in diretta.

Usa strumenti e modalità JSON

Il function calling funziona esattamente come lo standard OpenAI. Definisci i tuoi strumenti nel tools parameter e lascia che il modello decida quando chiamarli. Usa response_format: {"type": "json_object"} per output JSON rigorosi.

Parametri come temperature, top_p, stop, e seed sono completamente supportati. Questo consente un controllo preciso sul comportamento del modello e sulla struttura dell'output.

Verifica l'utilizzo e gestisci gli errori

Monitora il tuo saldo di credito prepagato tramite la dashboard. Gli errori e i rifiuti non consumano token. Il tuo credito non scade mai, quindi puoi ricaricare quando necessario.

Gli errori HTTP comuni includono 401 (chiave non valida), 402 (credito insufficiente) e 429 (limite di frequenza). Il limite è di 300 richieste al minuto per chiave. Mantieni le richieste sotto gli 8 MB per evitare errori di dimensione del corpo.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)