Intégrez le LLM sans censure via le SDK OpenAI

Installez le SDK officiel OpenAI

Commencez par installer la bibliothèque qui gère les requêtes HTTP. Ce SDK fonctionne avec notre point de terminaison car nous suivons le même protocole.

• Exécuter pip install openai pour Python.
• Exécuter npm install openai pour Node.js.

La version 0.27.0 ou supérieure est recommandée pour un support complet du streaming. La bibliothèque gère automatiquement les nouvelles tentatives et la sérialisation JSON.

Configurer base_url et la clé API

Pointez votre client SDK vers notre URL de passerelle spécifique. Cela remplace l'endpoint OpenAI par défaut par notre serveur de modèle sans censure.

Définissez la variable d'environnement OPENAI_BASE_URL à https://api.gatewayapillm.com/v1. Ensuite, fournissez votre clé API depuis le tableau de bord. Vous n'avez besoin que d'une clé par compte ; en générer une nouvelle invalide la précédente.

Cette configuration garantit que tous les appels sont acheminés directement vers notre infrastructure sans censure.

Envoyez votre première complétion de chat

Faites une requête POST standard vers /v1/chat/completions. L'ID du modèle est simplement uncensored. Cela retourne une réponse textuelle directe sans filtres de contenu pour un usage adulte légal.

Notre fenêtre de contexte prend en charge 100 000 tokens au total. Vous pouvez demander jusqu'à 16 000 tokens de sortie par appel. Si vous ne définissez pas max_tokens, la valeur par défaut est de 2 048 tokens.

Activez le streaming pour les jetons en temps réel

Utilisez les Événements envoyés par le serveur (SSE) pour une sortie à faible latence. Le SDK diffuse les tokens au fur et à mesure de leur génération. Cela fournit un retour immédiat pour les contextes longs.

Les statistiques d'utilisation des tokens sont incluses dans le dernier chunk du flux. Vous pouvez suivre la consommation en temps réel sans attendre la réponse complète. C'est idéal pour les interfaces de chat ou la génération de code en direct.

Utilisez les outils et le mode JSON

L'appel de fonctions fonctionne exactement comme la norme OpenAI. Définissez vos outils dans la tools parameter et laissez le modèle décider quand les appeler. Utilisez response_format: {"type": "json_object"} pour des sorties JSON strictes.

Paramètres comme temperature, top_p, stop, et seed sont entièrement pris en charge. Cela permet un contrôle précis du comportement du modèle et de la structure des sorties.

Vérifiez l'utilisation et gérez les erreurs

Surveillez votre solde de crédit prépayé via le tableau de bord. Les erreurs et les refus ne consomment pas de jetons. Votre crédit n'expirera jamais, vous pouvez donc recharger lorsque cela est nécessaire.

Les erreurs HTTP courantes incluent 401 (clé invalide), 402 (crédit insuffisant) et 429 (limite de débit). La limite est de 300 requêtes par minute par clé. Gardez les requêtes en dessous de 8 Mo pour éviter les erreurs de taille de corps.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)