Integra LLM sin censura mediante el SDK de OpenAI

Instala el SDK oficial de OpenAI

Empieza instalando la biblioteca que gestiona las solicitudes HTTP. Este SDK funciona con nuestro punto de conexión porque seguimos el mismo protocolo.

• Run pip install openai para Python.
• Run npm install openai para Node.js.

Se recomienda la versión 0.27.0 o superior para un soporte completo de streaming. La biblioteca gestiona los reintentos y la serialización JSON automáticamente.

Configura base_url y la clave API

Apunta tu cliente SDK a nuestra URL de puerta de enlace específica. Esto reemplaza el punto de conexión predeterminado de OpenAI con nuestro servidor de modelo sin censura.

Establece la variable de entorno OPENAI_BASE_URL para https://api.gatewayapillm.com/v1. A continuación, proporcione su clave API desde el panel de control. Solo necesita una clave por cuenta; generar una nueva invalida la anterior.

Esta configuración asegura que todas las llamadas se enruten directamente a nuestra infraestructura sin censura.

Envía tu primera finalización de chat

Realiza una solicitud POST estándar a /v1/chat/completions. El ID del modelo es simplemente uncensored. Esto devuelve una respuesta de texto directa sin filtros de contenido para uso adulto lícito.

Nuestra ventana de contexto admite 100.000 tokens en total. Puedes solicitar hasta 16.000 tokens de salida por llamada. Si no estableces max_tokens, el valor predeterminado es 2,048 tokens.

Habilita el streaming para tokens en tiempo real

Utiliza Eventos Enviados por Servidor (SSE) para salida de baja latencia. El SDK transmite los tokens a medida que se generan. Esto proporciona retroalimentación inmediata para contextos largos.

Las estadísticas de uso de tokens se incluyen en el fragmento final del stream. Puedes rastrear el consumo en tiempo real sin esperar la respuesta completa. Esto es ideal para interfaces de chat o generación de código en vivo.

Usa herramientas y modo JSON

La llamada de funciones funciona exactamente como el estándar de OpenAI. Define tus herramientas en la tools parameter y deja que el modelo decida cuándo llamarlos. Usa response_format: {"type": "json_object"} para salidas JSON estrictas.

Parámetros como temperature, top_p, stop, y seed están totalmente soportados. Esto permite un control preciso sobre el comportamiento y la estructura de salida del modelo.

Comprueba el uso y maneja los errores

Monitorea tu saldo de crédito prepagado a través del panel de control. Los errores y rechazos no consumen tokens. Tu crédito nunca expira, por lo que puedes recargar cuando sea necesario.

Los errores HTTP comunes incluyen 401 (clave inválida), 402 (crédito insuficiente) y 429 (límite de frecuencia). El límite es de 300 solicitudes por minuto por clave. Mantén las solicitudes por debajo de 8 MB para evitar errores de tamaño del cuerpo.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Transmisión

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)