Integre LLM sem censura via SDK OpenAI

Instale o SDK oficial da OpenAI

Comece instalando a biblioteca que gerencia as solicitações HTTP. Este SDK funciona com nosso endpoint porque seguimos o mesmo protocolo.

• Executar pip install openai para Python.
• Executar npm install openai para Node.js.

A versão 0.27.0 ou superior é recomendada para suporte completo a streaming. A biblioteca gerencia retentativas e serialização JSON automaticamente.

Configure base_url e a chave da API

Aponte o cliente SDK para o nosso URL de gateway específico. Isso substitui o endpoint padrão da OpenAI pelo servidor do nosso modelo sem censura.

Defina a variável de ambiente OPENAI_BASE_URL para https://api.gatewayapillm.com/v1. Em seguida, forneça sua chave de API do painel. Você precisa apenas de uma chave por conta; gerar uma nova invalida a anterior.

Esta configuração garante que todas as chamadas sejam roteadas diretamente para nossa infraestrutura sem censura.

Envie sua primeira conclusão de chat

Faça uma solicitação POST padrão para /v1/chat/completions. O ID do modelo é simplesmente uncensored. Isso retorna uma resposta de texto direta sem filtros de conteúdo para uso adulto lícito.

Nossa janela de contexto suporta 100.000 tokens no total. Você pode solicitar até 16.000 tokens de saída por chamada. Se você não definir max_tokens, o padrão é 2.048 tokens.

Ative o streaming para tokens em tempo real

Use Server-Sent Events (SSE) para saída de baixa latência. O SDK transmite tokens conforme são gerados. Isso fornece feedback imediato para contextos longos.

As estatísticas de uso de tokens estão incluídas no último chunk do stream. Você pode rastrear o consumo em tempo real sem aguardar a resposta completa. Isso é ideal para interfaces de chat ou geração de código ao vivo.

Use ferramentas e modo JSON

A chamada de função funciona exatamente como o padrão da OpenAI. Defina suas ferramentas no tools parameter e deixe o modelo decidir quando chamá-las. Use response_format: {"type": "json_object"} para saídas JSON estritas.

Parâmetros como temperature, top_p, stop, e seed são totalmente suportados. Isso permite controle preciso sobre o comportamento e a estrutura de saída do modelo.

Verifique o uso e trate erros

Monitore o saldo do seu crédito pré-pago pelo painel. Erros e recusas não consomem tokens. Seu crédito nunca expira, então você pode recarregar quando precisar.

Erros HTTP comuns incluem 401 (chave inválida), 402 (crédito insuficiente) e 429 (limite de taxa). O limite é de 300 solicitações por minuto por chave. Mantenha as solicitações abaixo de 8 MB para evitar erros de tamanho do corpo.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)