Интегрируйте uncensored LLM через SDK OpenAI

Установите официальный SDK OpenAI

Начните с установки библиотеки для обработки HTTP-запросов. Этот SDK работает с нашим эндпоинтом, так как мы придерживаемся того же протокола.

• Запуск pip install openai для Python.
• Запуск npm install openai для Node.js.

Версия 0.27.0 или выше рекомендуется для полной поддержки потоковой передачи. Библиотека автоматически управляет повторными попытками и сериализацией JSON.

Настройте base_url и API-ключ

Укажите базовый URL нашего SDK-клиента для нашего конкретного URL шлюза. Это заменяет стандартный эндпоинт OpenAI сервером нашей uncensored-модели.

Установите переменную окружения OPENAI_BASE_URL для https://api.gatewayapillm.com/v1. Затем укажите ваш API-ключ из панели управления. Вам нужен всего один ключ на аккаунт; генерация нового аннулирует предыдущий.

Эта конфигурация гарантирует, что все запросы направляются непосредственно на нашу инфраструктуру без цензуры.

Отправьте свое первое завершение чата

Выполните стандартный POST-запрос к /v1/chat/completions. Идентификатор модели — это просто uncensored. Это возвращает прямой текстовый ответ без фильтров контента для законного использования взрослыми.

Наш контекстное окно поддерживает 100,000 токенов в общей сложности. Вы можете запросить до 16,000 выходных токенов за вызов. Если вы не установите max_tokens, по умолчанию установлено 2 048 токенов.

Включите потоковую передачу для токенов в реальном времени

Используйте Server-Sent Events (SSE) для вывода с низкой задержкой. SDK потоково передает токены по мере их генерации. Это обеспечивает немедленную обратную связь для длинных контекстов.

Статистика использования токенов включена в финальный чанк потока. Вы можете отслеживать потребление в реальном времени, не ожидая полного ответа. Это идеально подходит для интерфейсов чата или генерации кода в реальном времени.

Используйте инструменты и режим JSON

Вызов функций работает точно так же, как стандарт OpenAI. Определите свои инструменты в tools parameter и позвольте модели решить, когда их вызывать. Используйте response_format: {"type": "json_object"} для строгих выводов JSON.

Параметры, такие как temperature, top_p, stop, и seed полностью поддерживаются. Это позволяет точно контролировать поведение модели и структуру вывода.

Проверяйте использование и обрабатывайте ошибки

Отслеживайте баланс предоплаченных кредитов через панель управления. Ошибки и отказы не расходуют токены. Ваши кредиты не имеют срока действия, поэтому вы можете пополнять баланс по мере необходимости.

Распространённые HTTP-ошибки включают 401 (неверный ключ), 402 (недостаточно средств) и 429 (превышен лимит запросов). Лимит составляет 300 запросов в минуту на ключ. Держите размер тела запроса менее 8 МБ, чтобы избежать ошибок размера тела.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потоковая передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)