Інтегруйте uncensored LLM через SDK OpenAI

Встановіть офіційний SDK OpenAI

Почніть із встановлення бібліотеки, яка обробляє HTTP-запити. Цей SDK працює з нашим ендпоінтом, оскільки ми дотримуємося того ж протоколу.

• Запустити pip install openai для Python.
• Запустити npm install openai для Node.js.

Версія 0.27.0 або вище рекомендується для повної підтримки потокової передачі. Бібліотека автоматично керує повторними спробами та серіалізацією JSON.

Налаштуйте base_url та API-ключ

Направте клієнт SDK на нашу конкретну URL-адресу шлюзу. Вона замінює стандартний ендпоінт OpenAI сервером нашої необмеженої моделі.

Встановіть змінну середовища OPENAI_BASE_URL до https://api.gatewayapillm.com/v1. Потім вкажіть свій API-ключ з панелі керування. Вам потрібен лише один ключ на акаунт; генерація нового анулює попередній.

Ця конфігурація гарантує, що всі запити маршрутизуються напряму до нашої нецензурованої інфраструктури.

Надішліть своє перше завершення чату

Зробіть стандартний POST-запит на /v1/chat/completions. Ідентифікатор моделі просто uncensored. Це повертає пряму текстову відповідь без фільтрів контенту для законного використання дорослими.

Наше контекстне вікно підтримує 100,000 токенів загалом. Ви можете запитувати до 16,000 вихідних токенів за виклик. Якщо ви не встановите max_tokens, за замовчуванням встановлюється 2,048 токенів.

Увімкніть потокове передавання для токенів у реальному часі

Використовуйте Події, надіслані сервером (SSE) для виводу з низькою затримкою. SDK потоково передає токени по мірі їх генерації. Це забезпечує миттєвий зворотний зв’язок для довгих контекстів.

Статистика використання токенів включена в кінцевий чанк потоку. Ви можете відстежувати споживання в реальному часі, не чекаючи повної відповіді. Це ідеально підходить для чат-інтерфейсів або генерації коду в реальному часі.

Використовуйте інструменти та режим JSON

Виклик функцій працює точно так само, як стандарт OpenAI. Визначте свої інструменти в tools параметр і дозвольте моделі вирішувати, коли їх викликати. Використовуйте response_format: {"type": "json_object"} для суворого виводу JSON.

Parameters like temperature, top_p, stop, а також seed повністю підтримуються. Це дозволяє точно контролювати поведінку моделі та структуру виводу.

Перевірте використання та обробляйте помилки

Відстежуйте баланс передоплачених кредитів через панель керування. Помилки та відмови не споживають токени. Ваш кредит не має строку дії, тому ви можете поповнити його, коли це необхідно.

Поширені HTTP-помилки включають 401 (недійсний ключ), 402 (недостатньо коштів) та 429 (перевищено ліміт частоти). Ліміт становить 300 запитів на хвилину на ключ. Тримайте розмір запиту менше 8 МБ, щоб уникнути помилок розміру тіла.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потокова передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)