Integrasikan LLM tanpa sensor melalui SDK OpenAI

Instal SDK resmi OpenAI

Mulai dengan menginstal pustaka yang menangani permintaan HTTP. SDK ini bekerja dengan endpoint kami karena kami mengikuti protokol yang sama.

• Jalankan pip install openai untuk Python.
• Jalankan npm install openai untuk Node.js.

Versi 0.27.0 atau lebih tinggi direkomendasikan untuk dukungan streaming penuh. Perpustakaan mengelola pengulangan dan serialisasi JSON secara otomatis.

Konfigurasi base_url dan kunci API

Arahkan klien SDK Anda ke URL gateway spesifik kami. Ini menggantikan titik akhir OpenAI default dengan server model tanpa sensor kami.

Atur variabel lingkungan OPENAI_BASE_URL ke https://api.gatewayapillm.com/v1. Kemudian berikan kunci API Anda dari dasbor. Anda hanya membutuhkan satu kunci per akun; menghasilkan kunci baru akan membatalkan kunci sebelumnya.

Konfigurasi ini memastikan semua panggilan dialihkan langsung ke infrastruktur tanpa sensor kami.

Kirim penyelesaian chat pertama Anda

Buat permintaan POST standar ke /v1/chat/completions. ID model hanyalah uncensored. Ini mengembalikan respons teks langsung tanpa filter konten untuk penggunaan dewasa yang sah.

Jendela konteks kami mendukung total 100.000 token. Anda dapat meminta hingga 16.000 token output per panggilan. Jika Anda tidak mengatur max_tokens, defaultnya adalah 2.048 token.

Aktifkan streaming untuk token real-time

Gunakan Server-Sent Events (SSE) untuk output latensi rendah. SDK meng-stream token saat dihasilkan. Ini memberikan umpan balik segera untuk konteks panjang.

Statistik penggunaan token disertakan dalam potongan terakhir stream. Anda dapat melacak konsumsi secara real-time tanpa menunggu respons penuh. Ini sangat ideal untuk antarmuka obrolan atau generasi kode langsung.

Gunakan alat dan mode JSON

Pemanggilan fungsi bekerja persis seperti standar OpenAI. Definisikan alat Anda di tools parameter dan biarkan model memutuskan kapan memanggilnya. Gunakan response_format: {"type": "json_object"} untuk output JSON ketat.

Parameter seperti temperature, top_p, stop, dan seed didukung sepenuhnya. Ini memungkinkan kontrol yang tepat atas perilaku model dan struktur output.

Periksa penggunaan dan tangani error

Pantau saldo kredit prabayar Anda melalui dasbor. Kesalahan dan penolakan tidak mengonsumsi token. Kredit Anda tidak pernah kedaluwarsa, sehingga Anda dapat mengisi ulang saat diperlukan.

Kesalahan HTTP umum mencakup 401 (kunci tidak valid), 402 (kredit tidak cukup), dan 429 (batas kecepatan). Batasnya adalah 300 permintaan per menit per kunci. Jaga permintaan di bawah 8 MB untuk menghindari kesalahan ukuran tubuh.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)