Integrasikan LLM tanpa sensor melalui SDK OpenAI

Pasang SDK rasmi OpenAI

Mula dengan memasang perpustakaan yang mengendalikan permintaan HTTP. SDK ini berfungsi dengan hujung sambungan kami kerana kami mengikuti protokol yang sama.

• Jalankan pip install openai untuk Python.
• Jalankan npm install openai untuk Node.js.

Versi 0.27.0 atau lebih tinggi disyorkan untuk sokongan penstriman penuh. Perpustakaan menguruskan percubaan semula dan siri JSON secara automatik.

Konfigurasi base_url dan kunci API

Arahkan klien SDK anda ke URL gerbang khusus. Ini menggantikan hujung OpenAI lalai dengan pelayan model tanpa sensor kami.

Tetapkan pembolehubah persekitaran OPENAI_BASE_URL ke https://api.gatewayapillm.com/v1. Kemudian berikan kunci API anda dari papan pemuka. Anda hanya memerlukan satu kunci per akaun; menjana kunci baru akan menamatkan ketidaksahihan kunci sebelumnya.

Konfigurasi ini memastikan semua panggilan disalurkan terus ke infrastruktur tanpa tapisan kami.

Hantar penyelesaian sem pertama anda

Buat permintaan POST standard ke /v1/chat/completions. ID model hanyalah uncensored. Ini mengembalikan respons teks langsung tanpa penapis kandungan untuk penggunaan dewasa yang sah.

Jendela konteks kami menyokong 100,000 token secara jumlah. Anda boleh meminta sehingga 16,000 token output setiap panggilan. Jika anda tidak menetapkan max_tokens, lalai ialah 2,048 token.

Dayakan penstriman untuk token masa nyata

Gunakan Acara Dihantar Pelayan (SSE) untuk output berlatensi rendah. SDK mengangkut token semasa ia dijana. Ini memberikan maklum balas serta-merta untuk konteks panjang.

Statistik penggunaan token termasuk dalam segmen akhir aliran. Anda boleh menjejak penggunaan secara masa nyata tanpa menunggu respons penuh. Ini sesuai untuk antara muka sembang atau penjanaan kod langsung.

Gunakan alat dan mod JSON

Pemanggilan fungsi berfungsi sama seperti piawai OpenAI. Takrifkan alat anda dalam tools parameter dan biarkan model memutuskan bila untuk memanggilnya. Gunakan response_format: {"type": "json_object"} untuk output JSON ketat.

Parameter seperti temperature, top_p, stop, dan seed are fully supported. This allows precise control over the model's behavior and output structure.

Semak penggunaan dan tangani ralat

Pantau baki kredit pra-dibayar anda melalui papan pemuka. Ralat dan penolakan tidak menggunakan token. Kredit anda tidak luput, jadi anda boleh menambah dana apabila diperlukan.

Ralat HTTP biasa termasuk 401 (kunci tidak sah), 402 (kredit tidak mencukupi), dan 429 (had kadar). Hadnya ialah 300 permintaan setiap minit per kunci. Pastikan permintaan di bawah 8 MB untuk mengelakkan ralat saiz badan.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Aliran

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)