OpenAI SDK aracılığıyla filtresiz LLM entegre edin

Resmi OpenAI SDK'sını yükleyin

HTTP isteklerini yöneten kütüphaneyi yükleyerek başlayın. Bu SDK, aynı protokolü izlediğimiz için uç noktamızla çalışır.

• Çalıştır pip install openai Python için.
• Çalıştır npm install openai Node.js için.

Tam akış desteği için sürüm 0.27.0 veya üzeri önerilir. Kütüphane geri denemeleri ve JSON serileştirmesini otomatik olarak yönetir.

base_url'i ve API anahtarını yapılandırın

SDK istemcinizi özel ağ geçidi URL'sine işaretleyin. Bu, varsayılan OpenAI uç noktasını sansürsüz model sunucumuzla değiştirir.

Ortam değişkenini ayarlayın OPENAI_BASE_URL için https://api.gatewayapillm.com/v1. Ardından, panodan API anahtarınızı sağlayın. Hesap başına yalnızca bir anahtara ihtiyacınız vardır; yeni bir tane oluşturmak öncekini geçersiz kılar.

Bu yapı, tüm isteklerin doğrudan filtrelenmemiş altyapımıza yönlendirilmesini sağlar.

İlk sohbet tamamlamasını

Standart bir POST isteği gönderin /v1/chat/completions. Model kimliği basitçe uncensored. Bu, yasal yetişkin kullanım için içerik filtreleri olmadan doğrudan bir metin yanıtı döndürür.

Bağlam pencereniz toplam 100,000 token kapasitesine sahiptir. Her çağrı için 16.000 çıkış tokenı talep edebilirsiniz. Ayarlamazsanız max_tokens, varsayılan değer 2.048 token'dır.

Gerçek zamanlı tokenlar için akış özelliğini etkinleştirin

Düşük gecikmeli çıktı için Sunucu Tarafı Olayları (SSE) kullanın. SDK, tokenlar oluşturuldukça onları akışa alır. Bu, uzun bağlamlar için anında geri bildirim sağlar.

Token kullanım istatistikleri akışın son chunk'ında yer alır. Tam yanıtı beklemeden tüketimi gerçek zamanlı olarak takip edebilirsiniz. Bu, sohbet arayüzleri veya canlı kod üretimi için idealdir.

Araçları ve JSON modunu kullanın

İşlev çağırma, OpenAI standardıyla aynı şekilde çalışır. Araçlarınızı tools parametre ve modelin bunları ne zaman çağıracağını ona bırakın. Kullanın response_format: {"type": "json_object"} katı JSON çıktılar için.

Parameters like temperature, top_p, stop, ve seed tamamen desteklenir. Bu, modelin davranışı ve çıktı yapısı üzerinde hassas kontrol sağlar.

Kullanımı kontrol edin ve hataları yönetin

Ön ödemeli kredi bakiyenizi kontrol paneli üzerinden izleyin. Hatalar ve reddetmeler token tüketmez. Kredi süresi dolmaz, bu nedenle gerektiğinde yükleme yapabilirsiniz.

Yaygın HTTP hataları arasında 401 (geçersiz anahtar), 402 (yetersiz kredi) ve 429 (hız sınırı) yer alır. Limit, anahtar başına dakikada 300 istektir. Gövde boyutu hatalarından kaçınmak için istekleri 8 MB altında tutun.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Akış

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)