دمج LLM غير الخاضع للرقابة عبر SDK الخاص بـ OpenAI

ثبّت حزمة SDK الرسمية من OpenAI

ابدأ بتثبيت المكتبة التي تتعامل مع طلبات HTTP. يعمل هذا الـ SDK مع نقطة النهاية الخاصة بنا لأننا نتبع نفس البروتوكول.

• تشغيل pip install openai لـ Python.
• تشغيل npm install openai لـ Node.js.

يُوصى بالإصدار 0.27.0 أو أعلى لدعم البث الكامل. تدير المكتبة عمليات إعادة المحاولة والتسلسل الهرمي لـ JSON تلقائياً.

تكوين base_url ومفتاح API

وجّه عميل SDK الخاص بك إلى عنوان URL البوابة المحدد. يحل هذا محل نقطة نهاية OpenAI الافتراضية بخادم النموذج غير الخاضع للرقابة لدينا.

حدد متغير البيئة OPENAI_BASE_URL إلى https://api.gatewayapillm.com/v1. ثم قدم مفتاح API الخاص بك من لوحة التحكم. تحتاج إلى مفتاح واحد فقط لكل حساب؛ يؤدي إنشاء مفتاح جديد إلى إبطال المفتاح السابق.

يضمن هذا الإعداد توجيه جميع الطلبات مباشرة إلى بنيتنا التحتية غير المقيدة.

أرسل أول إكمال للدردشة

أرسل طلب POST قياسي إلى /v1/chat/completions. معرف النموذج ببساطة uncensored. يعيد هذا استجابة نصية مباشرة دون مرشحات محتوى للاستخدام البالغ القانوني.

تدعم نافذة السياق لدينا 100,000 رمز إجمالي. يمكنك طلب ما يصل إلى 16,000 رمز إخراج لكل استدعاء. إذا لم تقم بتعيين max_tokens, الافتراضي هو 2,048 رمزًا.

تمكين التدفق للرموز في الوقت الفعلي

استخدم أحداث الإرسال الخادم (SSE) لمخرجات منخفضة زمن الاستجابة. يبث SDK الرموز أثناء توليدها. يوفر هذا ملاحظات فورية للسياقات الطويلة.

تتضمن إحصائيات استهلاك الرمز الشريحة الأخيرة من التدفق. يمكنك تتبع الاستهلاك في الوقت الفعلي دون انتظار الاستجابة الكاملة. يعد هذا مثالياً لواجهات الدردشة أو توليد الكود المباشر.

استخدم الأدوات ووضع JSON

يعمل استدعاء الوظائف تمامًا مثل معيار OpenAI. عرّف أدواتك في tools السماح للنموذج بالقرار متى يستدعيها. استخدم response_format: {"type": "json_object"} لإخراج JSON صارم.

معاملات مثل temperature, top_p, stop، و seed مدعومة بالكامل. هذا يسمح بالتحكم الدقيق في سلوك النموذج وهيكل الإخراج.

تحقق من الاستخدام وتعامل مع الأخطاء

راقب رصيدك المدفوع مسبقاً عبر لوحة التحكم. الأخطاء والرفض لا تستهلك الرموز. لا ينتهي رصيدك، لذا يمكنك الشحن عند الحاجة.

تشمل أخطاء HTTP الشائعة 401 (مفتاح غير صالح)، و 402 (رصيد غير كافٍ)، و 429 (حد المعدل). الحد هو 300 طلب في الدقيقة لكل مفتاح. حافظ على الطلبات أقل من 8 ميجابايت لتجنب أخطاء حجم الجسم.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

التدفق

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)