שלב LLM ללא צנזורה דרך OpenAI SDK

התקן את ה-SDK הרשמי של OpenAI

התחל בהתקנת הספרייה שמטפלת בבקשות ה-HTTP. ה-SDK הזה עובד עם הנקודה שלנו כי אנחנו עוקבים אחרי אותו פרוטוקול.

• הרץ pip install openai ל-Python.
• הרץ npm install openai לNode.js.

גרסה 0.27.0 או גבוהה יותר מומלצת לתמיכה מלאה בסטרימינג. הספרייה מנהלת נסיונות חוזרים וסדרת JSON באופן אוטומטי.

הגדרת base_url ומפתח API

כוון את לקוח ה-SDK שלך לכתובת ה-Gateway הספציפית. זה מחליף את נקודת הקצה הסטנדרטית של OpenAI עם שרת המודל ללא הצנזורה שלנו.

הגדר את משתנה הסביבה OPENAI_BASE_URL אל https://api.gatewayapillm.com/v1. לאחר מכן, ספק את מפתח ה-API שלך מהלוח. אתה צריך רק מפתח אחד לכל חשבון; יצירת מפתח חדש מבטלת את הקודם.

התצורה הזו מבטיחה שכל הקריאות ינותבו ישירות לתשתית ללא סינון שלנו.

שלח את בקשת השלמת הצ'אט הראשונה שלך

בצעו בקשת POST סטנדרטית ל- /v1/chat/completions. מזהה המודל הוא פשוט uncensored. זה מחזיר תגובת טקסט ישירה ללא סינון תוכן לשימוש מבוגר חוקי.

חלון ההקשר שלנו תומך ב-100,000 טוקנים בסך הכל. אתה יכול לבקש עד 16,000 טוקני פלט בכל שיחה. אם לא תגדיר max_tokens, ברירת המחדל היא 2,048 טוקנים.

אפשרו זרימה לטוקנים בזמן אמת

השתמשו באירועים מוכווני שרת (SSE) לפלט בעל זמן תגובה נמוך. ה-SDK מוזרם טוקנים כפי שנוצרים. זה מספק משוב מיידי להקשרים ארוכים.

סטטיסטיקות שימוש בטוקנים כלולות בפריסה הסופית של הזרם. ניתן לעקוב אחר צריכה בזמן אמת ללא המתנה לתגובה המלאה. זה אידיאלי לממשקי צ'אט או יצירת קוד חיה.

השתמש בכלים ובמצב JSON

קריאה לפונקציה עובדת בדיוק כמו הסטנדרט של OpenAI. הגדירו את הכלים שלכם ב- tools פרמטר ותנו למודל להחליט מתי לקרוא להם. השתמשו ב- response_format: {"type": "json_object"} לפלטות JSON מחמירות.

פרמטרים כמו temperature, top_p, stop, וכן seed נתמכים במלואם. זה מאפשר שליטה מדויקת בהתנהגות המודל ובמבנה הפלט.

בדוק שימוש וטפל בשגיאות

עקבו אחר יתרת האשראי בתשלום מראש דרך לוח הבקרה. שגיאות וסירובים אינם צורכים טוקנים. האשראי שלכם אינו פג תוקף, כך שניתן להוסיף אשראי כשצריך.

שגיאות HTTP נפוצות כוללות 401 (מפתח לא חוקי), 402 (חוסר באשראי) ו-429 (מגבלת קצב). המגבלה היא 300 בקשות לדקה לכל מפתח. שמרו על בקשות מתחת ל-8 MB כדי להימנע משגיאות גודל גוף.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

זרימה

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)