OpenAI SDK के माध्यम से अनसेंसर्ड LLM इंटीग्रेट करें

औपचारिक OpenAI SDK इंस्टॉल करें

HTTP अनुरोधों को संभालने वाले लाइब्रेरी को इंस्टॉल करके शुरू करें। यह SDK हमारे एंडपॉइंट के साथ काम करता है क्योंकि हम समान प्रोटोकॉल का पालन करते हैं।

• चलाएं pip install openai Python के लिए।
• चलाएं npm install openai Node.js के लिए।

पूर्ण स्ट्रीमिंग सपोर्ट के लिए संस्करण 0.27.0 या उच्चतर की सिफारिश की जाती है। लाइब्रेरी रिट्राइज़ और JSON सीरियलाइजेशन को स्वचालित रूप से प्रबंधित करती है।

base_url और API कुंजी कॉन्फ़िगर करें

अपने SDK क्लाइंट को हमारे विशिष्ट गेटवे यूआरएल की ओर निर्देशित दें। यह डिफ़ॉल्ट ओपनएआई एंडपॉइंट को हमारे अनसेंसर्ड मॉडल सर्वर से प्रतिस्थापित करता है।

पर्यावरण चर सेट करें OPENAI_BASE_URL को https://api.gatewayapillm.com/v1. फिर डैशबोर्ड से अपना API कुंजी प्रदान करें। आपको प्रति खाता केवल एक कुंजी की आवश्यकता है; एक नई कुंजी जनरेट करने से पिछली अमान्य हो जाती है।

यह सेटअप सुनिश्चित करता है कि सभी कॉल्स सीधे हमारे अनसेंसर्ड इंफ्रास्ट्रक्चर पर रूट होती हैं।

अपना पहला चैट कंप्लीशन

में एक मानक POST अनुरोध करें /v1/chat/completions. मॉडल आईडी बस uncensored. यह कानूनी वयक्त उपयोग के लिए सामग्री फिल्टर के बिना एक सीधा टेक्स्ट रिस्पॉन्स लौटाता है।

हमारा कॉन्टेक्स्ट विंडो कुल मिलाकर 100,000 टोकन का समर्थन करता है। आप प्रत्येक कॉल के लिए 16,000 आउटपुट टोकन तक अनुरोध कर सकते हैं। यदि आप सेट नहीं करते max_tokens, डिफ़ॉल्ट 2,048 टोकन है।

वास्तविक समय में टोकन के लिए स्ट्रीमिंग सक्षम करें

कम विलंबता वाले आउटपुट के लिए सर्वर-सेंट इवेंट्स (SSE) का उपयोग करें। SDK टोकन को जनरेट होते समय स्ट्रीम करता है। यह लंबे कॉन्टेक्स्ट के लिए तत्काल फीडबैक प्रदान करता है।

टोकन उपयोग आंकड़े स्ट्रीम के अंतिम चंक में शामिल हैं। आप पूरे प्रतिक्रिया का इंतजार किए बिना रियल-टाइम में खपत को ट्रैक कर सकते हैं। यह चैट इंटरफेस या लाइव कोड जनरेशन के लिए आदर्श है।

टूल्स और JSON मोड का उपयोग करें

फंक्शन कॉलिंग बिल्कुल OpenAI मानक की तरह काम करती है। अपने टूल्स को tools पैरामीटर और मॉडल को तय करने दें कि उन्हें कब कॉल करना है। उपयोग करें response_format: {"type": "json_object"} कठोर JSON आउटपुट के लिए।

तापमान जैसे पैरामीटर temperature, top_p, stop, और seed पूर्ण रूप से समर्थित हैं। यह मॉडल के व्यवहार और आउटपुट संरचना पर सटीक नियंत्रण की अनुमति देता है।

उपयोग और त्रुटियों को हैंडल करें

डैशबोर्ड के माध्यम से अपने पूर्व-भुगतान क्रेडिट बैलेंस की निगरानी करें। त्रुटियां और अस्वीकृतियां टोकन नहीं खपती हैं। आपका क्रेडिट कभी समाप्त नहीं होता है, इसलिए आप जब चाहें टॉप अप कर सकते हैं।

सामान्य HTTP त्रुटियों में 401 (अमान्य कुंजी), 402 (अपर्याप्त क्रेडिट), और 429 (रेट लिमिट) शामिल हैं। प्रति कुंजी प्रति मिनट 300 अनुरोधों की सीमा है। बॉडी साइज त्रुटियों से बचने के लिए अनुरोधों को 8 MB से कम रखें।

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

स्ट्रीमिंग

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)