Ενσωματώστε uncensored LLM μέσω OpenAI SDK

Εγκαταστήστε το επίσημο SDK της OpenAI

Ξεκινήστε εγκαθιστώντας τη βιβλιοθήκη που διαχειρίζεται τα αιτήματα HTTP. Αυτό το SDK λειτουργεί με το endpoint μας επειδή ακολουθούμε το ίδιο πρωτόκολλο.

• Τρέξιμο pip install openai για Python.
• Τρέξιμο npm install openai για Node.js.

Η έκδοση 0.27.0 ή νεότερη συνιστάται για πλήρη υποστήριξη ροής. Η βιβλιοθήκη διαχειρίζεται τις επαναλήψεις και τη σειριοποίηση JSON αυτόματα.

Ρυθμίστε base_url και API key

Κατευθύνετε τον πελάτη SDK σας στο συγκεκριμένο URL πύλης. Αυτό αντικαθιστά το προεπιλεγμένο endpoint OpenAI με τον διακομιστή μοντέλου χωρίς λογοκρισία μας.

Ορίστε τη μεταβλητή περιβάλλοντος OPENAI_BASE_URL για https://api.gatewayapillm.com/v1. Στη συνέχεια, παρέχετε το API key σας από το dashboard. Χρειάζεστε μόνο ένα key ανά λογαριασμό· η δημιουργία ενός νέου ακυρώνει το προηγούμενο.

Αυτή η ρύθμιση διασφαλίζει ότι όλες οι κλήσεις κατευθύνονται απευθείας στην υποδομή μας χωρίς φιλτράρισμα.

Στείλτε την πρώτη ολοκλήρωση συνομιλίας

Κάντε ένα τυπικό POST αίτημα στο /v1/chat/completions. Το ID του μοντέλου είναι απλώς uncensored. Αυτό επιστρέφει μια άμεση απάντηση κειμένου χωρίς φίλτρα περιεχομένου για νόμιμη χρήση για ενήλικες.

Το context window μας υποστηρίζει 100,000 tokens συνολικά. Μπορείτε να ζητήσετε έως 16.000 output tokens ανά κλήση. Αν δεν ορίσετε max_tokens, η προεπιλογή είναι 2,048 tokens.

Ενεργοποιήστε τη ροή για tokens σε πραγματικό χρόνο

Χρησιμοποιήστε Server-Sent Events (SSE) για έξοδο χαμηλής καθυστέρησης. Το SDK ρέει tokens καθώς παράγονται. Αυτό παρέχει άμεση ανατροφοδότηση για μακρά πλαίσια συνάφειας.

Τα στατιστικά χρήσης tokens περιλαμβάνονται στο τελικό chunk του stream. Μπορείτε να παρακολουθείτε την κατανάλωση σε πραγματικό χρόνο χωρίς να περιμένετε την πλήρη απάντηση. Αυτό είναι ιδανικό για διεπαφές συνομιλίας ή ζωντανή δημιουργία κώδικα.

Χρησιμοποιήστε εργαλεία και λειτουργία JSON

Η κλήση συναρτήσεων λειτουργεί ακριβώς όπως το τυπικό OpenAI. Ορίστε τα εργαλεία σας στο tools parameter και αφήστε το μοντέλο να αποφασίσει πότε να τα καλέσει. Χρησιμοποιήστε response_format: {"type": "json_object"} για αυστηρές εξόδους JSON.

Παράμετροι όπως temperature, top_p, stop, και seed υποστηρίζονται πλήρως. Αυτό επιτρέπει ακριβή έλεγχο της συμπεριφοράς και της δομής εξόδου του μοντέλου.

Ελέγξτε τη χρήση και διαχειριστείτε σφάλματα

Παρακολουθήστε το υπόλοιπο του προπληρωμένου πιστωτικού σας μέσω του πίνακα ελέγχου. Τα σφάλματα και οι απορρίψεις δεν καταναλώνουν tokens. Το πιστωτικό σας δεν λήγει ποτέ, οπότε μπορείτε να προσθέσετε κεφάλαια όταν χρειαστεί.

Συνήθη σφάλματα HTTP περιλαμβάνουν 401 (μη έγκυρο κλειδί), 402 (ανεπαρκές υπόλοιπο) και 429 (όριο ρυθμού). Το όριο είναι 300 αιτήματα ανά λεπτό ανά κλειδί. Κρατήστε τα αιτήματα κάτω από 8 MB για να αποφύγετε σφάλματα μεγέθους σώματος.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ροή

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)