Zintegruj LLM bez cenzury poprzez SDK OpenAI

Zainstaluj oficjalny pakiet OpenAI SDK

Zacznij od zainstalowania biblioteki obsługującej żądania HTTP. To SDK działa z naszym punktem końcowym, ponieważ stosujemy ten sam protokół.

• Uruchom pip install openai dla Python.
• Uruchom npm install openai dla Node.js.

Zalecana jest wersja 0.27.0 lub nowsza dla pełnego wsparcia strumieniowania. Biblioteka automatycznie zarządza ponawianiami prób i serializacją JSON.

Skonfiguruj base_url i klucz API

Wskaż klienta SDK na nasz konkretny adres URL bramki. Zastępuje to domyślny punkt końcowy OpenAI naszym serwerem z nieograniczonym modelem.

Ustaw zmienną środowiskową OPENAI_BASE_URL do https://api.gatewayapillm.com/v1. Następnie podaj swój klucz API z panelu. Potrzebujesz tylko jednego klucza na konto; wygenerowanie nowego unieważnia poprzedni.

To rozwiązanie zapewnia, że wszystkie połączenia są kierowane bezpośrednio do naszej infrastruktury bez cenzury.

Wyślij swoje pierwsze uzupełnienie czatu

Wykonaj standardowe żądanie POST do /v1/chat/completions. ID modelu to po prostu uncensoredTo zwraca bezpośrednią odpowiedź tekstową bez filtrów treści dla legalnego użytku dla dorosłych.

Okno kontekstu obsługuje łącznie 100 000 tokenów. Możesz zażądać do 16 000 tokenów wyjściowych w jednym wywołaniu. Jeśli nie ustawisz max_tokens, domyślnie wynosi 2,048 tokenów.

Włącz strumieniowanie dla tokenów w czasie rzeczywistym

Użyj Wysyłanych Wydarzeń Serwerowych (SSE) dla niskiego opóźnienia. SDK strumieniuje tokeny w miarę ich generowania. Zapewnia to natychmiastową informację zwrotną dla długich kontekstów.

Statystyki użycia tokenów są uwzględnione w końcowym kawałku strumienia. Możesz śledzić zużycie w czasie rzeczywistym bez czekania na pełną odpowiedź. Jest to idealne dla interfejsów czatu lub generowania kodu na żywo.

Używaj narzędzi i trybu JSON

Wywoływanie funkcji działa dokładnie jak standard OpenAI. Zdefiniuj swoje narzędzia w tools parameter i pozwól modelowi zdecydować, kiedy je wywołać. Użyj response_format: {"type": "json_object"} dla ścisłych wyjść JSON.

Parametry takie jak temperature, top_p, stop, a także seed są w pełni obsługiwane. Pozwala to na precyzyjną kontrolę nad zachowaniem modelu i strukturą wyjścia.

Sprawdź użycie i obsługuj błędy

Monitoruj saldo kredytu płatnego z góry przez panel. Błędy i odmowy nie zużywają tokenów. Twój kredyt nigdy nie wygasa, więc możesz doładować go, gdy jest to potrzebne.

Typowe błędy HTTP obejmują 401 (nieprawidłowy klucz), 402 (niewystarczające środki) i 429 (limit częstości). Limit wynosi 300 żądań na minutę na klucz. Trzymaj się rozmiaru ciała poniżej 8 MB, aby uniknąć błędów rozmiaru.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strumieniowanie

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)