Integroi epäsuodatettu LLM OpenAI-SDK:n kautta

Asenna virallinen OpenAI:n SDK

Aloita asentamalla kirjasto, joka käsittelee HTTP-pyynnöt. Tämä SDK toimii päätepisteemme kanssa, koska noudatamme samaa protokollaa.

• Suorita pip install openai Pythonille.
• Suorita npm install openai Node.js:lle.

Versio 0.27.0 tai uudempi on suositeltu täydelliseen suoratoistotukeen. Kirjasto hallinnoi uudelleenyrityksiä ja JSON-serialisointia automaattisesti.

Määritä base_url ja API-avain

Osoita SDK-asiakkaasi tiettyyn portaaliverkko-osoitteeseen. Tämä korvaa oletusarvoisen OpenAI-päätepisteen uncensored-mallipalvelimellamme.

Aseta ympäristömuuttuja OPENAI_BASE_URL vastaan https://api.gatewayapillm.com/v1. Syötä sen jälkeen API-avaimesi hallintapaneelista. Tarvitset vain yhden avaimen tilille; uuden luominen mitätöi edellisen.

Tämä konfiguraatio varmistaa, että kaikki pyynnöt ohjataan suoraan suodattamattomalle infrastruktuurillemme.

Lähetä ensimmäinen chat-valmius

Tee vakio POST-pyyntö osoitteeseen /v1/chat/completions. Mallin tunnus on yksinkertaisesti uncensored. Tämä palauttaa suoraa tekstivastausta ilman sisältösuodattimia laillisessa aikuis käytössä.

Kontekstiikkunamme tukee yhteensä 100,000 tokenia. Voit pyytää enintään 16,000 tulostus-tokenia kutsumiskertaa kohti. Jos et aseta max_tokens, oletusarvoisesti 2 048 tokeniä.

Ota suoratoisto käyttöön reaaliaikaiseen tokenitulokseen

Käytä Server-Sent Events (SSE) matalaviiveiseen tulokseen. SDK streamaa tokenit niiden generoitumisen aikana. Tämä tarjoaa välittömän palautteen pitkille konteksteille.

Token-käystilastot sisällytetään streamin lopulliseen palaseen. Voit seurata kulutusta reaaliajassa odottamatta koko vastausta. Tämä on ihanteellinen keskustelujärjestelmille tai live-koodintuotannolle.

Käytä työkaluja ja JSON-tilaa

Function calling toimii täsmälleen OpenAI-standardin mukaisesti. Määrittele työkalusi pyynnön tools parametri ja anna mallin päättää, milloin niitä kutsutaan. Käytä response_format: {"type": "json_object"} tiukkoja JSON-tuloksia.

Parameters like temperature, top_p, stop, ja seed tuetaan täysin. Tämä mahdollistaa tarkan hallinnan mallin käyttäytymiselle ja tulosterakenteelle.

Tarkista käyttö ja käsittele virheet

Seuraa etukäteen maksettua luottokreditasiasi hallintapaneelin kautta. Virheet ja kielletyt vastaukset eivät kuluta tokennejaa. Luottokrediti ei vanhene, joten voit täydentää sitä tarpeen mukaan.

Yleiset HTTP-virheet sisältävät 401 (virheellinen avain), 402 (riittämätön saldo) ja 429 (nopeusrajoitus). Rajoitus on 300 pyyntöä minuutissa avainta kohden. Pidä pyynnöt alle 8 MB välttääksesi body-kokovirheet.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Virtaus

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)