Tích hợp LLM không kiểm duyệt qua SDK OpenAI

Cài đặt SDK chính thức của OpenAI

Bắt đầu bằng cách cài đặt thư viện xử lý các yêu cầu HTTP. SDK này hoạt động với điểm cuối của chúng tôi vì chúng tôi tuân theo cùng một giao thức.

• Chạy pip install openai cho Python.
• Chạy npm install openai cho Node.js.

Phiên bản 0.27.0 trở lên được khuyến nghị để hỗ trợ phát trực tiếp đầy đủ. Thư viện tự động quản lý việc thử lại và tuần tự hóa JSON.

Cấu hình base_url và khóa API

Điểm SDK client của bạn đến URL cổng chuyên dụng. Điều này thay thế điểm cuối OpenAI mặc định bằng máy chủ mô hình không kiểm duyệt của chúng tôi.

Đặt biến môi trường OPENAI_BASE_URL để https://api.gatewayapillm.com/v1. Sau đó, cung cấp API key của bạn từ bảng điều khiển. Bạn chỉ cần một key cho mỗi tài khoản; tạo mới sẽ vô hiệu hóa key cũ.

Cấu hình này đảm bảo tất cả các lệnh gọi đều được định tuyến trực tiếp đến cơ sở hạ tầng không kiểm duyệt của chúng tôi.

Gửi lần hoàn tất hội thoại đầu tiên của bạn

Thực hiện yêu cầu POST tiêu chuẩn đến /v1/chat/completions. ID mô hình đơn giản chỉ là uncensored. Điều này trả về một phản hồi văn bản trực tiếp mà không có bộ lọc nội dung cho mục đích người lớn hợp pháp.

Cửa sổ ngữ cảnh của chúng tôi hỗ trợ tổng cộng 100.000 token. Bạn có thể yêu cầu tối đa 16.000 token đầu ra mỗi lần gọi. Nếu bạn không đặt max_tokens, mặc định là 2.048 token.

Bật chế độ streaming để nhận token theo thời gian thực

Sử dụng Sự kiện gửi máy chủ (SSE) cho đầu ra độ trễ thấp. SDK phát trực tiếp các token khi chúng được tạo. Điều này cung cấp phản hồi ngay lập tức cho các ngữ cảnh dài.

Thống kê sử dụng token được bao gồm trong chunk cuối cùng của luồng. Bạn có thể theo dõi mức tiêu thụ theo thời gian thực mà không cần chờ phản hồi đầy đủ. Điều này rất lý tưởng cho các giao diện trò chuyện hoặc tạo mã trực tiếp.

Sử dụng công cụ và chế độ JSON

Gọi hàm hoạt động chính xác như tiêu chuẩn OpenAI. Xác định các công cụ của bạn trong tools tham số và để mô hình quyết định khi nào gọi chúng. Sử dụng response_format: {"type": "json_object"} cho các đầu ra JSON nghiêm ngặt.

Các tham số như temperature, top_p, stop, và seed được hỗ trợ đầy đủ. Điều này cho phép kiểm soát chính xác hành vi và cấu trúc đầu ra của mô hình.

Kiểm tra việc sử dụng và xử lý lỗi

Theo dõi số dư tín dụng trả trước của bạn qua bảng điều khiển. Lỗi và từ chối không tiêu thụ token. Tín dụng của bạn không bao giờ hết hạn, vì vậy bạn có thể nạp tiền khi cần.

Các lỗi HTTP phổ biến bao gồm 401 (key không hợp lệ), 402 (không đủ tín dụng) và 429 (giới hạn tốc độ). Giới hạn là 300 yêu cầu mỗi phút mỗi key. Giữ các yêu cầu dưới 8 MB để tránh lỗi kích thước body.

cURL

Copycurl https://api.gatewayapillm.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain how to configure Nginx for reverse proxying HTTPS traffic to a local Node server"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayapillm.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayapillm.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phát trực tiếp

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)