Làm thế nào để giảm thời gian phản hồi từ dịch vụ AI?

Yêu cầu gửi đến API của dịch vụ AI bao gồm các chuỗi cần dịch. Yêu cầu càng dài, API sẽ mất càng nhiều thời gian để xử lý.

Ví dụ, dịch một bài đăng với 1000 chuỗi có thể khiến ChatGPT mất hơn 1 phút để hoàn thành.

Để giảm thời gian phản hồi từ dịch vụ AI, bạn có thể:

• Sử dụng mô hình nhanh hơn từ cùng một dịch vụ AI (ví dụ: ChatGPT 5 mini thay vì ChatGPT 5)
• Giảm kích thước payload gửi đến API trong cài đặt plugin

Khi giảm kích thước payload, yêu cầu sẽ được chia thành nhiều yêu cầu nhỏ hơn, mỗi yêu cầu sẽ được giải quyết nhanh hơn. Vì chúng được xử lý song song, tổng thời gian phản hồi sẽ được rút ngắn.

Đi đến Settings > Service Configuration > [AI service], và giảm tùy chọn Max request payload length.

Thử các giá trị khác nhau cho đến khi bạn tìm được giá trị cho thời gian phản hồi tốt nhất. Ví dụ, nếu giá trị đang được đặt là 8000, hãy đặt thành 4000 và thử lại.