Ngày xuất bản: ngày 28 tháng 4 năm 2025
Sự phát triển nhanh chóng của AI đang mở ra những ranh giới mới cho các ứng dụng web, đặc biệt là với sự ra đời của các tính năng trên thiết bị. Tìm hiểu cách CyberAgent, một công ty Internet hàng đầu của Nhật Bản, sử dụng AI tích hợp sẵn của Chrome và Prompt API để nâng cao trải nghiệm viết blog trên nền tảng của họ, Ameba Blog.
Chúng tôi chia sẻ mục tiêu của họ, lợi ích khi làm việc với AI tích hợp sẵn, những thách thức họ gặp phải và thông tin chi tiết có giá trị cho những nhà phát triển khác sử dụng AI tích hợp.
Prompt API (API Lời nhắc) là gì?
| Video giải thích | Web | Phần mở rộng | Trạng thái của Chrome | Intent |
|---|---|---|---|---|
| GitHub |  Trong EPP |
 Bản dùng thử Origin |
Không áp dụng | Không áp dụng |
Prompt API giúp nhà phát triển sử dụng các mô hình ngôn ngữ lớn để thêm trực tiếp các tính năng AI vào ứng dụng của họ. Bằng cách xác định lời nhắc tuỳ chỉnh, các ứng dụng có thể thực hiện các thao tác như trích xuất dữ liệu, tạo nội dung và phản hồi được cá nhân hoá. Trong Chrome, Prompt API thực hiện suy luận phía máy khách bằng Gemini Nano. Quy trình xử lý cục bộ này (bất kể bạn sử dụng mô hình nào) đều giúp tăng cường quyền riêng tư đối với dữ liệu và tốc độ phản hồi. Bất kể sử dụng mô hình nào, tốc độ phản hồi của khách hàng.
Hỗ trợ sử dụng AI cho tác giả của Ameba Blog
CyberAgent nhận thấy một vấn đề phổ biến đối với các tác giả, đó là quy trình thường tốn thời gian để tạo nội dung hấp dẫn, đặc biệt là tiêu đề. Họ đưa ra giả thuyết rằng việc tích hợp các chức năng dựa trên AI vào giao diện tạo blog có thể cải thiện đáng kể chất lượng và hiệu quả tạo nội dung. Mục tiêu của họ là cung cấp các công cụ khơi nguồn cảm hứng và giúp người viết blog tạo nội dung hấp dẫn.
CyberAgent phát triển một Tiện ích của Chrome bằng Prompt API. Tiện ích này cung cấp một bộ tính năng dựa trên AI, được thiết kế để hỗ trợ người viết trên Ameba Blog tạo tiêu đề và đề mục, các đoạn tiếp theo cũng như các điểm cải tiến chung về nội dung.
Do đó, CyberAgent muốn sử dụng các tính năng có tính linh hoạt, do đó, họ đã chọn Prompt API. Với khả năng vô hạn trong một API, CyberAgent có thể xác định chính xác yếu tố nào hoạt động hiệu quả nhất và hữu ích nhất cho các tác giả của Ameba.
CyberAgent đã thử nghiệm tiện ích này với một số người viết blog chọn lọc, cung cấp thông tin chi tiết có giá trị về tính thực tế của các chức năng được cung cấp. Ý kiến phản hồi của bạn đã giúp CyberAgent xác định các ứng dụng phù hợp hơn để hỗ trợ AI, đồng thời tinh chỉnh thiết kế của tiện ích. Dựa trên những kết quả và ý kiến phản hồi tích cực, CyberAgent đang tìm cách phát hành tính năng này trong tương lai, trực tiếp mang sức mạnh của AI phía máy khách đến cho cộng đồng viết blog của họ.
Hãy cùng tìm hiểu kỹ hơn về các tính năng này.
Viết tiêu đề và đề mục phù hợp hơn
Tiện ích này tạo nhiều gợi ý tiêu đề, dựa trên nội dung đầy đủ của blog. Người viết blog có thể tinh chỉnh thêm các đề xuất này bằng các lựa chọn như "Tạo lại", "Lịch sự hơn", "Đơn giản hơn" hoặc "Tạo tiêu đề tương tự" và nhiều lựa chọn khác.
CyberAgent thiết kế giao diện người dùng riêng để người dùng không phải viết bất kỳ câu lệnh nào. Bằng cách này, những người dùng chưa quen với kỹ thuật câu lệnh cũng có thể hưởng lợi từ sức mạnh của trí tuệ nhân tạo (AI).
Tiện ích này cũng có thể tạo tiêu đề hấp dẫn cho từng phần của blog mà tác giả có thể yêu cầu bằng cách chọn văn bản có liên quan cho tiêu đề.
Mã để tạo tiêu đề bằng Prompt API bao gồm lời nhắc của hệ thống và lời nhắc của người dùng. Lời nhắc hệ thống cung cấp ngữ cảnh và hướng dẫn để nhận một loại đầu ra cụ thể, trong khi lời nhắc người dùng yêu cầu mô hình tương tác với nội dung người dùng viết. Hãy đọc thêm về đoạn mã của họ trong phần Triển khai tính năng hỗ trợ bằng AI.
Tạo các đoạn tiếp theo
Tiện ích này giúp người viết blog chinh phục khối người viết bằng cách tạo các đoạn tiếp theo dựa trên văn bản đã chọn. Với bối cảnh từ đoạn trước, AI sẽ soạn phần tiếp nối của đoạn văn bản, cho phép tác giả duy trì luồng sáng tạo của họ.
Cải thiện và chỉnh sửa văn bản
Gemini Nano phân tích văn bản đã chọn và có thể đề xuất cách cải thiện. Người dùng có thể tạo lại các điểm cải tiến bằng các ghi chú bổ sung về giọng điệu và lựa chọn ngôn ngữ để bản sao trở nên "dễ thương" hơn hoặc "đơn giản hơn".
Triển khai dịch vụ hỗ trợ bằng AI
CyberAgent chia mã tiện ích của họ thành 3 bước: tạo phiên, kích hoạt và nhắc mô hình.
Trước tiên, họ kiểm tra trên trình duyệt xem có hỗ trợ và tích hợp sẵn AI hay không. Nếu có, chúng sẽ tạo một phiên có các thông số mặc định.
// Confirm with the Prompt API documentation, as this name will change
// when the API is stable.
if (!chrome.aiOriginTrial || !chrome.aiOriginTrial.languageModel) {
// Detect the feature and display "Not Supported" message as needed
return;
}
// Define default values for topK and temperature within the application
const DEFAULT_TOP_K = 3;
const DEFAULT_TEMPERATURE = 1;
let session = null;
async function createAISession({ systemPrompt, topK, temperature } = {}) {
const { available, defaultTopK, maxTopK, defaultTemperature } =
await chrome.aiOriginTrial.languageModel.capabilities();
// "readily", "after-download", or "no"
if (available === "no") {
return Promise.reject(new Error('AI not available'));
}
const params = {
monitor(monitor) {
monitor.addEventListener('downloadprogress', event => {
console.log(`Downloaded: ${event.loaded} of ${event.total} bytes.`);
});
},
systemPrompt: systemPrompt || '',
topK: topK || defaultTopK,
temperature: temperature || defaultTemperature,
};
session = await chrome.aiOriginTrial.languageModel.create(params);
return session;
}
}
Mỗi tính năng có một chức năng trợ giúp do người dùng kích hoạt. Sau khi được kích hoạt, khi người dùng nhấp vào nút liên quan, họ sẽ cập nhật phiên cho phù hợp.
async function updateSession({ systemPrompt, topK, temperature } = {
topK: DEFAULT_TOP_K,
temperature: DEFAULT_TEMPERATURE,
}) {
if (session) {
session.destroy();
session = null;
}
session = await createAISession({
systemPrompt,
topK,
temperature,
});
}
Sau khi phiên được cập nhật, chúng sẽ nhắc mô hình theo hàm. Ví dụ: đây là mã để tạo tiêu đề và tạo lại tiêu đề với giọng điệu trang trọng hơn.
async function generateTitle() {
// Initialize the model session
await updateSession({
systemPrompt: `Create 3 titles suitable for the blog post's content,
within 128 characters, and respond in JSON array format.`,
});
const prompt = `Create a title for the following
blog post.${textareaEl.textContent}`;
const result = await session.prompt(prompt);
try {
const fixedJson = fixJSON(result);
// display result
displayResult(fixedJSON);
} catch (error) {
// display error
displayError();
}
}
async function generateMoreFormalTitle() {
// Do not execute updateSession to reuse the session during regeneration
const prompt = 'Create a more formal title.';
const result = await session.prompt(prompt);
...
}
Lợi ích của công nghệ trí tuệ nhân tạo (AI) tích hợp sẵn
AI tích hợp sẵn là một loại AI phía máy khách, nghĩa là quá trình suy luận diễn ra trên thiết bị của người dùng. CyberAgent chọn sử dụng các API AI tích hợp sẵn với Gemini Nano vì những ưu điểm hấp dẫn mà dịch vụ này mang lại cho cả nhà phát triển ứng dụng và người dùng.
Sau đây là những lợi ích chính mà CyberAgent tập trung vào:
- Bảo mật và quyền riêng tư
- Chi phí
- Khả năng phản hồi nhanh và độ tin cậy
- Dễ dàng phát triển
Bảo mật và quyền riêng tư
Khả năng chạy các mô hình AI ngay trên thiết bị của người dùng mà không cần truyền dữ liệu đến các máy chủ bên ngoài là tối quan trọng. Các bản nháp trên blog không dành cho công chúng xem. Do đó, CyberAgent không muốn gửi các bản nháp này đến máy chủ của bên thứ ba.
Công nghệ AI tích hợp sẵn sẽ tải Gemini Nano xuống thiết bị của người dùng để không cần gửi và nhận dữ liệu từ máy chủ. Điều này đặc biệt hữu ích khi soạn thảo, vì bản nháp có thể bao gồm thông tin mật hoặc cách diễn đạt không mong muốn. Trí tuệ nhân tạo tích hợp sẵn sẽ lưu giữ nội dung nguyên gốc và nội dung được tạo trên thiết bị thay vì phải gửi đến máy chủ. Việc này có thể giúp tăng cường tính bảo mật và bảo vệ quyền riêng tư của nội dung.
Chi phí tiết kiệm được
Một lợi thế lớn khi sử dụng AI tích hợp sẵn là trình duyệt có Gemini Nano và các API miễn phí sử dụng. Không có chi phí ẩn hoặc chi phí bổ sung.
Công nghệ trí tuệ nhân tạo tích hợp sẵn giúp giảm đáng kể chi phí máy chủ và hoàn toàn có thể loại bỏ hoàn toàn chi phí liên quan đến suy luận bằng AI. Giải pháp này có thể nhanh chóng mở rộng cho nhiều người dùng và cho phép người dùng gửi những câu lệnh liên tiếp để tinh chỉnh kết quả mà không làm phát sinh thêm phí.
Khả năng phản hồi nhanh và độ tin cậy
Công nghệ trí tuệ nhân tạo (AI) tích hợp sẵn cho phép thời gian phản hồi nhanh chóng và nhất quán, bất kể tình trạng mạng. Điều này cho phép người dùng tạo nội dung nhiều lần, giúp họ dễ dàng thử các ý tưởng mới và nhanh chóng tạo ra kết quả cuối cùng ưng ý.
Dễ dàng phát triển
Công nghệ trí tuệ nhân tạo (AI) tích hợp của Chrome đơn giản hoá quá trình phát triển bằng cách cung cấp một API có sẵn. Nhà phát triển được hưởng lợi từ mức độ dễ dàng của việc tạo các tính năng dựa trên AI cho ứng dụng của họ.
Gemini Nano và các API tích hợp sẵn AI được cài đặt trong Chrome, nên bạn không cần thiết lập thêm hay quản lý mô hình nữa. Các API này sử dụng JavaScript giống như các API trình duyệt khác và không yêu cầu kiến thức chuyên môn về công nghệ học máy.
Vượt qua thử thách để đạt kết quả tốt hơn
Hành trình sử dụng Prompt API của CyberAgent đã cung cấp những bài học có giá trị về những sắc thái khi làm việc với các mô hình ngôn ngữ lớn (LLM) phía máy khách.
- Câu trả lời không nhất quán: Giống như các LLM khác, Gemini Nano không đảm bảo kết quả giống hệt nhau cho cùng một câu lệnh. CyberAgent gặp phải phản hồi ở định dạng không mong muốn (chẳng hạn như Markdown và JSON không hợp lệ). Ngay cả khi có hướng dẫn, kết quả vẫn có thể khác nhau rất nhiều. Khi triển khai bất kỳ ứng dụng hoặc Tiện ích của Chrome nào có tích hợp sẵn AI, bạn nên thêm một giải pháp để đảm bảo kết quả luôn ở định dạng chính xác.
- Giới hạn mã thông báo: Việc quản lý mức sử dụng mã thông báo là rất quan trọng. CyberAgent sử dụng các thuộc tính và phương thức như
inputUsage,inputQuotavàmeasureInputUsage()để quản lý các phiên hoạt động, duy trì ngữ cảnh và giảm mức sử dụng mã thông báo. Điều này đặc biệt quan trọng khi tinh chỉnh tiêu đề. - Các giới hạn về kích thước mô hình: Vì mô hình được tải xuống và chạy trên thiết bị của người dùng, nên mô hình sẽ nhỏ hơn đáng kể so với mô hình dựa trên máy chủ. Điều này có nghĩa là bạn phải cung cấp đủ bối cảnh trong câu lệnh để đạt được kết quả mỹ mãn, đặc biệt là đối với nội dung tóm tắt. Tìm hiểu thêm về cách tìm hiểu kích thước của mô hình ngôn ngữ lớn (LLM).
CyberAgent nhấn mạnh rằng mặc dù các mô hình phía máy khách chưa có sẵn trên tất cả các trình duyệt và thiết bị và các mô hình nhỏ hơn có những hạn chế, nhưng nó vẫn có thể mang lại hiệu suất ấn tượng cho các tác vụ cụ thể. Khả năng lặp lại nhanh chóng và thử nghiệm mà không cần chi phí phía máy chủ khiến công cụ này trở thành một công cụ hữu ích.
Họ khuyên bạn nên tìm ra sự cân bằng vì hiểu rằng khó có thể đạt được phản hồi hoàn hảo với bất kỳ AI nào, dù là phía máy chủ hay phía máy khách. Cuối cùng, họ nhìn thấy một tương lai nơi phương pháp kết hợp, kết hợp thế mạnh của cả AI phía máy chủ và AI phía máy khách, sẽ mở ra tiềm năng lớn hơn nữa.
Hướng đến tương lai
Quá trình khám phá của CyberAgent về AI tích hợp sẵn cho thấy những khả năng thú vị của việc tích hợp AI liền mạch để nâng cao trải nghiệm người dùng. Tiện ích của họ được xây dựng để hoạt động với Ameba Blog cho thấy cách những công nghệ này có thể được áp dụng trong thực tế để giải quyết các vấn đề trong thế giới thực, mang đến những bài học có giá trị cho cộng đồng phát triển web rộng lớn.
Khi công nghệ này phát triển và hỗ trợ nhiều trình duyệt cũng như thiết bị hơn, chúng tôi hy vọng sẽ thấy nhiều ứng dụng tiên tiến hơn nữa của AI tích hợp sẵn cũng như các dạng AI khác phía máy khách.
Tài nguyên
- Tìm hiểu thêm về Prompt API cho tiện ích của Chrome
- Bắt đầu sử dụng API tích hợp trên Chrome
- Nghiên cứu điển hình của CyberAgent về Web AI cũng đề cập đến cùng chủ đề này.
- Xem Tương lai của AI ngay bây giờ, nghiên cứu điển hình của CyberAgent về AI phía máy khách
Xác nhận
Xin chân thành cảm ơn các blogger của Ameba, ao, Nodoka, Erin, Chiaki và socchi, những người đã cung cấp ý kiến phản hồi và giúp cải thiện tiện ích này. Xin chân thành cảm ơn Thomas Steiner, Alexandra Klepper và Sebastian Benz đã giúp viết và đánh giá bài đăng trên blog này.