Apple công bố chi tiết cách huấn luyện mô hình AI Apple Intelligence

Apple công bố chi tiết cách huấn luyện mô hình AI Apple Intelligence

Tại WWDC 2025, Apple không chỉ giới thiệu các mô hình nền (foundation models) chạy trên thiết bị và trên nền tảng đám mây, mà còn lần đầu tiên công khai một báo cáo kỹ thuật toàn diện về cách huấn luyện, tối ưu và đánh giá các mô hình AI của mình. Tài liệu này mang tên “Apple Intelligence Foundation Language Models – Tech Report 2025”, và là một bước đi hiếm hoi của Apple trong việc minh bạch hoá quy trình phát triển AI.

Dưới đây là những điểm nổi bật trong báo cáo:

⚙️ Mô hình on-device được chia thành hai khối

Apple xác nhận mô hình ngôn ngữ chạy trực tiếp trên thiết bị có khoảng 3 tỷ tham số, và nay tiết lộ rằng nó được thiết kế theo cấu trúc hai khối:

Khối 1: Chiếm 62,5% tổng số lớp Transformer

Khối 2: Gồm 37,5% lớp còn lại, nhưng đã loại bỏ các phép chiếu key/value, giúp tiết kiệm bộ nhớ

Cách tổ chức này giúp giảm 37,5% bộ nhớ tạm cần thiết khi sinh token đầu tiên, đồng thời cải thiện tốc độ phản hồi, nhưng vẫn giữ được chất lượng đầu ra. Đây là kết quả từ những thử nghiệm trước đó của Apple trong việc hoán chuyển dữ liệu giữa RAM và bộ nhớ trong để xử lý các mô hình lớn hơn bộ nhớ thiết bị cho phép.

☁️ Mô hình trên đám mây ứng dụng kiến trúc MoE tuỳ chỉnh

Trên hệ thống Private Cloud Compute, Apple sử dụng kiến trúc Parallel-Track Mixture-of-Experts (PT-MoE) – một thiết kế mới của chính hãng.

Mô hình được chia thành nhiều “đường ray” xử lý token độc lập, thay vì tuần tự như các Transformer truyền thống

Mỗi đường ray sử dụng các lớp MoE (Mixture of Experts), chỉ kích hoạt những “chuyên gia” phù hợp với từng tác vụ cụ thể

Apple cũng tích hợp các lớp attention toàn cục và cục bộ (Global & Local Attention Interleaving) để duy trì cả ngữ cảnh chi tiết và bao quát

Kết quả là một mô hình rất linh hoạt, nhẹ và có khả năng mở rộng cao, phù hợp với mục tiêu phản hồi nhanh mà vẫn đảm bảo độ chính xác.

🌐 Hỗ trợ đa ngôn ngữ tăng mạnh: +275% hiệu năng

Một trong những hạn chế ban đầu của Apple Intelligence là khả năng xử lý ngôn ngữ phi tiếng Anh còn hạn chế. Apple cho biết đã có bước tiến rõ rệt trong phiên bản mới:

Tăng dữ liệu huấn luyện đa ngôn ngữ từ 8% lên 30%

Tăng quy mô tokenizer từ 100.000 lên 150.000 token

Tinh chỉnh mô hình bằng học tăng cường với lời nhắc do người bản địa viết

Apple báo cáo rằng những thay đổi này giúp cải thiện đáng kể độ chính xác và tự nhiên khi phản hồi bằng nhiều ngôn ngữ khác nhau – điều rất quan trọng cho các tính năng như Writing Tools hay trợ lý ảo trong hệ điều hành.

📚 Dữ liệu huấn luyện đến từ đâu?

Apple công khai ba nguồn chính:

Dữ liệu công khai trên web:
Thu thập bằng Applebot, tôn trọng robots.txt. Dữ liệu được lọc nhiều lớp để loại bỏ nội dung kém chất lượng, spam, văn bản rác…

Dữ liệu có bản quyền:
Apple xác nhận một phần dữ liệu đến từ các đối tác cấp phép (có thể gồm Condé Nast, NBC News, IAC...). Không tiết lộ cụ thể tỷ lệ.

Dữ liệu tổng hợp và tự tạo:
Bao gồm dữ liệu tạo bằng mô hình nhỏ hơn, dùng cho các tác vụ đặc biệt như toán học, lập trình, thị giác ngôn ngữ...

Ngoài ra, Apple cũng thu thập hơn 10 tỷ cặp hình ảnh và chú thích, bao gồm ảnh chụp màn hình có OCR, ghi chú, và cả dữ liệu cấp phép từ Shutterstock.

🧠 Kết luận

Việc Apple công khai sâu như vậy về cách huấn luyện AI là điều hiếm thấy, đặc biệt với một công ty nổi tiếng kín tiếng như họ. Báo cáo kỹ thuật năm 2025 không chỉ giúp giới nghiên cứu hiểu rõ cách Apple tối ưu hiệu năng trên thiết bị mà còn cho thấy họ đang nghiêm túc đầu tư để bắt kịp — hoặc thậm chí vượt lên — trong cuộc đua AI.