Google DeepMind, một trong những hãng hàng đầu về nghiên cứu trí tuệ nhân tạo, vừa công bố phương pháp đào tạo AI mới mang tên JEST, viết tắt của "Joint Example Selection Training". Phương pháp này hứa hẹn sẽ mang lại tốc độ đào tạo nhanh hơn gấp 13 lần và hiệu quả năng lượng cao hơn 10 lần so với các kỹ thuật truyền thống. Điều này đặc biệt quan trọng trong bối cảnh ngành công nghệ đang đối mặt với áp lực lớn về tác động môi trường của trung tâm dữ liệu AI.
Khác biệt chính của JEST so với các phương pháp truyền thống là thay vì tập trung vào từng điểm dữ liệu riêng lẻ, nó tập trung vào toàn bộ các batch dữ liệu. Trong quá trình này, một mô hình AI nhỏ hơn được sử dụng để phân loại chất lượng của dữ liệu từ các nguồn cao cấp, sau đó xếp hạng các batch theo chất lượng. Kết quả từ mô hình nhỏ này sau đó được dùng để đào tạo một mô hình lớn hơn.
DeepMind nhấn mạnh rằng để đạt hiệu quả, mô hình cần được đào tạo bằng bộ dữ liệu có chất lượng cao nhất do con người quản lý. Một khi chất lượng dữ liệu không đạt yêu cầu, kỹ thuật này sẽ không hiệu quả, bởi vì nó phụ thuộc vào nguyên tắc "rác vào, rác ra". Do đó, phương pháp này đòi hỏi kỹ năng quản lý dữ liệu rất cao và có thể không phù hợp với các nhà phát triển AI nghiệp dư.
Việc áp dụng rộng rãi của JEST trong ngành công nghiệp AI có thể góp phần giảm đáng kể chi phí và tiêu thụ năng lượng trong khi duy trì hiệu quả đào tạo. Tuy nhiên, liệu các công ty lớn có áp dụng phương pháp này không vẫn là một câu hỏi mở, bởi chi phí đào tạo các mô hình AI ngày càng tăng, với dự đoán một số mô hình trong tương lai có thể tiêu tốn tới một tỷ đô la.
Phương pháp JEST có thể là một giải pháp để giảm chi phí và năng lượng, nhưng cũng có thể dẫn đến việc tăng cường sử dụng năng lượng để đạt được tốc độ đào tạo nhanh hơn. Cuối cùng, điều quan trọng là làm thế nào để cân bằng giữa tiết kiệm chi phí và quy mô đầu ra để tối đa hóa hiệu quả.
CÙNG CHUYÊN MỤC
