Theo tin tức từ BitouchNews, Theo TechCrunch, Elon Musk cho biết trong một cuộc trò chuyện trực tiếp với Chủ tịch Stagwell Mark Penn rằng việc đào tạo các mô hình AI hiện tại về cơ bản đã cạn kiệt dữ liệu trong thế giới thực, “Chúng tôi đã cạn kiệt tổng lượng kiến ​​thức tích lũy của con người. Điều này đã xảy ra lần cuối. Musk đồng ý với quan điểm của cựu nhà khoa học trưởng AI của Open AI Ilya Sutskever, người đã đề xuất tại Hội nghị học máy NeurIPS rằng ngành công nghiệp AI đã đạt đến “đỉnh cao dữ liệu” và có thể cần phải thay đổi cách phát triển các mô hình trong thế giới này. tương lai.

Musk tin rằng dữ liệu tổng hợp sẽ là một cách bổ sung cho dữ liệu thực và AI sẽ tự học bằng cách tạo và tự đánh giá dữ liệu. Xu hướng này đã được các gã khổng lồ công nghệ bao gồm Microsoft, Meta , Open AI và Anthropic áp dụng. Ví dụ: mô hình Microsoft Phi -4 và mô hình Google Gemma kết hợp dữ liệu thực và dữ liệu tổng hợp để đào tạo. Gartner dự đoán rằng khoảng 60% dữ liệu trong các dự án phân tích và AI sẽ được tạo ra tổng hợp vào năm 2024.

Ưu điểm của dữ liệu tổng hợp bao gồm tiết kiệm chi phí, ví dụ công ty khởi nghiệp AI Writer chỉ chi khoảng 700.000 USD để phát triển X ( 4,6 triệu USD). Tuy nhiên, cũng có những rủi ro với dữ liệu tổng hợp, bao gồm giảm tính sáng tạo của mô hình, tăng độ lệch đầu ra và khả năng sụp đổ mô hình. Đặc biệt khi bản thân dữ liệu huấn luyện bị sai lệch, kết quả được tạo ra cũng có thể bị ảnh hưởng.