Apple опублікувала дослідження, яке поставило під сумнів можливості сучасних моделей штучного інтелекту. Проте профессор Сок Джун Квон зі Сунгкьюнкванського університету вважає такі висновки помилковими. Причина може бути простішою, ніж здається.
Дослідження Apple стверджувало, що великі мовні моделі та моделі логічного мислення не можуть приймати обґрунтовані рішення при зростанні складності завдань. Компанія тестувала моделі на контрольованих головоломках. Результати показали, що точність Claude 3.7 Sonnet Thinking та DeepSeek-R1 падала до нуля незалежно від доступних обчислювальних ресурсів.
Квон категорично не погоджується з такими висновками. Він стверджує, що сотні досліджень масштабування послідовно демонструють покращення продуктивності у степеневій залежності від кількості параметрів. Продуктивність може досягти насичення, але вона не зменшується.
Проблема полягає в тому, що Apple не має достатньо потужного обладнання для тестування. У компанії немає GPU-кластера, порівнянного з тими, що використовують Google, Microsoft чи xAI.
Коли Apple представила Apple Intelligence у 2024 році, фокус був на обробці на пристрої. На WWDC компанія не показала прогресу у власному штучному інтелекті центрів обробки даних. Це знову обмежило Apple Intelligence лише обробкою на пристрої з суворими обмеженнями конфіденціальності та продуктивності.
Apple дозволяє Siri викликати зовнішні великі мовні моделі. Спочатку це був ChatGPT 4o, незабаром додасться Gemini. Такий гібридний підхід незвичайний для apple.
Раніше ми писали, що Apple виявила критичні недоліки у найпотужніших системах штучного інтелекту, що викликало широке обговорення в технологічній спільноті. Нове дослідження стало продовженням цієї дискусії.
Процесори M-серії apple розроблені насамперед для клієнтських ПК. Їхні GPU не підтримують FP16, який використовується для навчання штучного інтелекту. Підсистеми пам'яті покладаються на LPDDR5 замість високопродуктивної HBM3E.
CPU M-серії не підтримують нативно широко використовувані фреймворки машинного навчання, такі як PyTorch. Це вимагає громіздких конвертацій.
Квон вважає, що збіг публікації дослідження з WWDC не випадковий. Apple могла намагатися применшити досягнення таких компаній, як Anthropic, Google, OpenAI чи xAI, оскільки явно відстає від лідерів ринку.
Щоб наздогнати конкурентів, Apple має розробити спеціалізовані процесори серверного класу. Вони повинні мати передові підсистеми пам'яті та складні можливості навчання та виведення штучного інтелекту. Ці рішення не можуть фундаментально покладатися на дизайн GPU та NPU для системи-на-чіпі M-серії.
Критика Квона підкреслює важливу проблему: обмеження обладнання можуть спотворювати результати досліджень. Справжні можливості штучного інтелекту можна оцінити лише за наявності відповідних ресурсів. Apple доведеться зробити серйозні інвестиції в інфраструктуру, щоб залишатися конкурентоспроможною у гонці штучного інтелекту.
