Навіть з "високою оцінкою, але низькою здатністю", Grok2 мав величезну кількість високоякісних перших даних з платформи X (Twitter) для підтримки використання. Однак, під час тренінгу Grok3, XAI, природно, стикався з "стелею", з якою в даний час OpenAI стикається - відсутність преміальних даних про навчання швидко розкриває граничну корисність можливостей моделі.

Розробники Grok3 та Musk, ймовірно, перші, хто глибоко розуміє та визначить ці факти, тому Муск постійно згадував у соціальних мережах, що зараз переживають користувачі версії, "все ще просто бета -версія" і що "повна версія буде випущена в найближчі місяці". Маск взяв на себе роль менеджера продуктів Grok3, пропонуючи користувачам надавати відгуки з різних питань, що виникають у розділі коментарів.

Тим не менш, протягом дня продуктивність Grok3, безсумнівно, підняла тривогу для тих, хто сподівається покластися на "масивну обчислювальну м’язу" для підготовки більш сильних моделей: на основі загальнодоступної інформації про Microsoft, GPT-4 OpenAI має параметр 1,8 трильйонів параметрів, що перевищує десять разів, ніж GPT-3. Чутки дозволяють припустити, що розмір параметра GPT-4.5 може бути ще більшим.

Оскільки розміри параметрів моделі зростають, витрати на навчання також зростають. З присутністю Grok3, такі суперники, як GPT-4.5 та інші, які бажають продовжувати "спалювати гроші", щоб досягти кращої продуктивності моделі за допомогою розміру параметрів, повинні враховувати стелю, яка зараз явно видно, і задуматися, як її подолати. У цей момент Ілля Сутскер, колишній головний вчений у OpenAI, раніше заявив у грудні минулого року, "перед тренуванням, з якими ми знайомі, закінчиться", який розповсюдився в дискусіях, спонукаючи зусилля знайти справжній шлях для навчання великих моделей.