"Gemini 3 Pro’s Hallucination Rate in the evaluation is 88%, the same as Gemini 2.5 Pro and Gemini 2.5 Flash. This suggests Gemini 3 Pro made substantial gains in knowledge but not as material gains in its tendency to hallucinate." Was the model rushed or did they place all their chips on scaling go brrrr!!
Gemini 3 Pro just took the #1 spot in our new AA-Omniscience Index — but it is a nuanced story AA-Omniscience is our new knowledge and hallucination eval. Gemini 3 Pro’s leadership is driven by its high Accuracy (percentage correct); the model scored a massive 14 points higher than the next highest accuracy model, Grok 4. Gemini 3 Pro’s Hallucination Rate in the evaluation is 88%, the same as Gemini 2.5 Pro and Gemini 2.5 Flash. This suggests Gemini 3 Pro made substantial gains in knowledge but not as material gains in its tendency to hallucinate. We measure Hallucination Rate based on how often the model answers incorrectly when it should have refused, defined as the proportion of wrong answers out of all non-correct attempts. In AA-Omniscience, we found there was little correlation between Accuracy and Hallucination Rate. Additionally, we found there is a high correlation between the size of open weights models and Accuracy (but not Hallucination Rate). As such, Gemini 3 Pro’s very high Accuracy suggests it is a very large model. See below for further details regarding AA-Omniscience 👇
123,17 тис.
272
Вміст на цій сторінці надається третіми сторонами. Якщо не вказано інше, OKX не є автором цитованих статей і не претендує на авторські права на матеріали. Вміст надається виключно з інформаційною метою і не відображає поглядів OKX. Він не є схваленням жодних дій і не має розглядатися як інвестиційна порада або заохочення купувати чи продавати цифрові активи. Короткий виклад вмісту чи інша інформація, створена генеративним ШІ, можуть бути неточними або суперечливими. Прочитайте статтю за посиланням, щоб дізнатися більше. OKX не несе відповідальності за вміст, розміщений на сторонніх сайтах. Утримування цифрових активів, зокрема стейблкоїнів і NFT, пов’язане з високим ризиком, а вартість таких активів може сильно коливатися. Перш ніж торгувати цифровими активами або утримувати їх, ретельно оцініть свій фінансовий стан.