MediaTek поймали на «накрутке» результатов синтетических тестов процессоров

Эксперты ресурса AnandTech подозревают тайваньского разработчика микропроцессоров MediaTek в искусственном завышении производительности его мобильных процессоров в синтетических тестах. По мнению обозревателя Андрея Фрумусану (Andrei Frumusanu), компания манипулирует настройками DVFS (Dynamic Voltage and Frequency Scaling или Динамическое масштабирование частоты и напряжения), на чём в своё время попадалась компания Samsung.

Источник: 3dnews.ru

Специалисты отмечают, что подобная практика, по крайней мере в индустрии смартфонов, встречается далеко не впервые. В 2013 году для Samsung это закончилось громким скандалом и судебным иском на $13,4 млн долларов. Компания через DVFS завышала результаты производительности в бенчмарках графической подсистемы чипсетов Exynos в смартфонах Galaxy S4 и Galaxy Note 3. Также на нечистой игре были пойманы и другие компании. Но после того, как махинации были раскрыты, ведущие игроки остепенились и перестали прибегать к подобным методам.

Однако эстафету перехватили китайские производители устройств. Некоторое время тому назад на завышении результатов тестов была поймана Huawei, которая при запуске бенчмарков отключала в своих устройствах механизм, отвечающий за троттлинг процессора. Благодаря этому более «тяжёлые» бенчмарки могли в буквальном смысле выжимать все соки из кристаллов, вплоть до выключения устройств в результате перегрева. Но когда уловка была раскрыта, Huawei сделала этот механизм более честным и прозрачным, хотя полностью от него не отказалась.

Но куда большая проблема состоит в том, что рынок китайских устройств настолько огромен, что проверить каждого игрока просто нет физической возможности. Тем не менее, чаще всего в махинациях уличали именно производителей устройств, а не создателей мобильных SoC, которые, как оказалось, тоже заинтересованы в завышении показателей в синтетических тестах. И на этот раз специалисты AnandTech посчитали, что нечестную игру ведёт компания MediaTek.

Всё началось с того, что под подозрением оказалась европейская версия смартфона Oppo Reno3 Pro, построенная на базе чипсета MediaTek Helio P95. Журналистов удивило то, что в системном бенчмарке PCMark производительность данной SoC оказалась выше, чем ожидалось от подобного класса процессоров, использующих ядра Cortex-A75. Смартфон на базе Helio P95 оказался быстрее, чем китайская версия Reno3, работающая на базе Dimensity 1000L — гораздо более производительного и свежего чипа. При этом, у еще одной китайской версии устройства, собранной на базе Snapdragon 765G, никаких отклонений в показателях производительности выявлено не было. То есть, если бы в «читерстве» была повинна сама Oppo, то это безусловно также обнаружилось бы во всех её смартфонах. Следовательно, дело именно в процессорах MediaTek.

Реальная производительность Oppo Reno3 на базе Helio P95 (слева) против искусственно завышенной (справа)

Журналистам удалось достать анонимную версию PCMark и перепроверить результаты. Оказалось, что они действительно отличаются. Разница в общем балле производительности составила около 30 %, а в некоторых важных показателях достигала 75 %. Например, при подсчёте производительности в текстовом редакторе.

Основная ответственность за результаты синтетических тестов лежит, конечно же на «железе». Однако немалую роль играет и программная часть, а также DVFS, которая отвечает за энергосбережение, частоту процессора при нагрузке и другие параметры, и работа планировщика.

Журналисты обнаружили в файлах прошивки устройства файл power_whitelist_cfg.xml. Обычно он находится в директории /vendor/etc. Проверка файла выявила различные настройки управлением питанием для разных популярных синтетических тестов (GeekBench, AnTuTu, 3DBench, PCMark и других), в которых изменению подвергается параметр, называющийся «спортивным режимом» (Sports Mode).

Настройки режима Sports Mode для Reno3 Pro в разных бенчмарках

Кроме того, журналисты отметили наличие настроек для теста GFXBench, который обычно используется только профессиональными тестировщиками и профильными журналистами.

Было установлено, что «спортивный режим» изменяет некоторые параметры DVFS для SoC, например, настройки работы контроллера памяти, который заставляет её постоянно удерживать максимальную частоту работы. Планировщик в этом режиме также настроен на более агрессивное направление нагрузки на процессор, что заставляет ядра CPU быстрее набирать максимальную частоту и дольше её удерживать.

Изменения настроек DVFS были обнаружены не только в смартфонах Oppo Reno3 Pro, работающих на базе разных процессоров MediaTek, но и на устройствах других производителей, которые оказались на руках у журналистов. Со списком можно ознакомиться ниже — галочками обозначено искусственное завышение результатов.

В списке присутствуют даже старая модель Sony XA1, вышедшая в 2016 году. Это весьма странно, поскольку японский производитель всегда старался избегать подобной недобросовестной практики. И тому есть логичное объяснение: специалисты AnandTech приходят к выводу, что изменения в настройки внедряет сама Mediatek, которая встраивает их в программные пакеты поддержки своей платформы (Board Support Package, BSP).

Новая прошивка Oppo Reno3 Pro (P95) и старая (справа). В новом коде отсутствует упоминание «спортивного режима»

Больше уверенности в правильности этой версии добавил тот факт, что в свежей прошивке для Oppo Reno3 Pro файлы конфигурации «спортивного режима» для синтетических тестов исчезли. Однако в самих бенчмарках по-прежнему наблюдается завышение производительности. Компания, судя по всему, скрывает свои «читы» где-то ещё.

Представители AnandTech обратились за комментариями в MediaTek, но компания ответила, что результаты бенчмарков якобы отражают реальную картину возможностей чипсетов. А если есть какие-то вопросы, то задавать их следует производителям устройств, поскольку они сами выбирают нужные настройки. Посмотрим, что последует дальше, но похоже, нас ждёт длительное разбирательство и пересмотр устоявшихся мнений относительно производительности целого класса мобильных устройств.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *