Huawei поймала на манипулировании контрольными показателями, в заявлениях о проблемах обвиняют китайский рынок

Результаты тестов Huawei показывают частные и публичные тесты с измененной мощностью SoC.

Несколько недель назад мы рассмотрели Huawei использует профессиональную зеркальную камеру в рекламном ролике об их способностях к селфи, и, похоже, они просто не могут перестать находить способы обмануть потребителей - на этот раз контрольными показателями, которыми они манипулируют.

Бенчмарки популярны и ( до настоящего времени?) законный способ продемонстрировать производительность устройства - будь то тесты производительности процессора, графического процессора или системы. Суть тестов заключается в том, чтобы дать потребителям точный результат о том, как устройства работают в условиях стресса.

К сожалению, похоже, что Huawei включила «механизм обнаружения тестов» в некоторые из своих последних устройств. По сути, этот механизм подталкивает SoC к гораздо более высокому пределу мощности и тепловому запасу, когда он обнаруживает, что он тестируется в определенных приложениях, что приводит к гораздо более высоким показателям производительности, чем пользователи обычно получают при повседневном использовании. Это не только нечестно, это опасный для продления срока службы SoC и может очень быстро перегреть устройство и сократить срок службы батареи.

Защиту Huawei этой практики лучше всего резюмировать следующим образом: « все остальные тоже так делают! » - и, к сожалению, они действительно правы. В мошенничестве с тестами нет ничего нового - он был широко распространен на ПК десять лет назад, и какое-то время он также присутствовал на мобильной сцене.

Различные устройства исключены из 3DMark для работы с тестами.

Вариант Exynos Samsung Galaxy S4 был пойман на аналогичных методах обмана тестов, и редакторы сайта мобильных обзоров АнандТех обнаружил большое количество других производителей смартфонов, которые также манипулируют данными тестов. Это привело к появлению ряда устройств, таких как Galaxy S4, Galaxy Note 3, HTC One и многих других. исключен из списка из базы данных 3DMark.

Хотя большинство производителей прекратили такое поведение после того, как их вызвали, некоторые продолжали - например, OnePlus продолжал жульничать в популярных тестах, таких как GeekBench, хотя, по-видимому, прекратил эту практику с OnePlus 5T, который на самом деле является отличным устройством и очень популярен в сообщество разработчиков модов и разработчиков, поэтому, возможно, OnePlus посчитал, что они этого не сделали нужно для манипулирования контрольными данными.

К сожалению, похоже, что Huawei набирает обороты с того места, где остановились другие производители устройств, поскольку есть проверенные отчеты о том, что Huawei манипулирует тестами с устройствами, включая Huawei P20, Huawei P20 Pro и Honor Play. По сути, производительность Huawei P20 снизилась по сравнению с Huawei Mate 10 Pro - и в то время Huawei заявила, что это « проблема с прошивкой »- откровенная наглая ложь, так как на самом деле это произошло из-за вышеупомянутого механизма обнаружения тестов, который запускает значительно более высокий предел мощности для SoC.

Это плохо не только для самой SoC, поскольку общая эффективность SoC снижается, когда это делается, потому что SoC подталкивается хорошо снаружи нормального рабочего окна ( представьте, что разгоните ваш процессор так высоко, насколько это возможно без какой-либо термопасты) . Однако это также плохо для рынок сам.

Во-первых, из-за этого SoC выглядит плохо, как будто он потребности манипулировать контрольными данными, чтобы их можно было продать. Во-вторых, это ставит под сомнение китайский рынок смартфонов, который уже изобилует имитациями, клонами и теневыми методами. Кроме того, поведение Huawei в тестах, пожалуй, является самым вопиющим из всех, что можно увидеть, поскольку действительно существует массивный разница в результатах производительности при включенном механизме определения производительности по сравнению с тем, когда он выключен. Так много, что АнандТех отметили, что различия в общедоступных результатах тестов и их собственных внутренних тестах были « совершенно потрясающе ».

Huawei ответила на то, что ее узнали, и, как мы уже говорили ранее, их ответ был в основном « все остальные тоже так делают ». То, что они буквально сказали ( цитата доктора Ван Чэнлу, президента по программному обеспечению в Consumer Business Group Huawei) было ' другие делают то же самое, получают высокие баллы, и Huawei не может молчать. Huawei хочет вместе с другими в Китае найти лучший тест для проверки пользовательского опыта ».

Доктор Ван также указал на других производителей с вводящими в заблуждение результатами тестов и назвал неназванного популярного производителя смартфонов в Китае в качестве главного виновника. По словам доктора Ванга, обман тестов стал «обычной практикой в ​​Китае», и хотя Huawei хочет «открыться» для потребителей, у них возникают проблемы, когда конкуренты «постоянно выставляют нереалистичные оценки». Huawei пытается противостоять своим основным китайским конкурентам, и эта задача, по-видимому, становится сложной, когда другие производители устройств выставляют нереалистичные результаты.

Подводя итог, Huawei

1. Признает, что они манипулируют контрольными цифрами
2. Признает, что все остальные на китайском рынке телефонов так делают
3. Не планирует останавливаться из-за №2.

Как кто-нибудь может доверять китайский рынок телефонов после такого рода вещей? В любом случае Huawei сделала заявление, что компания « обеспечить независимую проверку будущих контрольных данных третьими сторонами ».

Huawei отправила полный ответ на XDA:

«Huawei всегда ставит во главу угла взаимодействие с пользователем, а не стремится к достижению высоких результатов в тестах, тем более, что нет прямой связи между тестами смартфонов и опытом пользователей. Смартфоны Huawei используют передовые технологии, такие как искусственный интеллект, для оптимизации производительности оборудования, включая ЦП, графический процессор и NPU.

Когда кто-то запускает приложение для фотосъемки или играет в графически насыщенную игру, интеллектуальное программное обеспечение Huawei обеспечивает плавное и стабильное взаимодействие с пользователем, используя все возможности оборудования и одновременно управляя температурой и энергоэффективностью устройства. Для приложений, которые не так энергоемки, как просмотр веб-страниц, оно выделяет только ресурсы, необходимые для обеспечения необходимой производительности.

В обычных сценариях тестирования производительности, как только программное обеспечение Huawei распознает приложение для тестирования, оно автоматически адаптируется к «Режиму производительности» и обеспечивает оптимальную производительность. Huawei планирует предоставить пользователям доступ к «Режиму производительности», чтобы они могли использовать максимальную мощность своего устройства, когда это необходимо.

Huawei - как лидер отрасли - готова работать с партнерами, чтобы найти лучшие стандарты сравнительного анализа, которые могут точно оценить взаимодействие с пользователем ».

В любом случае, правда тесты, проведенные АнандТех протестировали Huawei P20, P20 Pro и Honor Play - и все устройства работали одинаково, потому что все они используют одну и ту же SoC HiSilicon Kirin 970, но реальная производительность каждого устройства ограничена тепловыми пределами, поскольку каждое устройство имеет различная конструкция корпуса и охлаждения. Huawei P20 Pro имеет лучшие тепловые характеристики, поэтому он лучше работает в состоянии истинной производительности.

Редактор АнандТех Андрей Фрумусану сказал следующее:

«В прошлом мы видели, как поставщики действительно повышали частоты SoC или фиксировали их на максимальном уровне, повышая производительность по сравнению с тем, что обычно доступно для общих приложений. Вместо этого Huawei повышает показатели тестов, подходя к ним с другой стороны - приложения для тестирования - единственные варианты использования, в которых SoC действительно работает с заявленными скоростями. Между тем, любое другое реальное приложение регулируется в значительной степени ниже этого состояния из-за тепловых ограничений оборудования. То, что мы в конечном итоге видим с неограниченной производительностью, возможно, является «истинной» формой неограниченного SoC, хотя это полностью академично по сравнению с тем, что на самом деле испытывают пользователи ».

Их графики демонстрируют, что новейшие телефоны Huawei уже достигают 3,5–4,4 Вт в их истинном состоянии производительности, а TDP 3,5 Вт - это максимальное значение, которое можно поддерживать. С другой стороны, при выполнении общедоступных тестов телефон переходит в режим перегрузки с TDP, при этом показатели мощности превышают 6 Вт и достигают пика на уровне 8,5 Вт. Как отмечает AnandTech, эти цифры быстро вызывают уведомление о перегреве устройства, что означает несоответствие температурных пределов ожиданиям программного обеспечения.

Что можно сделать из этой ситуации, так это то, что истинные показатели производительности нестабильны, поскольку они зависят от температуры телефона. Huawei не блокирует достижение пиковой частоты графического процессора. Поведение по умолчанию на самом деле является «жестким механизмом регулирования температуры […], который будет пытаться поддерживать значительно более низкие уровни температуры SoC и общего энергопотребления».

В нормальном режиме телефоны могут достигать тех же пиковых значений энергопотребления во время тестов GPU, что и те, которые были опубликованы в версиях без ограничений. Однако эти цифры быстро уменьшаются, и AnandTech отмечает, что в некоторых случаях телефон снижает мощность до 2,2 Вт, что приводит к значительному снижению производительности.

В публикации говорится, что тестовое мошенничество, похоже, было введено только в устройствах этого года. Телефоны, такие как Huawei Mate 9 и Huawei P10, не затронуты, и похоже, что затронуты только устройства EMUI 8.0 и более новые. Компания Huawei также сообщила AnandTech, что это была «чисто программная реализация», что подтвердило выводы публикации.

AnandTech опубликовал истинные данные о производительности графического процессора для затронутых телефонов с процессором Kirin 970, и пришел к выводу, что Huawei значительно отстает от конкурентов как по производительности, так и по эффективности GPU .

В публикации также были опубликованы графики сравнения энергопотребления устройств Huawei на базе Kirin 970 и Kirin 960. Графики показывают, что настройки регулирования мощности Huawei на самом деле лучше для пользователя, поскольку они смягчают проблему более высокого энергопотребления. Тестирование Kirin 960, проведенное AnandTech, показало, что у него «ужасные характеристики мощности графического процессора», в то время как устройства на базе Kirin 970 имеют новый строгий механизм регулирования для снижения энергопотребления и температуры.

AnandTech также упомянул, что новая политика троттлинга имеет смысл, учитывая тот факт, что и Kirin 960, и Kirin 970 показывают энергопотребление, которое намного превышает их устойчивые уровни для их соответствующих форм-факторов.

Хотя Huawei не обязательно сделала что-то плохое, представив новый механизм дросселирования, они, безусловно, перешли порог обмана, исключив популярные тестовые приложения через белый список, что в данном случае называется мошенничеством по тестам.

UL, которая приобрела Futuremark, компанию, стоящую за PCMark и 3DMark, исключила Huawei P20, Huawei P20 Pro, Huawei Nova 3 и Honor Play из 3DMark.

Компания подтвердила мошенничество с тестами на Huawei P20 Pro, Huawei Nova 3 и Honor Play. На основе тестирования и отчетности AnandTech также исключил из списка стандартный Huawei P20. Пользователи больше не смогут просматривать результаты тестов затронутых телефонов, поскольку компания не желает размещать обманутые результаты тестов.

Компания обнаружила, что результаты общедоступного приложения 3DMark были на 47% выше, чем результаты частного приложения (которое недоступно для всех), несмотря на то, что тесты идентичны.

В объявлении UL добавила, что рада, что Huawei обязуется применять более прозрачный подход в будущем. UL считает, что необязательные режимы производительности, которые могут быть установлены пользователем, разрешены в соответствии с ее текущими правилами, если они отключены по умолчанию. Компания заявляет: «Устройство должно запускать тест, как если бы это было любое другое приложение».

В заключение, все тесты производительности графических процессоров Huawei, которые были выполнены с использованием общедоступных тестов, не должны восприниматься как представление фактической производительности.

Huawei связалась с UL, чтобы обсудить передовые методы тестирования производительности, и опубликовала заявление:

«Huawei и UL (создатели 3DMark) на этой неделе провели всестороннее обсуждение методов тестирования и достигли положительного соглашения о следующих шагах совместной работы.

В ходе обсуждения Huawei пояснила, что в ее смартфонах используется механизм планирования ресурсов с искусственным интеллектом. Поскольку разные сценарии имеют разные потребности в ресурсах, в последних мобильных телефонах Huawei используются инновационные технологии, такие как искусственный интеллект, для оптимизации распределения ресурсов таким образом, чтобы оборудование могло продемонстрировать свои возможности в полной мере, удовлетворяя потребности пользователей во всех сценариях.

UL понимает цель подхода Huawei, но выступает против принудительного использования «режима производительности» по умолчанию при обнаружении устройством приложения для тестирования производительности. Правила UL требуют, чтобы устройство запускало тест, как если бы это было любое другое приложение.

Huawei уважает право потребителей выбирать, что им делать со своими устройствами. Поэтому Huawei предоставит пользователям открытый доступ к «Режиму производительности» в EMUI 9.0, чтобы пользователь мог выбирать, когда использовать максимальную мощность своего устройства.

Huawei и UL также обсудили текущие общие методики тестирования производительности в целом. UL и Huawei хотели бы участвовать в отраслевом движении по разработке стандартов сравнительного анализа, которые наилучшим образом удовлетворяют потребности производителей, прессы и потребителей.

Чтобы избежать путаницы в отношении текущих результатов тестирования, после обсуждения UL и Huawei временно исключили результаты тестов для ряда устройств Huawei и восстановят их после того, как Huawei предоставит всем пользователям телефонов Huawei доступ к режиму производительности ».