Si torna a truccare i benchmark: OnePlus e Meizu colte sul fatto da XDA

01 Febbraio 2017 306

Era l'ottobre del 2013, quando, per la prima volta, emerse uno scandalo che colpì praticamente ogni produttore di smartphone, ad eccezione di Motorola, Apple e i dispositivi Nexus. Parliamo della vicenda che aveva visto i principali nomi del settore, tra cui Samsung, HTC, LG e Sony, truccare i propri dispositivi in modo che, una volta rilevata l'apertura di un benchmark, attivassero dei profili ad alte prestazioni al fine di ottenere punteggi finali più elevati. La pratica, estremamente stigmatizzata dalla community, sembrava essere ormai un ricordo lontano, una sorta di bravata adolescenziale, tuttavia oggi, grazie al lavoro svolto dalla redazione di XDA, emerge che almeno altri due produttori ci sono cascati nuovamente, parliamo di OnePlus e Meizu.

La vicenda è emersa per caso, durante la stesura di un articolo relativo alle ottimizzazioni che OnePlus ha introdotto sul suo ultimo OnePlus 3T, da parte del caporedattore di XDA Mario Serrafero. Nel corso delle prove, svolte utilizzando i tool di monitoraggio Qualcomm Trepn e Snapdragon Performance Visualizer, è emerso che OnePlus 3T presenta dei comportamenti anomali nella gestione delle frequenze in seguito all'apertura di determinate applicazioni. In particolare, il dispositivo mantiene una frequenza di 0.98GHz sui core big e di 1.29GHz su quelli LITTLE, anche nel caso in cui il carico sulla CPU sia pari allo 0%, contrariamente alla frequenza di 0.31GHz attesa e rilevata su altri dispositivi equipaggiati con lo stesso Snapdragon 821.

Guarda caso, le applicazioni in cui questa modalità viene attivata sono proprio benchmark e, più precisamente, AnTuTu, Geekbench, Androbench, Quadrant, Vellamo e GFXBench, come emerso in seguito ad un'analisi approfondita della build installata su OnePlus 3T.

Per poter verificare con esattezza quanto emerso, Serrafero si è rivolto niente meno che a Primate Labs, ovvero il team di sviluppo responsabile della creazione di Geekbench, naturalmente interessati alla questione in quanto, la presenza di eventuali trucchi, potrebbe minare la validità dei test effettuati su questo dispositivo. Per aggirare il sistema di boost utilizzato da OnePlus, il team ha compilato una versione di Geekbench 4 anonima, tal "Bob's Mini Golf Putt" (la mazza da mini gold di Bob), la quale viene riconosciuta come una qualsiasi applicazione e non come una piattaforma di benchmark. Di seguito i grafici dei risultati.

In arancione chiaro i risultati di Geekbench 4 standard, in scuro quelli di Bob's Mini Golf Putt

Come è possibile evincere dalle tabelle, è lampante come i risultati ottenuti tramite la versione anonima di Geekbench 4 siano effettivamente inferiori rispetto a quelli ottenuti tramite l'utilizzo della build standard. Quello che emerge maggiormente, tuttavia, è l'effetto ottenuto dal sistema ad alte prestazioni implementato da OnePlus. Grazie ad un diverso approccio del CPU Governor, i test ripetuti mostrano risultati che suggerirebbero un throttling decisamente inferiore di quanto realmente accade, specialmente per quanto riguarda il test in multi core.

Stando a quanto emerso, OnePlus ha introdotto questa funzionalità solo nelle ultime build Nougat di OxygenOS, più precisamente a partire da quando è cominciata l'unificazione con HydrogenOS, il quale invece faceva largo uso di questa modalità già da diverso tempo. In seguito a questa scoperta, Serrafero ha prontamente contattato OnePlus e, con grande sorpresa, ha ricevuto una risposta particolarmente rapida, nonostante il capodanno cinese. Nella sua risposta, OnePlus ha fondamentalmente ammesso di aver messo in atto tale pratica e ha specificato che verrà rimossa con il rilascio delle prossime build dedicate a OnePlus 3T, aggiungendo però che la continuerà ad utilizzare solo nel momento in cui lo smartphone è impegnato nell'esecuzione di un gioco, in modo da garantire le massime prestazioni possibili.

Fortunatamente OnePlus non ha fatto giri di parole alla ricerca di giustificazioni fantasiose, ammettendo di fatto le proprie colpe. In seguito a ciò, la versione anonima di Geekbench 4 è stata provata anche su altri dispositivi e, sebbene la quasi totalità sia risultata pulita, è emerso che un altro dispositivo presenta un comportamento simile a OnePlus 3T. Parliamo di Meizu Pro 6 Plus, l'ultimo top di gamma di casa Meizu, equipaggiato con il potente Exynos 8890. In questo caso, come potete vedere dai grafici postati qui sotto, gli effetti del miglioramento delle prestazioni sono ancor più evidenti, anche se le ragioni di ciò sono abbastanza diverse.


Se nel caso di OnePlus 3T il SoC viene spinto al di là delle sue reali performance durante l'utilizzo dei benchmark, pare invece che Meizu Pro 6 Plus operi costantemente in uno stato di downclock, salvo poi essere attivato al suo massimo potenziale esclusivamente durante i benchmark. Questa differenza sostanziale è emersa nel corso dell'analisi effettuata da Anandtech lo scorso anno, durante la quale è stato notato che il dispositivo otteneva dei risultati nei benchmark decisamente bassi in relazione all'hardware equipaggiato. Questo è dovuto ad un'implementazione particolarmente aggressiva del Governor da parte di Meizu, il quale riduce Exynos 8890 alle prestazioni di un SoC di fascia media, consentendo l'utilizzo dei core big solo in rarissimi casi. Questo provoca l'utilizzo dei core LITTLE anche in situazioni nelle quali è richiesta un'elevata potenza di calcolo, motivo per cui i risultati dei benchmark non sono eclatanti.

In seguito all'aggiornamento che ha portato la Flyme alla versione 5.2.5.0G, sembrava che Meizu avesse corretto questo comportamento, tuttavia è emerso che, in realtà, ci si trova davanti ad una soluzione identica a quella adottata da OnePlus. Infatti, Meizu Pro 6 Plus continua ad utilizzare le stesse impostazioni conservative, anche in modalità prestazioni, mentre il suo vero potenziale emerge solo nel caso in cui venga eseguito un software di benchmark. Sebbene non si tratti di una procedura che permetta al SoC di raggiungere prestazioni al di fuori della sua portata, ci troviamo comunque di fronte ad una soluzione atta ad ingannare l'utente, dal momento che il terminale, nell'uso quotidiano, non sfrutta mai le potenzialità che emergono dai risultati ottenuti.

Insomma, speravamo di esserci lasciati alle spalle questo genere di pratiche, ma sembra che, periodicamente, qualche nuovo produttore voglia far leva sulla breve memoria dell'utenza, sperando di non essere scoperto. Casi come questo non fanno che minare la credibilità delle piattaforme di benchmark, le quali hanno già il loro da farsi per combattere la diffidenza degli utenti. Come abbiamo spesso evidenziato, i benchmark non sono altro che un indicatore che deve servire come riferimento per giudicare il delta delle prestazioni tra un terminale e l'altro, ma non sono in alcun modo uno specchio della reale qualità dell'esperienza d'uso offerta dai dispositivi.

Meizu Pro 6 Plus è disponibile online da Unieuro a 449 euro. Per vedere le altre 3 offerte clicca qui.
(aggiornamento del 24 settembre 2017, ore 18:01)

306

Commenti

Regolamento Commentando dichiaro di aver letto il regolamento e di essere a conoscenza delle informazioni e norme che regolano le discussioni sul sito. Clicca per info.
Caricamento in corso. Per commentare attendere...
Scofield1990

Ordinato un venerdì sera inoltrata, mi è arrivato non il mercoledì successivo ma quello seguente.. quindi 8 giorni lavorativi :) velocissima Italy express

giacomiX11

In quanto tempo ti è arrivato da gearbest?

giacomiX11

Toh finalmente qualcuno che su sto blog di grandi geni informatici dimostra un po' di umiltà

ilmondobrucia

A chi compra i cinesoni gli togliete anche questa... Dai era l'unico pretesto per parlarne bene...

Riccardo

Qui si parla di etica aziendale e non di come scegli lo smartphone.

Riccardo

Nessuno vieta a One Plus di fare uno spot in tv.

Guarda Huawei...prima sconosciuta mentre ora un colosso del mercato. Merito della qualità e dei prezzi competitivi ma anche di partnership importanti come con il Milan o con Leica.

Questa è solo concorrenza sleale.

I benchmark hanno importanza relativa ma sono utili per avere un quadro generale delle reali prestazioni di un dispositivo.

Riccardo

Normale amministrazione insomma.

Ruben Fasola

Corretto, ufs 2.1, e il kirin lato CPU è molto forte.

Ruben Fasola

Ah, ok, la febbre mi gioca brutti scherzi xD
Comunque anche samsung lo ha fatto in passato (s3) ma penso che fosse dovuto ad un agg fatto così tanto per.

andre0509

I cosiddetti "celoduristi da scheda tecnica", citando l'architetto AG

stiga holmen

C'è un produttore che al rilascio di un aggiornamento, sui vecchi modelli inizia a farli andare meno, costringendoti a comprare al nuovo. Indovina quale.

PS. Non monta Android.
PPS. Non è solo una mia insinuazione, ci sono stati vari test. L'ultimo è sul chip per le connessioni dati
appleinsider. com /articles/16/11/18/apple-accused-of-throttling-iphone-7-performance-on-verizon-to-match-slower-speeds-on-att

pietro

seccelloio è il prodotto meglio esistente

pietro

dispay migliore, fotocamera migliore, memoria più veloce, otg, banda 20, software supportato, soc più efficiente, 2 gb in più di ram. I 280€ di differenza ci sono. Ciò non toglie che z2 è un BB, ma la diffetenza c'è tutta

Polezzz

Parli come l'avessi programmata tu la rom, se un lamer come tutti noi, scendi dal piedistallo tarpone. XD

Polezzz

Lo Zuk Z2 non usa neppure le UFS2.0 ma le MMC mi sembra, i miracoli non può farli, è chiaramente un prodotto più economico dell'OP3T.

Polezzz

Sbaglio o il Mate9Pro usa già le Ufs2.1 anzichè le UFS2.0?

Polezzz

Tutto marketing.

Polezzz

Sembrerebbe. XD

Diciamo che non interessano a nessuno, ma avere il proprio smartphone primo in classifica su Antutu migliora la giornata ed anche l'autostima, così anche se ci si è comprato il cinese di m€rd@ si rimane un poco contenti. XD

Ruben Fasola

Lo so, l'ho visto pure io, la gestione della ram su mste 9 pro è da migliorare ( ricaricare fit the fat lo ha portato alcuni secondi dietro al 3t)

Mister chuck revenge

In velocità si, ma come vedi dallo speed di phonebuff op3t lo annienta nel secondo giro grazie a una migliore gestione ram, dove il mate ricarica tutto

Ruben Fasola

Non ho colto, potresti spiegarti meglio

Alex Alban

Non è la stessa cosa della gara, eh! Non fare paragoni insensati!

Alex Alban

Esatto ma non ho capito cosa cerchi di dire

Ruben Fasola

Abbontemente no, se la batte con il mate 9 pro, sono circa li come velocità

Ruben Fasola

i bench sintetitici servono a vedere le massime performance, quindi si dovrebbero bloccare le frequenze al massimo IMHO, così si testa anche la dissipazione del calore

Motore Asincrono Trifase

apple ha altri sche letri nell'armadio, come l'imbroglio sulla comunicazione della garanzia, l'antenna gate ecc. cosi' come motorola e google. Non esistono multinazionali buone o serie. Interessa solo una cosa, fare più soldi possibile

Mr.price

[IMG]http://i68.tinypic.com/jt9qfk....[/IMG]

robi cosmi

Sono l'unico che se ne frega dei benchmark ?

Batta

si ma è comunque una cosa moralmente scorretta,se il telefono va bene non si deve comunque barare. Appe fa 150000 punti o non so quanti effettivi,oneplus magari ne fa 160000 e tutti a pensare che sia il migliore. il vero utilizzo si vede nella quotidianità,se hai un 80% di utenza prettamente nerd e ti prendi gioco di lei non è un gran spettacolo. perchè c'è chi l'ha comprato per quel numero eh

Mister chuck revenge

Non fa pena è tutto come lo smartphone, mediocre.
A 150 euro non puoi pretendere chissà

Mister chuck revenge

Il punto è...che op3t ha prestazioni infinitamente superiori, un sw ben più ottimizzato, più ram e memorie ben più veloci, senza contare che col nuovo file system è un uragano in prestazioni.
Diciamo che gira bene lo zuk ma op3t è un altro mondo...

Scofield1990

Ma sai leggere? Sono stato il primo a dire che il l OnePlus 3T è migliore dello zuk Z2, mancherebbe visto che costa quasi il triplo (160 € lo zuk Z2, 440€ il 1+3T 6/64) ma ho detto che a parte alcuni punti di forza oggettivi del OnePlus (schermo e fotocamera) per il resto hanno prestazioni paragonabili (fluidità, esperienza d'uso, potenza bruta) il che mi porta alla considerazione che lo zuk Z2 è il best but del 2016-inizio 2017, è un dato oggettivo. Se non ti è ancora chiaro ti faccio un disegnino :)

Jacopo Carrara

scusaci intenditore

Jacopo Carrara

non ti dirà mai che lo zuk è peggiore solo perchè la gente tende a osannare quello che compra,ovvimente la penso come te,sono di due categorie diverse

Mister chuck revenge

Ah ok, meglio zuk allora, siamo tutti felici xD

Scofield1990

Un intenditore di CORNICIONI prenderebbe mi5 e lemax2 (intenditore anche di PADELLONI).. Di una bruttezza indescrivibile quelle bande nere laterali.. Per il mi5 si può mettere una pezza comprando la versione black ma che costa sui 100€ piu dello zuk z2, per la versione base vergognosa (3/32) con processore snap820 castrato e memorie ram rallentate.. (oltre che inferiore numericamente per ram e rom allo z2) mente per il leeco una versione nera non esiste.. Ma magari preferisci la versione rosa con cornicione nero annesso.. Ma fammi il piacere! Zuk z2 non si batte.. Evidentemente sei rimasto scottato per qualche motivo e non sei obiettivo.. Quindi non sei un vero intenditore ;)

ÜBERMENSCH

Grazie! Non ne ero a conoscenza! Ci ho dato un'occhiata e mi sembra una valida alternativa

Mister chuck revenge

Il professore a quanto pare sei tu xD che ti lanci in paragoni improbabili.
Ora a parte il design ORRENDO dello zuk, i suoi problemi principali sono banda 20, assistenza zero e supporto sw peggio alle nostre latitudini, per il resto nonostante sia un terminale molto ma molto economico, solo per il fatto che abbia uno snap820 può dargli un senso ma solo per utenti consapevoli....per tutti i restanti molto meglio un p8 lite 2017 che è cmq veloce, ma almeno ha display e fotocamera migliore, banda 20, sw veramente in italiano e assistenza capillare.
Se vuoi prendere un quasi top e spendere poco, un intenditore prenderebbe mi5 o le max2 sui 200 ma di ben altro livello.
In sostanza hai speso 150 e vale 150 non hai fatto nessun affare.

Scofield1990

Grazie professore ma faccio modding da 10 anni, e ho tolto la rom di gearbest ancor prima di togliere lo zuk dalla scatola.. Con l'ultima stock 2.5 nougat é una bestia e ne sono molto soddisfatto, pur apprezzando OnePlus e conoscendola bene (sono stato uno dei primi ad acquistare il Oneplus One), non lo cambierei con quella padella del 1+3. Lo zuk z2 é il best buy del 2016-inizio 2017 (visto il calo di prezzo direi ora più che mai). Non posso fare altro che consigliarlo

Gark121

Il gflops è un'unità della potenza più inutile di un benchmark. Perché a pari gflops non corrispondono pari prestazioni (dato che contano memorie, tdp e quant'altro). Un benchmark tipo geekbench, usato per confrontare architetture simili (non arm e x86) ha molto senso, perché tiene in conto di questi aspetti, cosa che i gflops non ti dicono. Tant'è che nella totalità delle recensioni di PC, usano bench sintetici e non calcolano i gflops né della CPU né della gpu.

GiankulottoGranbiscotto

alla fine con un mega scambio sono riuscito a prendere Icardi + 20 fantamilioni, ed ho dato Milik Naingollan e Brozovic, per sanare i buchi ho preso Pellegrini e Milincovic

Mister chuck revenge

Ti svelo un segreto, il dual sim sullo zuk è completamente inutile visto che non ti permette di swtchare a caldo, e dovresti saperlo bene.
Lo 821 fortunatamente è migliore proprio per la sua migliore efficienza.
In ogni caso, non c'è un solo elemento per il quale lo zuk possa competere con lo op3t, ma se se nei convinto buon per te.
Al suo posto meglio un p8 lite 2017, almeno hai un display decente, banda 20, belle foto e assistenza..oltre a un design decente.
Personalmente l'ho preso solo per divertirmi un po' con le rom, trovi in giro miei sxreen e consigli su come togliere la rom farlocca di gb.

Scofield1990

Guarda che é dual sim anche lo zuk z2... E meno male che ne sei in possesso (a detta tua).. L'820 non scalda mai, l'821 é lo stesso processore praticamente ma con una frequenza leggermente maggiore.. Le memorie ufs sono piu veloci ma non cosi tanto, si parla di frazioni di secondo di differenza nell'apertura delle app.. Per la ram, ovvio che 2 GB in più fanno sempre comodo (anche se 4 GB non si saturano MAI).. La banda 20 non c'è ma si può sopravvivere senza. Qualità costruttiva migliore su Oneplus, anche se zuk mi ha molto colpito.. E poi lo zuk ha un tasto multifunzione UNICO.. Non se ne può fare a meno.. Gesture ed utilizzo ad una sola mano da riferimento... Ben lieto di non aver speso, ripeto, 280€ in più per OnePlus 3T (6/64) per avere un terminale, ripeto ancora, paragonabile e simile su molti aspetti. Chi dice il contrario mente sapendo di mentire.. ;)

Mister chuck revenge

Direi mate 9 ma al momento non si trova a meno di 560

BioLumia

Ciao Mister Smartphone

capitanouncino

Se vuoi conoscere la potenza di un calcolatore durante i suoi calcoli misuri i GFlops, di certo non usi un benchmark sintetico.

capitanouncino

Ma per niente...I benchmark sintetici stile Antutu e Geekbench sono inutili e utili solo a riempire gli occhi di fumo. Se parliamo di GFlops già comincia ad avere un altro senso il discorso.

Mister chuck revenge

Dici che se la giocano per:

Banda 20
Dual sim
Memorie ufs vs emmc
Qualità costruttiva
6 gb ram vs 4
Snap 821 vs 820 (soprattutto per efficienza e calore)

L'ho preso pure io lo zuk a 156 euro, mi diverto anche ma per carità non è niente rispetto ad un op3t, basta prenderli in mano 2 secondi per capire la gran differenza qualitativa..Unico che si avvicina vagamente e costa poco e il le max 2

Gark121

sulla fascia top avrebbero usato gli exynos, ma hanno pensato bene di usarlo solo ad anno finito e segandolo ai livelli di un p10...
s7 stock 1800/5400
meizu pro 6 plus "cheat" 1400/4000
meizu "no cheat" 600/2200

e questo è assurdo. veramente assurdo.
hanno floppato quest'anno, lato software soprattutto (non si possono vedere telefoni con lollipop a 6 mesi dall'uscita di MM).

Tiwi

lo spero, perchè i mediatek possono essere quasi accettabili su fascia media e bassa, ma non sulla fascia top

Asus Zenfone 4 Selfie, Selfie Pro e Max: la nostra anteprima

Xiaomi Mi A1: live batteria | Finito ore 20.30

ANDROID, ANDROID ONE e ANDROID GO: Le differenze #parliamone | Video

XPERIA XZ1 è il miglior smartphone di Sony | Recensione