nVidia, 3dMark03 e o dragão desaparecido

[Kaipyra]

Há uns dias falava-se na possível falcatrua da nVidia e dos seus novos Detonator no que toca ao benchmark 3Dmark2003. É que havia um grande salto de performance... e depois descobriu-se porquê!

O dragão que aparece numa das partes, simplesmente desaparecia, ficando a jovem guerreira a voar como se estivesse montada no vazio. Podem ver imagens em http://translate.google.com/translate?u ... =UTF-8&pre .

Agora a Futuremark lançou um patch para resolver o "problema".

Press Release:

Saratoga, California USA May 23rd, 2003

Dear Member of the Press:

3DMark(R)03 incorporates many ground breaking new features and technologies and sets the standard for easily and objectively measuring and comparing modern PCs' 3D graphics performance. Recently, there have been questions and some confusion regarding 3DMark(R)03 results obtained with certain NVIDIA drivers.

We have now established that NVIDIA's Detonator FX drivers contain certain detection mechanisms that cause an artificially high score when using 3DMark(R)03. We have just published a patch 330 for 3DMark03 that defeats the detection mechanisms in the drivers and provides correct results...

e aqui o link oficial da futuremark, com os patches para download:
http://www.futuremark.com/news/?newsart ... 2003052308

[s3ntry]

Ok, embora no conceito geral estejas certo, tens aí algumas coisitas confundidas

Em primeiro lugar, o benchmark "dragothic" faz parte do 3DMark2001 e não do 3DMark03. Até mesmo nesse link que meteste aí se vê no canto inferior direito a dizer 3DMark2001.

Em segundo lugar, os scores do 3DMark2001 nem são muito afectados pelos cheats/bugs nos drivers da NVIDIA. Os do 3DMark03 é que são bastante inflaccionadas com estes últimos drivers, o que levou certas pessoas a fazerem testes mais profundos para tentar descobrir qual a razão para tal.

Descobriu-se que com estes ultimos drivers, a GeForce FX não renderiza partes da imagem, pelo que fica com menos "trabalho" para fazer e lógicamente tem scores mais elevados.

Após essas descobertas gerou-se a polémica, será que a NVIDIA está a fazer batota de propósito para inflaccionar os scores no 3DMark? Não faltaram pessoas a defender ambos os lados, uns a acusar a NVIDIA, outros a dizerem que provávelmente trata-se apenas de um bug nos drivers.

O que é na realidade, não sei, mas a FutureMark parece ser apologista da teoria da "batota" pelo que lançou hoje uma press release acerca do assunto e esse patch que referes para o 3DMark03, que supostamente elimina a possibilidade de batota. Eles dizem que após a aplicação desse patch os scores da GeForce FX desceram em mais de 20% e os da ATI desceram em cerca de 3%, mas estou ainda à espera de um teste independente para confirmar os resultados.

A resposta da NVIDIA até agora é desconhecida.

[Kaipyra]

Sorry! Realmente fiz confusão ao ler a notícia do site francês. Li depressa demais e não reparei que eles mudaram de assunto a meio... E como ainda não usei o 03, pensei que ele tivesse um bench semelhante... my mistake!

No entanto, a questão de fundo mantem-se. E eu acho que foi mesmo batota, porque quando as pessoas viram os novos drivers disseram "Uau! estes gajos sabem mesmo fazer drivers!" Penso que uma possível estratégia da nVidia era aguentar estes drivers até conseguirem ter uns que atingissem os mesmos níveis sem nenhuma falcatrua, e depois diziam que tinham melhor qualidade de imagem... já parece a SiS...

[s3ntry]

Eu decidi não me pronunciar sobre o assunto, porque acho ser delicado demais para saltar em conclusões precipitadas.

Por um lado, ao tratar-se realmente de um cheat, então acho muito mal que o tenham feito, e certamente irão descer algo na minha consideração, tal como já desceram a Asus ao overclockar a FSB de fábrica nas suas motherboards e a MSI ao fazer overclock "on the fly" quando corres programas, todas elas sem avisar o público das ditas "optimizações", o que leva as pessoas a pensar que são simplesmente mais rápidas ao ver os resultados dos benchmarks.

No entanto ainda me custa um bocado a engolir a teoria do "cheat" porque é uma coisa que se nota muito bem, principalmente o dragão invisível no 3DMark2001 e o céu transparente no 3DMark03. Ora numa altura em que práticamente todas as reviews fazem extensivas comparações de qualidade de imagen entre as placas, custa-me a crer que os engenheiros da NVIDIA fizessem uma coisa tão flagrante de propósito porque já sabiam que iriam ser apanhados. De certeza que ninguém pensa que um dragão desaparecido ou um céu transparente passariam despercebidos aos reviewers!

Para mim pode muito bem ter acontecido que se trate apenas de um bug e que o patch da FutureMark tenha simplesmente alterado o código do programa de forma a passar ao lado desse bug. Por outro lado pode ser que eles tenham razão e a batota tenha sido propositada. Acho que não temos elementos suficientes para tirar uma conclusão, e como tal irei abster-me de o fazer