Cuidado com os outliers

"Increasingly, I observe statistical sophisticates indulging in analytic advocacy — that is, the numbers are deployed to influence and win arguments rather than identify underlying dynamics and generate insight. This is particularly disturbing because while the analytics — in the strictest technical sense — accurately portray a situation, they do so in a way that discourages useful inquiry.
.
I always insist that analytics presentations and presenters explicitly identify the outliers, how they were defined and dealt with, and — most importantly — what the analytics would look like if they didn't exist. It's astonishing what you find when you make the outliers as important as the aggregates and averages in understanding the analytics.

...

Always ask for the outliers. Always make the analysts display what their data look like with the outliers removed. There are other equally important ways to wring greater utility from aggregated analytics, but start from the outliers in. Because analytics that mishandle outliers are "outliars.""

.

Trechos retirados de "Do Your Analytics Cheat the Truth?

.

Em linha com uma das primeiras lições que aprendi no mundo da Qualidade: Nunca confiar nas médias. Se me apresentam uma média... pedir o desvio padrão também.

.

Em linha com "mas que sabia que a média é uma ferramenta ‘porreira’ para esconder e amortecer flutuações na variação." ou com "Tratamento dos dados" ou com "Ir para lá da média"

Ir para lá da média

Uma das primeiras lições que aprendi no mundo do trabalho e que ainda hoje é válida... talvez até mais válida do que nunca:
.

Desconfiar sempre de relatórios que só trabalham com a média

.
Por isso é que o meu e-mail ainda hoje ostenta o "@redsigma.pt".
.
Redsigma - reduzir o sigma, reduzir a dispersão, reduzir o desvio padrão.
.
Hoje estou noutra, hoje o meu combate não é tanto a nível de linha de fabrico, onde reduzir a variabilidade é importante, hoje combato sobretudo a nível de empresa e o propósito é aumentar a variedade!!!
.
Vem isto tudo a propósito do artigo "Estudo de caracterização do subsector dos fabricantes de mobiliário metálico" publicado pelo semanário Vida Económica, onde se pode ler:
.
"A AIMMAP realizou mais um estudo sobre o comércio externo, rentabilidade e produtividade relativamente a uma amostra de empresas representativas deste subsector, relativamente aos anos de 2009 e 2010
.
Este estudo pretende fornecer informações às empresas sobre a evolução desta área de actividade e avaliar a situação de cada uma relativamente à concorrência.
...
A amostra analisada era composta por 49 empresas que facturaram aproximadamente 168 milhões de euros em 2009.
Tal é como é sabido, a listagem de empresas é segmentada fundamentalmente por 5 áreas de actividade que são alvo de estudo, sendo elas as seguintes: mobiliário de escritório, hospitalar, hoteleiro, escolar e urbano.
Fruto das dificuldades que o mercado impôs em 2009 com um forte decréscimo nas encomendas e o aumento de investimento estatal no Parque Escolar, muitas empresas deslocaram o seu fabrico tradicional para essa área, (Moi ici: Cuidado, comecem já a preparar o depois de amanhã, daqui a 3 anos  a bolha acaba e, nessa altura, ainda vão ter de procurar novos mercados e novos clientes e... com a corda ao pescoço, antecipem o futuro!!!) baralhando a distribuição das empresas pelas 5 áreas de actividade e dificultando a destrinça que até ao momento se considerava.
...
A produtividade, obtida pelo rácio entre o VAB e o número de trabalhadores, das empresas fabricantes de Mobiliário Metálico, tinha vindo a aumentar até 2008. No entanto, no ano transacto exibiu uma ligeira redução fixando-se em 22 491 euros por trabalhador. Este resultado reflecte a evolução negativa das áreas de mobiliário de escritório e hoteleiro (ver quadro 1).
Relativamente à rentabilidade, o estudo contemplou a apresentação dos indicadores de rentabilidade financeira e a rentabilidade das vendas e prestação de serviços.
Assim, a rentabilidade financeira, calculada através do rácio entre o resultado líquido e o capital próprio, foi em média superior em 2009. Tal facto observou-se em todas as áreas de actividade e não significa na prática uma boa performance das empresas, uma vez que algumas apresentaram resultados líquidos e capitais próprios negativos (ver gráfico 2).
Por outro lado, a rentabilidade das vendas e prestação de serviços, determinada pela relação entre o resultado líquido e o volume de negócios, foi em média inferior em 2009 para as empresas que constituem a amostra. Sendo que todas as áreas contribuíram para tal resultado, exceptuando as de mobiliário hospitalar e urbano (ver gráfico 3).
No que se refere à performance deste subsector no comércio externo em 2009, pode-se concluir o seguinte (como se observa pelo gráfico 4 e pelo quadro 2):
As exportações mantiveram a tendência positiva de crescimento;
As importações voltaram a aumentar em 2009;
A taxa de cobertura ainda se tornou mais desfavorável (56%), uma vez que as importações cresceram a um ritmo superior ao das exportações.
Ainda relativamente ao comércio internacional foram apresentados os resultados das exportações e importações nos meses de Janeiro a Setembro do ano de 2010. Estes dados permitiram constatar que o subsector de mobiliário metálico, se mantiver igual performance até ao final do ano, irá inverter a tendência de crescimento verificada nos anos anteriores.
Em conclusão, o subsector do mobiliário metálico durante o ano de 2010 contraiu, provavelmente em resultado de uma situação financeira menos favorável manifestada por algumas empresas.
Para finalizar este trabalho, e tal como se tem verificado em reuniões anteriores, foram entregues cartas fechadas com os resultados dos indicadores a cada uma das empresas presentes.
A carta divulgava os valores obtidos pela empresa em cada um dos indicadores e o seu posicionamento face aos concorrentes."
.
Todo este texto só refere médias... a média esconde muita coisa... e quanto mais diverso e heterogéneo um sector, menos a média quer dizer alguma coisa.
.
Há empresas com um desempenho muito acima da média?
Há empresas com um desempenho muito abaixo da média?
Há empresas que se destacam pela positiva? O que fazem de diferente?
.
Quais são os hóspedes de um hotel que se dão ao trabalho de voluntariamente, por iniciativa própria, preencher uma ficha de avaliação do serviço?
.
.
.
Os muito satisfeitos e... os muito insatisfeitos!!!
.
O que concluir da média do resultado das opiniões dos clientes?
.
.
.
.
Conclusões enganadoras

Não confundir a realidade com o mapa da realidade (parte III)

Continuado daqui e daqui.

.

A revista Harvard Business Review de Junho de 2010 inclui o artigo "You Are What You Measure" onde se chama a atenção para algumas consequências do uso dos indicadores.

.

"CEOs care about stock value because that’s how we measure them. If we want to change what they care about, we should change what we measure.

...
Human beings adjust behavior based on the metrics they’re held against. Anything you measure will impel a person to optimize his score on that metric. What you measure is what you’ll get. Period.
...
This phenomenon happens at an organizational level, too. States that use standardized education assessment tests produce kids who indeed perform well on these tests but falter when asked to demonstrate their knowledge of the same material in a different way.
...
To change CEOs’ behavior, we need to change the numbers we measure. Stock value metrics that focus on the long term are a start, but even more important are new numbers that direct leaders’ attention to the real drivers of sustainable success."

.

Por exemplo, se é importante, para uma empresa, o indicador "Nº de horas de formação por colaborador", podemos chegar ao limite da empresa dar formação de treta sobre temas de treta e contribuir para um bom desempenho do indicador.

.

Se o PIB é igual a:

.

Consumo + Investimento + Gastos do Estado + (Exportações - Importações)

.

Se o consumo cai, se o investimento cai, se as exportações caem e se as importações caem. Então, se os gastos do Estado subirem e se o Estado investir em projectos sem retorno... milagre, o PIB sobe!!!

Não confundir a realidade com o mapa da realidade (parte II)

Continuado daqui:

.

Rotunda

View more presentations from ccruz1234.

.

Continua.

Não confundir a realidade com o mapa da realidade

Hoje, antes do meu jogging matinal, li este artigo de Daniel Amaral no jornal do regime "A mudança".

.

Tive o cuidado de levar a máquina fotográfica para, durante a corrida, ilustrar o que vejo todos os dias.

.

Os indicadores são importantes ponto. Os indicadores são muito importantes ponto. No entanto, os indicadores não são a realidade... e os humanos, quando aprendem o truque são muito bons a engenheirar resultados para os indicadores.

.

Continua

Ilusionismo estatístico

Já aqui tinha referido este tópico "Ilusionismo estatístico", entretanto descobri este artigo eloquente: "Numbers Racket - Why the economy is worse than we know".
.
Atenção aos gráficos, priceless.

Inflação e PIB, ou ... vamos falar de ilusionismo.

A inflação baixou na zona euro?
.
O que é a inflação? Como se mede?
.
A inflação não é como a temperatura, ou a massa de um corpo. Para medir a massa de um corpo recolhe-se o corpo e usa-se uma balança calibrada.
.
A inflação é um indicador criado por humanos... eheheh
.
Todos os dias vêmos, ouvimos e lêmos sobre o aumento dos preços dos mais variados bens... no entanto a inflação na zona euro baixa... interessante!!!
.
Este postal tem um gráfico muito interessante. Nos Estados Unidos, nos últimos 25 anos adoptaram-se sucessivamente 3 metodologias distintas para medir a inflação. Como seria a inflação actual e a evolução da inflação, se se mantivesse cada um dos três métodos?
.
O Herman José dos tempos da "Roda da Sorte" perguntaria: "Perguntam vocês, porque é que haverá interesse em modificar o método de cálculo da inflação?"
.
"If you want to know understand how weak or strong an economy is, GDP is where you begin. But, you need to determine how much of GDP is nominal, and how much is real (i.e., after inflation growth).
.
Consider an economy that sold $100 worth of goods and services in one quarter. The next Q, it produced $110 worth. When determining the GDP of this economy, you want to know how much of those gains was additional output, and how much merely price increases. Its usually a combination of more widgets and higher prices, so if you want to know exactly how much the economy expanded, you need to know exactly how much inflation there was. Understate inflation, and you overstate growth."
.
Acredito que houve um tempo em que os políticos consideravam as estatísticas como entidades sagradas e que não se podia mexer de ânimo leve na fórmula de cálculo.
.
Trechos retirados do blogue "The Big Picture" de Barry L. Ritholtz.

A média é um embuste estatístico.

Na minha vida profissional, não levo a sério as apresentações de resultados que se concentram apenas na média. A média é um embuste que engana os tolos.

Acabo de ouvir a ministra da educação no telejornal da RTP1 afirmar que o rácio professor/aluno é de 1 professor para cada 8 alunos. Engraçado, a minha filha, vai iniciar o 8ºano de escolaridade, na escola secundária de Estarreja, numa turma com 29 alunos!!!!

A média, sem uma, ou mais medidas da dispersão dos resultados, é uma brincadeira para enganar tótós.