Não cairás na tentação da esquizofrenia analítica

Já percebi onde é que cometi o meu erro neste postal O problema deve ser meu...
.
O meu erro foi o de confiar nos jornalistas!
.
Apercebi-me do erro ontem, ao ler esta crónica de Peres Metelo no DN "Um plano, mais tarde ou mais cedo".
.
O que diz Peres Metelo?
.
"O indicador de confiança dos consumidores, depois de uma queda, cinco meses a fio, entre os -37,9 em Novembro de 2007 e os -42,9 em Março último, dá um salto positivo para -33,4 em Abril. "
.
Ok, mas quais são os números do INE?
Pelo texto de Peres Metelo percebo que ele se está a referir às médias móveis de 3 meses, não percebo é de onde é que ele desencantou o valor de Abril igual a -33.4?!
.
Mas voltemos ao meu erro. O meu erro foi o de me deixar embalar na esquizofrenia da análise de resultados como happenings (não há acasos) e esquecer o padrão de comportamento, e esquecer a estatística.
.
Mês após mês os resultados variam, umas vezes para cima, outras vezes para baixo. Variabilidade existe sempre.
A pergunta certa é: A variabilidade é sinal de ruído? (ou seja variação aleatória). Ou é sinal de mudança? (ou seja, variação significativa).
.
A forma de responder à pergunta é elaborar uma carta de controlo para valores individuais. A primeira para testar a hipótese de variabilidade controlada (só variação aleatória)
E a segunda para testar o controlo da variabilidade da média.

Ambas as cartas ilustram um sistema em controlo estatístico.
Ou seja, podemos afirmar com uma elevada dose de segurança que, muito provavelmente, os valores do Índice de Confiança (IC) nos últimos 6 meses pertencem a um mesmo universo, não houve nem melhoria nem deterioração da confiança.
.
Defender que a confiança baixou de Dezembro de 2007 para Janeiro de 2008, ou que aumentou de Março de 2008 para Abril de 2008 não tem qualquer suporte estatístico!!!
.
É como o exemplo das bolas desta apresentação:

View Upload your own

... acreditar que de tiragem para tiragem o saco cria, ou destrói bolas verdes.

Há que olhar para as tendências e não só para o último valor.

O Diário de Notícias de ontem trazia o artigo “Desaceleração do investimento faz arrefecer economia em 2008”, assinado por Rodolfo Rebêlo.

.
O artigo começa com as seguintes palavras “A economia portuguesa apresenta sinais de forte abrandamento nos primeiros dois meses do ano. Os empresários estão a adiar planos de investimento e o volume de negócios no comércio e na indústria abrandou, com as exportações de bens em queda, de acordo com os dados ontem divulgados pelo Instituto Nacional de Estatística (INE).”

.
Resolvi recolher os dados do INE (Sínteses mensais de conjuntura), escolhi dois indicadores, um sobre o investimento (Indicador de FBCF) e outro sobre a procura externa (Carteira de encomendas externa).

.

Depois, fiz uma carta de comportamento estatístico entre Novembro de 2006 e Janeiro de 2008, para procurar perceber o que me diz a voz do processo, independentemente das opiniões políticas.

.
Relativamente ao Indicador de FBCF obtive as seguintes curvas (a superior para avaliar a evolução da variabilidade e a inferior para acompanhar a evolução da média):

A carta da variabilidade diz-me que ao longo de 2007 a variabilidade evoluiu sob controlo estatístico, previsível portanto. Nada de alterações a esse nível!
.
A carta da média conta uma outra história muito mais interessante:
* 8 pontos consecutivos sempre a subir, de Janeiro a Agosto de 2007;
* Os pontos de Julho e Agosto ultrapassaram o limite superior de controlo (LSC x);
* O ponto de Dezembro de 2007 ultrapassou o LSC x.

Estamos perante um sistema, em que causas assinaláveis actuaram durante o ano de 2007 (a probabilidade de 8 pontos consecutivos subirem sempre face ao anterior sem haver alteração da média é de (1/2) elevado a 8.
Ao longo dos primeiros 8 meses a média aumentou, o indicador de FBCF teve uma evolução positiva que não pode ser explicada pela flutuação aleatória. Houve inequivocamente uma melhoria da situação em 2007, pelo menos durante os primeiros 8 meses (o valor excepcional no mês de Dezembro de 2007 pode ser explicado pelo investimento excepcional na compra de aviões pela TAP e pela NetJets - o famoso Banhista Gordo).
.
Estatisticamente não se pode dizer se a situação está a piorar ou não a nível de indicador de FBCF
.
Quanto à evolução do indicador “Carteira de encomendas externa” temos:

Ou sublinhando outros aspectos:Mais uma vez nada de anormal a nível da carta de comportamento da variação.
Quanto à carta do comportamento da média a história é outra. Temos tudo menos um sistema estável estatisticamente:
* De Junho de 2006 até Fevereiro de 2007 foram nove pontos consecutivos abaixo da média.
* Depois, de Março de 2007 até Dezembro de 2007 foram 10 pontos consecutivos acima da média. Ou seja, uma primeira fase com um crescimento assinalável, seguida de uma segunda fase com uma diminuição assinalável;
* A carteira de encomendas externa está em queda desde Julho de 2007, ou seja, oito meses seguidos. Estatisticamente podemos dizer que algo de diferente aconteceu e está a actuar sobre a economia.
.
Assim, ao contrário do que diz o artigo, a economia portuguesa não apresenta sinais de forte abrandamento nos primeiros dois meses do ano, infelizmente os sinais são mais antigos, já vêm de Agosto de 2007.
.
Não sou eu que o digo, são os números!
.
É muito fácil preocuparmo-nos com o último número, é o que ocupa a maior fatia do prime-time das reuniões de muitas organizações, é o topo do icebergue.
Só que abaixo do nível das águas... há um comportamento silencioso que corre o risco de passar despercebido.

A propósito da definição de metas

View Upload your own

Uns meses são melhores que outros e pouco mais...

Na sequência deste postal, resolvi analisar os dados e testar a validade das conclusões.


De acordo com este documento publicado pelo INE “Inquéritos de Conjuntura às Empresas e aos Consumidores” pode ler-se:

“Indicador de clima e indicador de confiança dos Consumidores diminuíram em Agosto”

Estatisticamente não sou capaz de suportar esta afirmação, elaborando uma carta do comportamento estatístico da evolução do índice de confiança dos consumidores, para a variabilidade e a média desde Agosto de 2006, não há nenhum regra de leitura das cartas de Shewhart que me habilite a concluir ter havida mudanças estatísticas no último ano. Se não fosse o valor de Maio de 2007 estar acima da média, teríamos uma série de 7 valores consecutivos abaixo da média, o que seria suficientemente improvável, para continuar a defender a hipótese de que nada mudou, mas não foi essa a realidade.

Os comentadores podem aventar as mais diversas explicações, algumas intelectualmente atraentes, outras esteticamente interessantes, mas quantas vezes são irrelevantes, porque não distinguem sinal de mudança, de ruído estatístico de fundo.

Pormenores sobre a metodologia aqui, aqui e aqui.

I love this game, parte 2 ou "O rei vai nú"

Consideremos um saco de cor opaca.
Nesse saco vamos colocar: 4400 esferas cor-de-rosa às quais vamos chamar “PS”
Nesse saco vamos, ainda, colocar: 2900 esferas cor-de-laranja às quais vamos chamar “PSD”.
Vamos também acrescentar ao saco 900 esferas vermelhas e pretas às quais vamos chamar “BE”, 800 esferas vermelhas e amarelas às quais vamos chamar “PVP/Verdes” e por fim 600 esferas de cor azul e amarela às quais vamos chamar “CDS/PP).

Agora imaginem que alguém fecha o saco, agita-o fortemente e, ao fim de alguns minutos, retira uma amostra de 100 esferas. Resultados dessa amostragem:

PS: 44%;
PSD: 29%;
BE: 9%;
PCP/Verdes: 8%;
CDS/PP: 6%

As esferas são recolhidas para o saco original novamente, o saco volta a ser fechado e agitado fortemente durante 30 dias. Ao fim dos 30 dias é retirada uma nova amostragem de 100 esferas. Desta vez os resultados são:

PS: 40%;
PSD: 31%;
BE: 11%;
PCP/Verdes: 10%;
CDS/PP: 8%

Perante estes resultados, e comparando com os resultados obtidos no mês anterior pede-se a um “expert” que discorra sobre as razões que levaram a um abaixamento acentuado do número de esferas PS na última amostragem.

O “expert” discorre e discorre, justifica e volta a justificar a evolução, apresenta inúmeras razões para a ocorrência da mesma. A plateia fica impressionada com a argumentação e aplaude.

Até que alguém se levanta e grita “Treta!!!. De um mês para o outro não aconteceu nada, nada que não possa ser explicado pela flutuação estatística, pela aleatoriedade… mais nada. Afinal, veio tudo do mesmo saco com 10000 esferas!!!"

Foi deste cenário que me lembrei esta manhã, ao ouvir na TSF as doutas conclusões de António José Teixeira, para justificar a evolução do barómetro TSF.

Aplicando uma carta de controlo estatístico aos resultados do PS neste ano de 2007 obtemos:

É que não se passa nada que não possa ser explicado pela flutuação aleatória... não vale a pena encontrar justificações para a mudança. Não há mudança!!!
Há, quando muito, que encontrar justificações para a ausência de mudança!

Quando eu era criança...

Uma organização calcula mensalmente um indicador. Mês após mês, vai preenchendo uma tabela com os valores mensais.Essa tabela é usada para comparar os resultados e tomar decisões.
Que conclusões tirar da leitura desta tabela?
Que uns meses são melhores e outros são piores!

E se usarmos um gráfico que nos mostre a evolução ao longo do tempo?O gráfico mostra a evolução ao longo dos últimos 29 meses.

Que conclusões tirar da leitura deste gráfico?
Que uns meses são melhores que outros!

Já houve um tempo em que eu, criança, (como dizia S. Paulo):Ao passar do mês com o resultado A, para o mês com o resultado B, saudaria os meus colegas de reunião mensal como bestiais;
Ao passar do mês com o resultado C, para o mês com o resultado D, saudaria os meus colegas de reunião mensal como bestas.

E não satisfeito com isso, azucrinaria as suas cabeças, para que investigassem tudo e mais alguma coisa para explicar tão grave deterioração de desempenho.

Como referi neste postal…Agora, um pouco mais adulto, já analiso os dados com muito mais método… com uma carta de controlo da amplitude móvel…… concluímos que temos, ao longo dos últimos 29 meses um sistema com uma variabilidade estável, em torno da amplitude móvel média.

Com uma carta de valores individuais…… concluímos que temos, ao longo dos últimos 29 meses um sistema com uma média estável e sob controlo. Ao passar de A para B nada aconteceu que não possa ser explicado pela variabilidade natural, tal como ao lançar um dado, o resultado tanto pode dar 1, como 6. Também ao passar de C para D, nada aconteceu…

Assim, ao usar uma carta de controlo abstraímo-nos do valor pontual do mês e olhamos para a voz do processo subjacente, está em controlo estatístico ou não?
Se não, o que é que anda a actuar sobre o processo? Vale a pena procurar, há algo a agir e a influenciar os resultados.
Se sim, só há uma forma de melhorar… mudar o processo, porque o que existe já está a dar o seu melhor.

Comportamentos, padrões... não, "happenings"; não, eventos; não, meteoros

Não!!! Não e não!!!

Está mal, não se devem usar “dial gauges” para apresentar o desempenho, dos indicadores do BSC, como se apresenta aqui.
Este tipo de instrumento promove uma postura esquizofrénica, só olhamos para o último valor, o último valor é tratado como um verdadeiro “happening”. Num mês, os resultados são bons e o responsável é aclamado como herói.
No mês seguinte, os resultados são considerados maus e o responsável é vergastado em público e no limite “enforcado”:
Ou seja, uma autêntica, montanha russa de emoções:Como é possível continuar a ignorar uma poderosa ferramenta, como o controlo estatístico do processo?
Como distinguir o que é sinal, do que é ruído?
Como distinguir o que é mudança do que é flutuação aleatória?
Como distinguir o que é acidental do que é estrutural?

Por exemplo: uma empresa considerou o “Tempo de Paragem”, como um dos seus indicadores de desempenho estratégico. Estabeleceu como alvo a atingir, como meta, não ultrapassar o tempo total de 400h por mês.


As duas cartas de controlo da figura acima têm funções diferentes. A carta inferior informa-nos que a variabilidade do sistema se tem mantido constante. A carta superior mostra-nos que a média se tem mantido sob controlo estatístico. A carta de controlo é a voz do processo, é o processo a falar. E a carta conta-nos que estamos perante um sistema a trabalhar bem, a dar o melhor de si, sob controlo, previsível. Em média, o tempo de paragem ronda as 587 horas.

A especificação de desempenho (400 horas), a meta, é:
um raio disparado do alto do Olimpo pelos deuses “Não demorarás mais de 400 horas por mês, em paragens”. Pode ser uma alucinação da gestão de topo, pode não passar de um sonho. A carta de controlo diz-nos o que é que o processo pode dar. Sem carta de controlo, sem análise estatística… como interpretar os resultados obtidos?

Sinceramente, não entendo a fixação mundial nos “dial gauges”, no imediato, no último resultado, e esquecer os padrões de comportamento.