SPC (parte IV) - Tamanho das amostras e erro tipo I e tipo II

Continuação de: parte zero; parte I; parte II e parte III
.
Consideremos uma amostra de tamanho 5 retirada de um processo produtivo.
A partir dessa amostra calcula-se a média e o desvio padrão.Se recolhermos amostras de tamanho 5 ao longo do tempo como é que se vai comportar a média e o desvio padrão?
Será que se mantêm constantes? Ou será que vão andar à deriva?Ao usarmos uma carta de controlo estamos na realidade a aplicar constantemente um teste de hipóteses:
.
H0: O processo está a operar num estado de controlo estatístico (manutenção da média e do desvio padrão)
H1: O processo não está a operar num estado de controlo estatístico
.
Se um ponto registado na carta de controlo não denotar nenhuma das situações que indicam a presença de causas especiais ou assinaláveis no processo, então, poderemos dizer que o processo está a operar num estado de controlo estatístico.
.
No mundo real o estado do processo é desconhecido, não se sabe se H0 é verdadeira ou falsa. Se se tiver de tomar a decisão de aceitar ou não H0, na presença de incerteza, temos de aceitar correr riscos, tanto maior quanto maior a largura entre os limites de controlo.
.
Consideremos um processo de produção que produz vários milhões de peças, com um tempo de vida médio miú= 1200 h e um desvio padrão sigma = 300 h.
.
Para aplicar o teste de hipóteses na avaliação de um novo processo, para saber se é melhor ou pior que o existente, actuaremos da seguinte forma:
.
1. A hipótese nula é formalizada (H0: miú= 1200). Ao mesmo tempo, indicamos o tamanho da amostra (por exemplo n=100), e o erro alfa admitido (5%, ou seja em cada 100 vezes que o teste seja efectuado aceitamos correr o risco de em 5 vezes rejeitar a hipótese nula quando na realidade ela é verdadeira).
.
2. Assumimos, temporariamente, que a hipótese nula é verdadeira. E colocamos a questão: o que poderemos esperar de uma média amostral retirada deste universo?A área sombreada da curva normal representa a gama de valores para a média em que a hipótese nula é rejeitada.
.
3. Recolhendo a amostra, calcula-se a média. Se a média observada Xmed cai dentro da área de rejeição, considera-se que existe um conflito suficientemente grande entre a realidade e a hipótese nula, de forma que se rejeita a hipótese nula. Caso a média não caia dentro da área de rejeição a hipótese nula não pode ser rejeitada.
.
O valor crítico Xmed crítico = 1249 para este teste foi calculado a partir da área alfa sombreado de uma curva normal para o valor a=5%
.
Uma outra forma de “ajuizar” a ocorrência de uma média superior a 1249 é:
H0 é verdadeira, mas tivemos um tal azar que recolhemos uma amostra muito pouco provável. Ou:
H0 não é verdadeira, daí não ser surpresa o valor alto obtido para a média.
.
No processo de decisão, perante as duas opções (aceitar ou não H0) corremos o risco de cometer dois tipos diferentes de erros.
.
O primeiro apresenta-se na figura:Esta figura mostra-nos o mundo na condição de H0 ser verdadeira. Nesta hipótese, existe um risco de 5% de observarmos Xmed na região sombreada, nesse caso erradamente rejeitaremos a hipótese verdadeira H0. Rejeitar H0 quando é verdadeira corresponde ao chamado erro tipo I, com a sua probabilidade de ocorrência igual a alfa.
.
Mas suponhamos que a hipótese nula H0 é falsa – isto é, que a hipótese alternativa H1 é verdadeira – e, para concretizar, suponhamos que miú= 1240. Nesse caso estaremos a viver num mundo diferente. Agora Xmed distribui-se em torno de miú= 1240 como se mostra na figura:A decisão correcta, neste caso, seria rejeitar a falsa hipótese nula H0.
Cometeríamos um erro se Xmed caísse na zona de aceitação da hipótese nula H0. A aceitação de H0 quando na realidade H0 é falsa é chamada de erro tipo II. A sua probabilidade de ocorrência é beta e corresponde À área a sombreado da figura anterior.
.
No mundo real o estado do mundo é desconhecido, não se sabe se H0 é verdadeira ou falsa. Se se tiver de tomar a decisão de aceitar ou não H0, na presença da incerteza, temos de aceitar correr riscos de um tipo ou de outro.
.
Na figura:Ilustra-se mais uma vez as probabilidades de cada um dos tipos de erro, alfa se H0 é verdadeira, e beta se H0 é falsa.
.
Na figura: Ilustra-se como a redução de alfa (movendo o ponto crítico para a direita, por exemplo para 1270) aumentará ao mesmo tempo beta. Ou seja, a mexida em alfa afectará beta automaticamente em sentido contrário.Teremos sempre de optar por um compromisso entre alfa e beta.
A única forma de reduzir um erro sem aumentar o outro passa por aumentar o tamanho da amostra.
.
Por exemplo:A figura mostra como, aumentando o tamanho da amostra, a diminuição do desvio padrão (dividido por raiz de n), torna a distribuição mais precisa, possibilitando que beta se reduza sem aumentar alfa.
.
Por isso, devemos procurar trabalhar sempre com tamanhos de amostra superiores.

SPC (parte III) - Cartas de controlo e especificações a combinação contra-natura (a explicação)

Parte I; Parte II

.

Um processo que tenha somente causas aleatórias a afectar as suas saídas diz-se estável e sob controlo estatístico. Num processo estável, o sistema, o emaranhado de causas na base da variabilidade mantém-se mais ou menos constante ao longo do tempo. Isto não quer dizer que não exista variabilidade nas saídas do processo, ou que a variação seja pequena, ou mesmo que as saídas obedeçam às especificações ou requisitos impostos pelo cliente. Um processo estável é um processo onde a variação nas saídas é previsível, dentro de limites estabelecidos estatisticamente.
.
Um processo com as suas saídas afectadas quer por causas comuns (estão sempre presentes), quer por causas assinaláveis é considerado um processo instável. Um processo instável não apresenta necessariamente uma grande variação. É considerado instável porque a grandeza da variação não pode ser prevista de um período para outro.
.
Uma visão da variação baseada em causas comuns e causas assinaláveis contrasta com a visão da variação baseada na classificação do desempenho em bom e mau. Esta última visão é a mais comum e tradicional.
.
A visão da variação baseada na classificação do desempenho do processo em bom e mau constitui a base para a inspecção de produtos e serviços. Uma grande falha desta visão é de que não fornece qualquer informação sobre as causas, sobre as raízes da variação. E sem essa informação faltam pistas importantes para conseguir melhorar o desempenho. Estas duas visões contrastam fortemente.

À medida que as causas especiais são identificadas e removidas o processo vai-se tornando cada vez mais estável e um processo estável é um processo:

• Com uma identidade própria; o seu desempenho é previsível. É pois possível planear racionalmente;
• Os custos e a conformidade são previsíveis;
• Onde os efeitos das mudanças podem ser medidos com maior rapidez e fiabilidade. Num processo instável é muito difícil segregar as mudanças no processo induzidas pelas alterações impostas, das mudanças devidas às causas assinaláveis.

A carta de controlo é a ferramenta que nos permite classificar um processo como estável ou instável.
.
A carta de controlo é constituída por três linhas e por pontos marcados num gráfico:

Uma carta de controlo é construída a partir de medições de uma dada característica da qualidade de um processo, como por exemplo: o prazo de entrega, a viscosidade, a temperatura, o custo, o número de erros, o volume de vendas ou de enchimento. Essas medições são depois agrupadas com base no tempo.
.
A estes conjuntos de dados dá-se o nome de subgrupos. Para construir uma carta de controlo são precisos vários subgrupos. Os dados individuais ou a sua média, são marcados no gráfico. O eixo horizontal identifica o subgrupo, o eixo vertical é a escala da característica da qualidade sob medição.
.
A linha central representa a média dos dados. Os limites de controlo representam a fronteira da variabilidade devida a causas aleatórias. Os pontos marcados fora dos limites de controlo são indicações da existência de causas assinaláveis a operar no sistema. Não há qualquer relação entre os limites de controlo e especificações.
.
É extremamente importante não confundir os limites de controlo com as especificações ou com as metas para o processo. As especificações são a voz do cliente ou do mercado, as metas são a voz ou o desejo da gestão, os limites de controlo são a voz do processo, aquilo que o processo é capaz de fornecer. Os limites de controlo são uma previsão da variação que ocorrerá devida ao sistema, ou seja devida a causas aleatórias. Um processo pode ser estável e, no entanto, os produtos saídos do seu seio não cumprirem a especificação.
.
Quando trabalho com o balanced scorecard (BSC) procuro aconselhar os gestores a usarem as cartas de controlo para analisarem a evolução dos resultados periódicos dos indicadores de desempenho e evitarem comportamentos esquizofrénicos. Nesses casos, a carta de controlo que aconselho é a carta de valores individuais e amplitude móvel pois só há um valor possível em cada mês, no caso da frequência mensal (por exemplo).
.
No entanto, noutras aplicações, sempre que é possível, aconselho o uso de subgrupos com tamanho superior a 1, pois tal reduz a frequência de erros tipo II sem penalizar demasiado os erros do tipo I, permitindo detectar mais facilmente eventuais mudanças na média.
.
Consideremos uma carta de controlo com subgrupos de tamanho 5. Assim, quando colocamos pontos na carta da média, esses pontos resultam da média de 5 valores individuais. Se agora se desenharem sobre a carta de controlo linhas que representam as especificações, podemos dizer que alguém está a fazer batota… pois está a comparar um resultado que não existe na vida real, a média de 5 valores individuais, com as especificações que se aplicam apenas a valores individuais.
.
Consideremos uma linha de engarrafamento.
Se estivermos a medir o volume das garrafas uma a uma, é natural que uma vez por outra apareça uma garrafa com um volume de enchimento muito próximo de uma das extremidades, de uma das caudas da distribuição normal do processo. Esta ocorrência, se analisada isoladamente poderá levar à conclusão errada de que o processo de enchimento precisa de ajuste. Se por outro lado recolhermos uma amostra de 5 garrafas será extremamente improvável que todas as 5 caiam junto a um dos extremos da distribuição. Se, por isso, tomarmos em conta a média dos 5 volumes teremos um indicador do estado do processo muito mais fiável. É claro que a média de cada amostra irá variar mas a dispersão, a variabilidade, não será tão grande como a que se verifica quando tomamos em conta as amostras individuais.
.
Comparando as duas curvas de frequência verificamos que a dispersão das médias amostrais é muito inferior à dispersão verificada com as garrafas individuais. No caso de amostras de dimensão 4, por exemplo, o desvio padrão das médias é metade do desvio padrão do mesmo universo de garrafas quando consideradas uma a uma e não em grupos de 4.
.
Em termos gerais o desvio padrão das médias:Porquê usar médias amostrais? Porque facilita a detecção das alterações nos processos.
.
Vamos interromper o nosso plano inicial para a apresentação de temas relacionados com o SPC, para introduzir no próximo episódio o tema do Erro tipo I e Erro tipo II e a sua relação com o tamanho das amostras de cada subgrupo.

SPC (parte II) - Cartas de controlo e especificações a combinação contra-natura (a ilustração)

Continuação da Parte I.

.

Consideremos uma linha de engarrafamento que tem como objectivo encher embalagens com 350 ml de um xarope.
.
Como não é possível iludir a existência de variação a empresa que gere a linha de engarrafamento compromete-se a só colocar no mercado embalagens com um volume entre 348,0 e 352,0 ml. Enquanto o limite inferior da especificação (348,0 ml) protege os clientes, já o limite superior da especificação (352,0 ml) evita que a empresa desperdice xarope, uma vez que os clientes só pagam 350,0 ml.
.
Um cliente muito importante, dono de uma cadeia de hipermercados que escoa grande parte da produção do xarope, impôs recentemente à empresa o uso do controlo estatístico do processo (SPC). Um estagiário está neste momento a implementar o SPC na linha de engarrafamento.
.
O estagiário começou por recolher e medir o volume de xarope de uma embalagem a cada 30 minutos:

Tendo obtido o seguinte conjunto de valores ao fim das primeiras 30 horas:Como cada valor individual representa a produção no instante da recolha da amostra o tamanho de cada subgrupo usado é 1, pelo que o estagiário usou uma carta de controlo para valores individuais e amplitudes móveis para começar a controlar o processo:Ao olhar para as cartas de controlo o estagiário ficou todo contente:
- Temos o processo sob controlo estatístico! Não há causas assinaláveis no processo!
.
Contudo, quando foi apresentar os dados ao director do engarrafamento este não percebeu nada do que o estagiário lhe estava a dizer:
-Oh meu amigo, eu olho para isso e não sei se estamos a cumprir as especificações.
.
O estagiário como só tinha aprendido as fórmulas sobre o SPC e as regras de detecção, logo acrescentou que podia sobrepor os limites das especificações sobre a carta de controlo de valores individuais. E assim fez:- Agora sim, agora está melhor. Agora consigo ver as especificações. Afirmou o director do engarrafamento.
.
Para uma carta de controlo de valores individuais até que não há um erro muito grande ao aplicar os limites das especificações, porque estamos a comparar valores individuais com especificações. O erro está em confundir e misturar o papel de uma carta de controlo e a tarefa de verificar o cumprimento das especificações. Uma carta de controlo serve para tomar decisões sobre um processo, não para dizer se se cumprem as especificações ou não. Uma carta de controlo põe o processo a falar, as especificações não têm nada a ver com o desempenho de um processo, as especificações podem ser delírios de um director, ou de um comercial, ou de um cliente.
.
Ao olhar melhor para a carta de controlo o director de engarrafamento pensou:
- Hum… aqueles pontos fora das especificações podem trazer-me aborrecimentos. Assim, tão às claras, o director geral pode começar a fazer perguntas e a bisbilhotar …
- Oh amigo estagiário, e se em vez de valores individuais você colocasse na carta de controlo médias de amostras? – perguntou o director do engarrafamento, que nada sabia sobre cartas de controlo mas que sabia que a média é uma ferramenta ‘porreira’ para esconder e amortecer flutuações na variação.

.
- OK! Vou aplicar umas fórmulas e refazer as carta de controlo – respondeu o estagiário anjinho.
- E não se esqueça das especificações – lembrou o director de engarrafamento.
.
O estagiário resolveu agrupar as amostras em subgrupos de 4:

E construir as cartas de controlo usando fórmulas para subgrupos de tamanho 4:Quando este as apresentou ao director de engarrafamento este exclamou deleitado:
- Bravo meu caro estagiário, você vai longe!
.
Amanhã procuraremos mostrar como esta abordagem de misturar especificações e cartas de controlo para médias de subgrupos está errada, é batotice da pior espécie. É este tipo de batotice que dá mau nome à estatística. Especificações e cartas de controlo têm propósitos distintos e ponto.
By the way, sempre que possível, e vamos demonstrar isso mais à frente, devemos usar cartas de controlo com o tamanho dos subgrupos superior a 1, a carta de controlo fica mais robusta e detecta melhor os sinais de mudança. Basta olhar para a carta de valores individuais e a carta das médias acima… qual é a que se lê melhor? Mas é mais do que simples leitura, é também um poder estatístico superior.

.
Continua.

SPC (parte I) - Uma outra maneira de ver o mundo

Este é o primeiro e o mais díficil dos postais que me propus escrever sobre o controlo estatístico do processo (SPC), mais díficil porque, para muita gente, se eu conseguisse ter sucesso com este postal tal representaria um momento de epifania sobre o que significa utilizar o SPC, nevertheless let's try it.

.

Muitas organizações começam a usar o SPC porque um cliente o exige, ou porque uma qualquer legislação que regula o sector assim o exige.

.

Começar a usar o SPC com as fórmulas correctas e com as regras de detecção de causas assinaláveis correctas já não é mau.

.

No entanto, normalmente, cumpre-se o requisito e aplicam-se as fórmulas sem mudar a forma de olhar o mundo.

.

No final dos anos oitenta do século passado trabalhava na CIRES em Estarreja, uma empresa química que produzia e produz PVC.

.

Uma das boas práticas seguida nessa empresa era a assinatura de várias revistas técnicas que depois eram distribuídas por todos segundo um circuito pré-definido. Uma das revistas que comecei a ler nessa altura era a Chemical Engineering Progress e a outra a Hydrocarbon Processing. E foi na Hydrocarbon Processing que encontrei uns artigos que me abriram os olhos para o mundo da qualidade.

.

Quando frequentava a universidade o último local onde me via a trabalhar era na área da qualidade, um mundo de burocratas de bata branca que se entretinham a segregar produto conforme de produto defeituoso, essa era a minha visão. A ISO 9001 ainda não existia.

.

Os artigos da Hydrocarbon Processing abriram-me os olhos para uma faceta da qualidade que eu nunca tinha conhecido ou ouvido falar. O mundo da melhoria da qualidade e das suas ferramentas, o mundo da investigação sobre os processos, o mundo que relacionava e punha a dialogar a Produção com a Comercial como provedores dos clientes.

.

Ainda hoje guardo cópia desses artigos:

• "Tools for better management (part 1)", assinado por D. M. Woodruff e publicado pela Hydrocarbon Processing em Agosto de 1989 (um artigo que que nos apresentava um conjunto de ferramentas mágicas, porque poderosas, para perceber o que acontecia num processo de fabrico e descobrir a causa dos problemas que atormentavam a organização e os seus clientes: brainstorming, diagrama de pareto, diagrama de causa-efeito ou de espinha de peixe, fluxogramas, histogramas, diagramas de correlação e cartas de controlo);
• "SPC in the process industries (part 2)", assinado por C. L. Mamzic e T. W. Tucker e publicado pela Hydrocarbon Processing em Dezembro de 1988 (este artigo referia algo de verdadeiramente mágico para a minha jovem mente de recém-licenciado de um curso onde estas matérias nunca foram abordadas, não é uma figura de expressão era mesmo magia, mencionava o desenho de experiências e um tal de método Taguchi. A minha curiosidade não me largou e atormentou enquanto não percebi o que era e como se usava esse método. Taguchi dava uma importância tremenda à questão da variabilidade e o mergulho nessa filosofia ajudou-me mais tarde à minha epifania com o SPC )(Já agora, a curiosidade sobre o SPC levou-me a encomendar um livro a uma editora inglesa, no tempo em que não tinha cartão de crédito e que tinha de pedir uma factura proforma primeiro para que o meu banco de seguida fizesse um cheque para eu poder, finalmente, enviar com a encomenda por carta. Encomendei o livro "Statistical Process Control - A practical guide" da autoria de John S. Oakland e publicado pela editora Heinemann Professional Publishing. Quando essa editora começou, depois, a enviar-me folhetos publicitários sobre as suas publicações descobri a arca de livros de Peter Drucker, o homem que mudou a minha vida)

Usar o SPC não é aplicar fórmulas e colocar pontos num gráfico a que chamamos carta de controlo, essa é uma tosca e muito rudimentar simplificação. Usar o SPC é uma forma diferente de encarar o mundo.

.

Sem método para analisar resultados somos prisioneiros dos caprichos, nossos e dos deuses (chamem-se eles administradores, directores gerais ou chefe da secção):

• Uns dias são melhores que outros
• Uns dias são melhores que outros (II) Aqui gostava de sublinhar a parte final (Tentar descobrir porque é que num dia a taxa de defeitos é de 10% e noutro é de 25% não tornará ninguém mais esperto. De facto, poderá até mesmo baixar o QI da empresa, ao encorajar as pessoas a acreditarem em falsas explicações. A variação excepcional merece ser interpretada como um sinal de que algo é diferente, mas a variação rotineira não é sinal de mudança real. Conhecer a diferença é fundamental para fazer melhorias.)
• Sem método caímos facilmente, demasiado facilmente na esquizofrenia analítica (mesmo que carregados de boas intenções) Não cairás na tentação da esquizofrenia analítica
• Há que olhar para as tendências e não só para o último valor. (Nos dois últimos gráficos onde está Agosto de 2008 deve ler-se Agosto de 2007)

Há uns anos estava a trabalhar no meu estaminé e a ouvir a rádio TSF, a certa altura apresentaram os dados de uma sondagem mensal(?) e depois deram espaço de antena a vários comentadores políticos e professores universitários para explicarem os resultados. O programa demorou cerca de uma hora e no final... de tão surpreendido com a ignorância estatísticaevidenciada, de tão desconfiado das lucubrações explicativas fui ao sítio da TSF e saquei os dados das sondagens anteriores, para concluir que aquela tinha sido uma hora perdida... com explicações da treta porque de um mês para o outro nada tinha mudado estatisticamente.

.

Se fôssemos deuses saberíamos exactamente qual a percentagem de apoiantes que cada partido político teria em cada instante. Como apenas somos humanos temos uma aproximação desses números através da realização de sondagens.

.

Consideremos que numa dada sondagem o partido político X obtém uma percentagem de apoiantes de 20%. Há uma tendência para tornar abosoluto esse valor, 20% dos inquiridos votariam no partido X. Contudo, tal não é verdade, 20% é o resultado médio obtido da amostra estudada, apesar da amostra ser equilibrada e aleatória, se tivéssemos recorrido a outra amostra aleatória e equilibridada poderíamos vir a obter 19% ou 21%. Assim, 20% é só o valor mais provável a partir de uma distribuição de resultados possíveis.

.

Num dado mês teríamos este cenário:

O valor obtido em resultado da sondagem, é exactamente igual ao valor verdadeiro que só os deuses conhecem, 20.0%.
.

No mês seguinte, o valor obtido pela sondagem é de 21.5%, nós deuses sabemos que nada mudou, trata-se apenas de mera flutuação aleatória como se pode ver da localização do ponto amostral na distribuição normal.

No entanto, os comentadores, tal como os analistas da bolsa, perante resultados diferentes, porque os tomam por valores absolutamente verdadeiros, querem sempre encontar justificações para as mudanças... mesmo quando essas mudanças não querem dizer nada.

.

Este é o grande poder do SPC, relativizar os números... o número obtido é um dos resultados possíveis de entre uma distribuição de valores. O SPC permite-nos descobrir se a distribuição se alterou ou não, permite-nos decidir quando é que vale a pena investir na investigação das diferenças. Quando estas forem estatisticamente significativas e só nessa altura.

.

O exemplo do saco que produz e destrói bolas verdes no final deste postal ilustra e caricaturiza a actuação de quem não conhece o significado do SPC.

.

A variabilidade existe sempre em qualquer sistema. Uma parte dessa variabilidade é previsível e está sempre presente no sistema, a variabilidade provocada por causas aleatórias. Outra parte da variabilidade pode não estar presente num sistema, o ideal é mesmo que não esteja presente, a variabilidade atribuída a causas especiais ou assinaláveis.

.

Um sistema só com causas aleatórias presentes tem a particularidade de ser previsível, os resultados futuros do sistema não serão estatisticamente diferentes dos resultados produzidos pelo sistema no passado.

.

Pouco se pode dizer de um sistema com causas especiais presentes além das aleatórias, porque não se podem fazer previsões para o futuro.

.

O SPC diz-nos se existem causas especiais a actuar num sistema e dá-nos pistas para as pesquisar.

.

O SPC diz-nos que quando temos um sistema só com causas aleatórias a funcionar e não gostamos dos resultados produzidos pelo sistema... não adianta acenar com cenouras ou brandir chicotes pois o sistema e as pessoas que nele operam já estão a dar o melhor... se não gostamos dos resultados produzidos pelo sistema... temos de mudar o sistema.

.

O SPC permite-nos, quando temos um sistema só com causas aleatórias a funcionar, conduzir o sistema para a frente, para o futuro, olhando pelo espelho retrovisor.

.

Adenda: Esta recordação entretanto encontrada I love this game, parte 2 ou "O rei vai nú"

O controlo estatístico do processo (SPC)

Na sequência de várias questões colocadas durante a realização de uma acção de formação na passada semana, vamos procurar reflectir sobre algumas questões que giram em torno do controlo estatístico do processo (SPC). Não irei abordar o uso das fórmulas porque isso é o mais fácil e encontra-se em qualquer livro, procurarei antes tratar de alguns temas que normalmente não são abordados:

• o que significa usar o SPC;
• a relação entre SPC e as especificações;
• as quatro possibilidades de um processo;
• erros mais comuns no cálculo dos limites de controlo;
• o uso das mensagens de uma carta de controlo para direccionar uma pesquisa;
• o efeito do tamanho dos grupos;
• o desenho da amostragem para a constituição dos grupos;
• capacida de um processo e confusões associadas;
• cartas de controlo para valores individuais;
• short-run spc;

Concentrar uma organização no que é essencial

Actualizamos a nossa metodologia, para concentrar uma organização no que é essencial.

É o resultado de uma busca permanente, que confronta a realidade (resultados), com os mapas que vou fazendo dessa mesma realidade.

.

Aceitam-se sugestões.

Não cairás na tentação da esquizofrenia analítica

Já percebi onde é que cometi o meu erro neste postal O problema deve ser meu...
.
O meu erro foi o de confiar nos jornalistas!
.
Apercebi-me do erro ontem, ao ler esta crónica de Peres Metelo no DN "Um plano, mais tarde ou mais cedo".
.
O que diz Peres Metelo?
.
"O indicador de confiança dos consumidores, depois de uma queda, cinco meses a fio, entre os -37,9 em Novembro de 2007 e os -42,9 em Março último, dá um salto positivo para -33,4 em Abril. "
.
Ok, mas quais são os números do INE?
Pelo texto de Peres Metelo percebo que ele se está a referir às médias móveis de 3 meses, não percebo é de onde é que ele desencantou o valor de Abril igual a -33.4?!
.
Mas voltemos ao meu erro. O meu erro foi o de me deixar embalar na esquizofrenia da análise de resultados como happenings (não há acasos) e esquecer o padrão de comportamento, e esquecer a estatística.
.
Mês após mês os resultados variam, umas vezes para cima, outras vezes para baixo. Variabilidade existe sempre.
A pergunta certa é: A variabilidade é sinal de ruído? (ou seja variação aleatória). Ou é sinal de mudança? (ou seja, variação significativa).
.
A forma de responder à pergunta é elaborar uma carta de controlo para valores individuais. A primeira para testar a hipótese de variabilidade controlada (só variação aleatória)
E a segunda para testar o controlo da variabilidade da média.

Ambas as cartas ilustram um sistema em controlo estatístico.
Ou seja, podemos afirmar com uma elevada dose de segurança que, muito provavelmente, os valores do Índice de Confiança (IC) nos últimos 6 meses pertencem a um mesmo universo, não houve nem melhoria nem deterioração da confiança.
.
Defender que a confiança baixou de Dezembro de 2007 para Janeiro de 2008, ou que aumentou de Março de 2008 para Abril de 2008 não tem qualquer suporte estatístico!!!
.
É como o exemplo das bolas desta apresentação:

View Upload your own

... acreditar que de tiragem para tiragem o saco cria, ou destrói bolas verdes.

Uns dias são melhores que outros

Este postal "The Stock Market Surged Yesterday Because … Why?" no blogue Freakonomics fez-me lembrar estas cenas.
.
Então quando os comentadores explicam a flutuação estatística das sondagens... é delirante

Há que olhar para as tendências e não só para o último valor.

O Diário de Notícias de ontem trazia o artigo “Desaceleração do investimento faz arrefecer economia em 2008”, assinado por Rodolfo Rebêlo.

.
O artigo começa com as seguintes palavras “A economia portuguesa apresenta sinais de forte abrandamento nos primeiros dois meses do ano. Os empresários estão a adiar planos de investimento e o volume de negócios no comércio e na indústria abrandou, com as exportações de bens em queda, de acordo com os dados ontem divulgados pelo Instituto Nacional de Estatística (INE).”

.
Resolvi recolher os dados do INE (Sínteses mensais de conjuntura), escolhi dois indicadores, um sobre o investimento (Indicador de FBCF) e outro sobre a procura externa (Carteira de encomendas externa).

.

Depois, fiz uma carta de comportamento estatístico entre Novembro de 2006 e Janeiro de 2008, para procurar perceber o que me diz a voz do processo, independentemente das opiniões políticas.

.
Relativamente ao Indicador de FBCF obtive as seguintes curvas (a superior para avaliar a evolução da variabilidade e a inferior para acompanhar a evolução da média):

A carta da variabilidade diz-me que ao longo de 2007 a variabilidade evoluiu sob controlo estatístico, previsível portanto. Nada de alterações a esse nível!
.
A carta da média conta uma outra história muito mais interessante:
* 8 pontos consecutivos sempre a subir, de Janeiro a Agosto de 2007;
* Os pontos de Julho e Agosto ultrapassaram o limite superior de controlo (LSC x);
* O ponto de Dezembro de 2007 ultrapassou o LSC x.

Estamos perante um sistema, em que causas assinaláveis actuaram durante o ano de 2007 (a probabilidade de 8 pontos consecutivos subirem sempre face ao anterior sem haver alteração da média é de (1/2) elevado a 8.
Ao longo dos primeiros 8 meses a média aumentou, o indicador de FBCF teve uma evolução positiva que não pode ser explicada pela flutuação aleatória. Houve inequivocamente uma melhoria da situação em 2007, pelo menos durante os primeiros 8 meses (o valor excepcional no mês de Dezembro de 2007 pode ser explicado pelo investimento excepcional na compra de aviões pela TAP e pela NetJets - o famoso Banhista Gordo).
.
Estatisticamente não se pode dizer se a situação está a piorar ou não a nível de indicador de FBCF
.
Quanto à evolução do indicador “Carteira de encomendas externa” temos:

Ou sublinhando outros aspectos:Mais uma vez nada de anormal a nível da carta de comportamento da variação.
Quanto à carta do comportamento da média a história é outra. Temos tudo menos um sistema estável estatisticamente:
* De Junho de 2006 até Fevereiro de 2007 foram nove pontos consecutivos abaixo da média.
* Depois, de Março de 2007 até Dezembro de 2007 foram 10 pontos consecutivos acima da média. Ou seja, uma primeira fase com um crescimento assinalável, seguida de uma segunda fase com uma diminuição assinalável;
* A carteira de encomendas externa está em queda desde Julho de 2007, ou seja, oito meses seguidos. Estatisticamente podemos dizer que algo de diferente aconteceu e está a actuar sobre a economia.
.
Assim, ao contrário do que diz o artigo, a economia portuguesa não apresenta sinais de forte abrandamento nos primeiros dois meses do ano, infelizmente os sinais são mais antigos, já vêm de Agosto de 2007.
.
Não sou eu que o digo, são os números!
.
É muito fácil preocuparmo-nos com o último número, é o que ocupa a maior fatia do prime-time das reuniões de muitas organizações, é o topo do icebergue.
Só que abaixo do nível das águas... há um comportamento silencioso que corre o risco de passar despercebido.

Uns meses são melhores que outros e pouco mais...

Na sequência deste postal, resolvi analisar os dados e testar a validade das conclusões.


De acordo com este documento publicado pelo INE “Inquéritos de Conjuntura às Empresas e aos Consumidores” pode ler-se:

“Indicador de clima e indicador de confiança dos Consumidores diminuíram em Agosto”

Estatisticamente não sou capaz de suportar esta afirmação, elaborando uma carta do comportamento estatístico da evolução do índice de confiança dos consumidores, para a variabilidade e a média desde Agosto de 2006, não há nenhum regra de leitura das cartas de Shewhart que me habilite a concluir ter havida mudanças estatísticas no último ano. Se não fosse o valor de Maio de 2007 estar acima da média, teríamos uma série de 7 valores consecutivos abaixo da média, o que seria suficientemente improvável, para continuar a defender a hipótese de que nada mudou, mas não foi essa a realidade.

Os comentadores podem aventar as mais diversas explicações, algumas intelectualmente atraentes, outras esteticamente interessantes, mas quantas vezes são irrelevantes, porque não distinguem sinal de mudança, de ruído estatístico de fundo.

Pormenores sobre a metodologia aqui, aqui e aqui.

I love this game, parte 2 ou "O rei vai nú"

Consideremos um saco de cor opaca.
Nesse saco vamos colocar: 4400 esferas cor-de-rosa às quais vamos chamar “PS”
Nesse saco vamos, ainda, colocar: 2900 esferas cor-de-laranja às quais vamos chamar “PSD”.
Vamos também acrescentar ao saco 900 esferas vermelhas e pretas às quais vamos chamar “BE”, 800 esferas vermelhas e amarelas às quais vamos chamar “PVP/Verdes” e por fim 600 esferas de cor azul e amarela às quais vamos chamar “CDS/PP).

Agora imaginem que alguém fecha o saco, agita-o fortemente e, ao fim de alguns minutos, retira uma amostra de 100 esferas. Resultados dessa amostragem:

PS: 44%;
PSD: 29%;
BE: 9%;
PCP/Verdes: 8%;
CDS/PP: 6%

As esferas são recolhidas para o saco original novamente, o saco volta a ser fechado e agitado fortemente durante 30 dias. Ao fim dos 30 dias é retirada uma nova amostragem de 100 esferas. Desta vez os resultados são:

PS: 40%;
PSD: 31%;
BE: 11%;
PCP/Verdes: 10%;
CDS/PP: 8%

Perante estes resultados, e comparando com os resultados obtidos no mês anterior pede-se a um “expert” que discorra sobre as razões que levaram a um abaixamento acentuado do número de esferas PS na última amostragem.

O “expert” discorre e discorre, justifica e volta a justificar a evolução, apresenta inúmeras razões para a ocorrência da mesma. A plateia fica impressionada com a argumentação e aplaude.

Até que alguém se levanta e grita “Treta!!!. De um mês para o outro não aconteceu nada, nada que não possa ser explicado pela flutuação estatística, pela aleatoriedade… mais nada. Afinal, veio tudo do mesmo saco com 10000 esferas!!!"

Foi deste cenário que me lembrei esta manhã, ao ouvir na TSF as doutas conclusões de António José Teixeira, para justificar a evolução do barómetro TSF.

Aplicando uma carta de controlo estatístico aos resultados do PS neste ano de 2007 obtemos:

É que não se passa nada que não possa ser explicado pela flutuação aleatória... não vale a pena encontrar justificações para a mudança. Não há mudança!!!
Há, quando muito, que encontrar justificações para a ausência de mudança!

Quando eu era criança...

Uma organização calcula mensalmente um indicador. Mês após mês, vai preenchendo uma tabela com os valores mensais.Essa tabela é usada para comparar os resultados e tomar decisões.
Que conclusões tirar da leitura desta tabela?
Que uns meses são melhores e outros são piores!

E se usarmos um gráfico que nos mostre a evolução ao longo do tempo?O gráfico mostra a evolução ao longo dos últimos 29 meses.

Que conclusões tirar da leitura deste gráfico?
Que uns meses são melhores que outros!

Já houve um tempo em que eu, criança, (como dizia S. Paulo):Ao passar do mês com o resultado A, para o mês com o resultado B, saudaria os meus colegas de reunião mensal como bestiais;
Ao passar do mês com o resultado C, para o mês com o resultado D, saudaria os meus colegas de reunião mensal como bestas.

E não satisfeito com isso, azucrinaria as suas cabeças, para que investigassem tudo e mais alguma coisa para explicar tão grave deterioração de desempenho.

Como referi neste postal…Agora, um pouco mais adulto, já analiso os dados com muito mais método… com uma carta de controlo da amplitude móvel…… concluímos que temos, ao longo dos últimos 29 meses um sistema com uma variabilidade estável, em torno da amplitude móvel média.

Com uma carta de valores individuais…… concluímos que temos, ao longo dos últimos 29 meses um sistema com uma média estável e sob controlo. Ao passar de A para B nada aconteceu que não possa ser explicado pela variabilidade natural, tal como ao lançar um dado, o resultado tanto pode dar 1, como 6. Também ao passar de C para D, nada aconteceu…

Assim, ao usar uma carta de controlo abstraímo-nos do valor pontual do mês e olhamos para a voz do processo subjacente, está em controlo estatístico ou não?
Se não, o que é que anda a actuar sobre o processo? Vale a pena procurar, há algo a agir e a influenciar os resultados.
Se sim, só há uma forma de melhorar… mudar o processo, porque o que existe já está a dar o seu melhor.

Analisar a evolução dos resultados

Depois de uma organização ter seleccionado um conjunto de indicadores e constituído o seu Balanced Scorecard, inicia-se a fase da monitorização.

Procuro sempre convencer as organizações a utilizarem o controlo estatístico do processo (carta de controlo para valores individuais e amplitude móvel) para auxiliar a análise da evolução dos resultados e perceber a existência de mensagens relevante, bem como ignorar o ruído da varição subjacente.

Este artigo dá uma rápida ideia do que está em causa, comparar a Figura 1 com a figura 3... para lá dos eventos e da sua sucessão, descobrir os padrões de variação que se escondem.