O que medir

"Here are a few steps to dig into your measurements and identify if they can be trusted:
.
1. Clarify what you want to know. Too many managers give this step short shrift.
...
2. Understand how actual measurements line up with what you want to know. The next step is to see how closely the measurements you’re getting line up with what you really want.
...
3. Account for weaknesses in the measurement process. All measurement devices have failure/error modes, and it is important that managers get to know them. People lie in surveys, countries manipulate numbers to look good, weather vanes fill up with sand, and so on. More complicated measurements involve a detailed definition of terms, sampling, remote data collection, and extensive analyses. And things can go wrong at any step along the way.
...
4. Subject results to the “smell test.”
...
This month’s results come in far better (or worse) than expected, and they scurry around to explain why, rarely considering the possibility of a bad measurement. I advise managers to develop a keen sense of smell. When results just don’t smell right, dig deeper!"

Um desafio recente numa PME:

• suspeitávamos que a empresa entregava sistematicamente fora do prazo encomendas que tinha em armazém;
• suspeitávamos que a empresa tinha custos de entrega superiores ao orçamentado porque fazia entregas com o camião longe de estar cheio.

Como medir a taxa de utilização do camião e os custos extra incorridos por causa da deficiente preparação das entregas?

.

Tivemos de abandonar esses desejos. O ponto 3 mostrou o seu poder.

Trechos retirados de "4 Steps for Thinking Critically About Data Measurements"

Os riscos de medir

Recordo um tempo em que as PME trabalhavam praticamente sem indicadores de desempenho, mesmo o desempenho financeiro era tratado de forma muito superficial dado que chegava com meses de atraso.
.
Hoje, fruto dos ERP, fruto da ISO 9001, a situação já é bem diferente.
.
Agora, surgem outro tipo de problemas... há muitos indicadores.
.
Serão todos iguais? Valerão todos o mesmo?
.
O problema de Bruce Jenner.

Lá porque duas empresas pertencem ao mesmo sector de actividade não quer dizer que tenham de ter o mesmo tipo de processos, logo o mesmo tipo de indicadores operacionais. Lá porque duas empresas pertencem ao mesmo sector de actividade não quer dizer que tenham de ter a mesma estratégia, logo o mesmo tipo de indicadores estratégicos.
.
Diferentes estratégias requerem diferentes especializações operacionais e requerem diferentes tipos de indicadores alinhados para monitorizar a sua evolução.
.
Recordo o paradoxo dos processos (ver também este postal "O paradoxo da abordagem por processos"):

"A optimização dos RESULTADOS globais é conseguida, não à custa da optimização de todos os processos mas através da optimização selectiva de alguns processos e, do desempenho deliberadamente menos positivo de outros.
.
Os RESULTADOS globais são o mais importante, tudo deve convergir para eles."

 Depois de uma boa escolha dos indicadores, indicadores alinhados com a estratégia, é preciso fazer bem aquilo a que Roger Martin chama em "Playing to Win":

"What management systems are required? The systems and measures that enable the capabilities and support the choices.
...
The final strategic choice in the cascade focuses on management systems. These are the systems that foster, support, and measure the strategy. To be truly effective, they must be purposefully designed to support the choices and capabilities. The types of systems and measures will vary from choice to choice, capability to capability, and company to company. In general, though, the systems need to ensure that choices are communicated to the whole company, employees are trained to deliver on choices and leverage capabilities, plans are made to invest in and sustain capabilities over time, and the efficacy of the choices and progress toward aspirations are measured."

Quando medir? Com que frequência? Quem analisa e toma decisões? Que critérios de apoio à decisão?
.
Este saboroso artigo "The Power (and Risks) of Measurement in a Fitbit World", partindo de um caso pessoal, convida-nos a uma reflexão sobre o que medimos, sobre o que é realmente importante medir, sobre com que frequência medir e quando decidir (sem esquecer o poder da espiral de motivação que resulta de confrontar resultados com expectativas e o esforço investido):

"Scoreboards work. They are used extensively — and never more effectively than in today’s wired world, where one can pull up information on a smartphone for real-time feedback.
...
 I’ve implemented compensation systems that reward employees for scoring points against standards. I’ve developed team awards for collaborating on achieving goals. And I’ve long observed that the power of scorecards rests on the maxim “You get what you measure.”
.
The real trick has always been to figure out what to measure. Measure the wrong thing and you get the wrong outcomes. Measure too much and you get nothing. Measure not enough and you suboptimize. Finding the Goldilocks zone of measurement represents the best of feedback loops.
...
Too often, organizations measure what’s easy to measure. But giving a three-dimensional picture of success from the angles of delight, profits, and growth is key for a complete understanding of business health and to keep people from rigging the scoreboard.
...
In business, poorly conceived and simplistic dashboards that fail to tap into the essential drivers of success will give one-dimensional pictures that risk promoting short-term quarterly results over success derived from engaged teams collaborating to achieve meaningful and sustainable results.
.
Worse, poorly implemented, simplistic, or short-term-only dashboards can build fear, pit one group against another, and fuel internal politics. Employees could end up discouraged at having fallen short of standards or simply ignore the point and the power of measurement."

O que é que a sua empresa mede? Tem alguma relação com a estratégia? Que circuito de monitorização usa? Que critérios de decisão a auxiliam? Será que podemos ajudar? 

Cuidado com os indicadores tornados bezerros de ouro

Este blog chama-se Balanced Scorecard, trabalho com o balanced scorecard, escrevi um livro sobre o uso do balanced scorecard.

.

No entanto, sei que a eficácia é mais importante que a eficiência.

.

No entanto, também aprendi com Deming a regra número 11: eliminar a gestão baseada em números (apenas, acrescento eu).

.

Mas também sei que não há acasos (parte I e parte II)

.

Vejo governos a trabalharem para as estatísticas, e vejo decisões serem tomadas com base em resultados de indicadores tornados obsoletos.

.

Daí que entenda estas mensagens:

.

"Metrics: Overmeasuring Our Way to Management"

.
"Is Measurement the Enemy of Management?"

.

Qualquer coisa levada ao exagero é prejudicial.

Sugestões para elaborar painéis de indicadores por processo (parte II)

Continuado daqui.

.

Consideremos um outro processo, para reforçar esta ideia dos gráficos de apoio à leitura dos indicadores, por exemplo, para um processo “Tratar avaria”:

Para o qual podemos equacionar os indicadores:

Se o tempo de paragem por avaria for muito elevado, para quem toma decisões era importante ter à mão gráficos como, por exemplo:

• Tempo de paragem por avaria por máquina;
• Tempo de paragem por avaria por motivo;
• Distribuição dos tempos de paragem por motivo;
• Tempo de paragem por avaria por turno.

Ou se o custo acumulado com as avarias for muito elevado, para quem toma decisões era importante ter à mão gráficos como, por exemplo:

• Custo das avarias por máquina;
• Custo das avarias por motivo;
• Distribuição dos custos de avaria por motivo

Sugestões para elaborar painéis de indicadores por processo (parte I)

Uma organização é um sistema, um ser vivo único.

.
Esse sistema pode ser representado, sempre de forma imperfeita, como um conjunto de processos inter-relacionados e inter-actuantes.
.

Um processo tem de ser objecto de monitorização (sempre) e de medição (sempre que possível) basta ler a primeira cláusula da ISO 9001:2008:

Ao reflectir sobre como medir o desempenho de um processo devemos sempre começar pelo objectivo, pela finalidade do processo. Para que é que existe o processo?
.

Consideremos o exemplo de um processo que trata as reclamações que chegam a uma empresa e da finalidade escolhida pela gestão dessa empresa. Sublinho escolhida pois é uma decisão de gestão, não há nenhuma regra uniformizadora que obrigue a um dado conjunto de indicadores.

Se esta é a finalidade do processo, então, a empresa tem de arranjar uma forma de medir até que ponto está a evoluir no cumprimento dessa finalidade. Nenhuma afirmação, ou proposta da finalidade deve ficar em branco sem uma forma de ser medida ou acompanhada, sob pena do processo entrar em roda livre e não haver informação, não haver qualquer sinal de aviso em tempo útil.

.
Assim, podemos propor:
Uma vez definidos os indicadores o passo seguinte passa por planear o seu cálculo, por isso, proponho o preenchimento de uma tabela como a que se segue:

A tabela a que chamo PLANO DE MONITORIZAÇÃO E MEDIÇÃO DO PROCESSO responde às questões:

.
Quando medir? Qual a frequência de cálculo para cada um dos indicadores.
.

Quem mede? Qual a função responsável pelo cálculo de cada um dos indicadores, no limite cada indicador de um processo pode ser calculado por uma função diferente.
.

O passo seguinte está relacionado com a apresentação dos resultados para quem quiser analisar e tomar decisões sobre o desempenho do processo, para implementar as acções necessárias para atingir os resultados planeados e a melhoria contínua.
.
Os três erros mais comuns na apresentação de resultados (segundo Mark G. Brown no livro “Keeping Score - using the right metrics to drive world-class performance”) são:
• Usar tabelas em vez de gráficos;
• Apresentar apenas o último resultado; e
• Não ter um referencial, uma meta, para a tomada de decisões.
.

Outro erro que se comete muitas vezes (segundo Stephen Few no livro “Information Dashboard Design”) é:

• Usar um gráfico por página, ou não colocar todos os gráficos equivalentes na mesma página.

.

Assim, uma primeira página reúne todos os indicadores com as respectivas metas:

Estes indicadores permitem-nos medir o desempenho do tratamento das reclamações.
Ao olhar para esta página percebemos que:
• as reclamações estão a ser respondidas mais rapidamente;
• que a frequência das reclamações se mantêm;
• que o custo das reclamações está a baixar;
• que em 2009 se conseguiu suster a hemorragia de clientes perdidos por causa das reclamações.

.
Algumas questões que podem surgir a quem olhar para estes gráficos podem ser:
• Quais os principais motivos de reclamação?
• As reclamações recaem sobre o quê? Produtos? Quais? Serviços? Quais?
• Qual a distribuição dos tempos de resposta?
• Há alguma relação entre os tempos de resposta e os motivos de reclamação?
• Há alguma relação entre os tempos de resposta e os bens ou serviços especificamente reclamados?
• Quais os clientes que reclamam mais? Há algum padrão entre quem reclama e quem não reclama?
Estas questões podem ser respondidas por gráficos que podem ser facultados com os anteriores, numa segunda página. No entanto, há uma particularidade nestes gráficos, neles não faz sentido haver metas, são gráficos que retratam a realidade e ajudam a fazer o “drill-down”, o “fine tuning” para a tomada de decisões equacionadas a partir do conjunto inicial de gráficos.
Por exemplo:

Continua.

Benchmarking (parte II)

Ontem, numa pesquisa no PC encontrei estes esquemas feitos em 2003 sobre a arquitectura de um sistema de gestão dedicado a obter resultados em sintonia com uma estratégia.

.

Prioridades estratégicas traduzidas num mapa da estratégia, num conjunto de indicadores e em iniciativas estratégicas:Prioridades estratégicas incluídas num manual do sistema:
Sistema modelado num conjunto de processos com cada processo descrito em fichas de processo:
Juntando tudo:
Medir e monitorizar os indicadores estratégicos e os indicadores processuais:

Mais um monumento à treta

Era um peixão deste tamanho!

Em vez de conversa, factos!

Antes versus depois!

Por esta altura já toda a gente viu no YouTube as imagens, já toda a gente tem opinião sobre o que se passou no Carolina Michaellis.

Quem me conhece ou acompanha este blogue, sabe a que é que chamo de treta: falta de medição, falta de indicadores mensuráveis, horror a estabelecer metas, critérios quantificados de desempenho.

.

Imaginem a minha cara de tótó quando cheguei a este relatório: "Relatório de Avaliação Externa do Ministério da Educação sobre a "Escola Secundária com 3.º Ciclo do Ensino Básico de Carolina Michaëlis", após visita de 13 e 14 de Novembro de 2007"

.

Onde pude ler a seguinte preciosidade, um paradigma da medição:

.
"1.3 Comportamento e disciplina

Em regra, os alunos têm um comportamento disciplinado, conhecem e cumprem as regras de funcionamento da Escola. Reconhecem e aceitam a autoridade. Convivem e estabelecem um bom relacionamento entre si, com o pessoal docente e não docente e com a direcção. Há uma preocupação generalizada dos diferentes orgãos, bem como do pessoal docente e não docente, em garantir um ambiente de tranquilidade e de disciplina propiciador da aprendizagem e da convivência. O corpo docente está fortemente empenhado em incutir mais regras de trabalho na sala de aula e em prevenir e combater pequenos focos de indisciplina, nas turmas que tenham alunos mais problemáticos, nomeadamente nos CEF. As situações mais problemáticas são tratadas de imediato pelo Conselho Executivo e pelo gabinete do aluno procurando-se respostas rápidas e eficazes"
.
Só retórica, só oratória,... o reino dos advogados e dos sofistas (sem querer ferir nenhum advogado em particular)
.
Por mim prefiro esta linguagem: evolução mensal, evolução anual, evolução homóloga, comparação com a média do distrito, comparação com a média dos melhores, ...

• número de processos disciplinares;
• número de faltas disciplinares;
• grau de satisfação de pessoal docente;
• grau de satisfação de pessoal não-docente;
• grau de satisfação de alunos;
• assiduidade de alunos;
• assiduidade de funcionários (docentes e não-docentes);
• número de casos médicos (quantos alunos foram para o hospital);
• e muitos outros exemplos fáceis de estabelecer, para quem esteja e conheça o sector da educação.