Indicadores, propaganda e realidade.

O trecho que se segue foi retirado de "Organizational Control Systems and Pay-for-Performance in the Public Service":

"If output based control and reward systems are applied although the task does not display the prerequisites for output control, dysfunctional effects may arise. Individuals who are not intrinsically motivated will have a strong incentive to respond to those indicators that are easy to measure, that is, the quantifiable performance-related aspects of a task. Data that is not easy to measure is disregarded, although it might be crucial to fulfilling the task. The reliance on quantitative criteria to govern work behaviour neglects the more important qualitative aspects of public services. LeGrand (2010, p. 63), for example, mentions ambulances that concentrated on dealing with emergencies a short distance away so as to meet the goal to respond within eight minutes. They ‘hit the target and miss the point’.

...

For example, Fehr and Schmidt (2004) show that output-dependent financial incentives lead to the neglect of non-contractible tasks. An example in public service is teachers responding with ‘teaching to the test’ when they are assessed according to quotas of students who pass a certain exam. Dalrymple (2001) presents an illustrative example. French police officers decided not to investigate a robbery. The robbery would have increased their district’s crime rate that in turn would have cancelled the officers’ end-of-year bonuses. Other examples are chronically ill patients excluded from healthcare, teachers responding to evaluations by excluding bad pupils from tests (for empirical evidence in the US see Figlio & Getzler, 2002) or putting lower quality students in special classes that are not included in the measurement sample. In the academic field, an example is the ‘slicing strategy’ whereby scholars divide their research results into as many papers as possible to enlarge their publication list. These effects contribute to what is called the ‘performance paradox’, namely the fact that performance measures have the tendency to ultimately lose their ability to discriminate between good, average, and bad performance. This explains evidence suggesting that in spite of more sophisticated tools for output measurement performance has not improved."

O trecho que se segue foi retirado de "Numbers Speak for Themselves, or Do They? On Performance Measurement and Its Implications":

"The second decade of the 21st century was an extraordinary successful one for crime fighters in the Netherlands. Various high-impact crimes went down spectacularly, home burglaries dropped, for instance, from 91,930 in 2012 to 42,798 six years later. "I look back with pride at the achieved results," the responsible Dutch minister stated, celebrating the police's efforts.- His pride was supported by convincing numbers. And the numbers speak for themselves. Or do they?

A collective of investigative journalists scrutinized the "making" of these crime figures and found that there was more going on.? The number of high-impact crimes was used as a key indicator to measure the "performance" of police units. To appear better, some eager superiors pressured subordinates to suppress this number. For instance, when burglars broke a window and searched a home for valuable items but eventually did not steal anything, this could be classified as a case of destruction (a low-impact crime) instead of home burglary (a high-impact crime), improving the indicator for high-impact crimes."

Assim como este outro:

"treat indicators of performance never as the “end” of a conversation, but always as the beginning of one. When a performance measurement system is used as a platform to start dialogue about what matters, this can produce various positive outcomes." 

Obrigá-los a falar

Mais um artigo interessante, "3 Questions Sales Teams Should Ask After Losing (or Winning) a Deal":

"When salespeople lose a deal, most prefer to move on rather than linger over the specifics of the loss. Similarly, when they win a deal, most are quick to celebrate. But very few take the time to assess why they won the business.

In our experience leading and coaching sales teams, we see evidence that a brief, well-pointed sales retrospective, where you unpack the reasons behind a win or a loss, can significantly improve a team's future win rate. Beyond the obvious benefits for the sales team - for whom the process can help identify the best messaging and behaviors to use going forward - unpacking wins and losses also provides valuable insights for product, marketing, and finance teams."

Algo que algumas empresas não fazem.

As empresas deviam "torturar os dados" e obrigá-los a falar.

Recordo um caso, recolher os dados de uma tabela e trabalhá-los com os dados de outra tabela, para reparar em 3 pistas:

• por que é que um cliente tem um preço muito mais alto do que a média?
• por que é que um cliente nacional tem um preço inferior ao período homólogo em mais de 10%?
• por que é que a Espanha saltou do limbo para o top 5 de vendas?

Como é que estas análises não se fazem com mais frequência? Recordo de um postal recente:

"too many small company leaders work "in" their businesses, rather than "on" their business"

Sinal ou ruído?

Ontem escrevi sobre os modelos mentais, sobre as caixas em que estamos metidos em "Ask how many boxes you can think inside".
.
Depois, encontrei "Innovation Is The Art Of Understanding Noise And Signal":

"as the availability of data has increased exponentially, there is a growing desire to more clearly separate signal from noise, in order to more closely attend to what is relevant, rather than what is incidental.
...
The stronger your desire to predict and control, the more likely you are to misinterpret data, the more likely you are to make bad choices about what is noise and what is signal.
...
Information then becomes the place you go to hunt for things to support what you have very likely already decided is true or important, rather than what you might discover to be true or important. This being the case, your organization, even when  it seems secure and successful and productive, is likely to be on a quick path to irrelevance, because almost certainly you will miss critical, differentiating opportunities to be innovative. Your focus on the signal, in service to prediction,  means that you will lose sight of the the rich value inherent in the noise.
...
How is it that you distinguish noise from signal in organizations? And, perhaps  more important with regard to innovation, how do you decide what is noise and  what is signal? Signal is not an externally verifiable fact; it’s a bias in how we think, usually unconscious and unintentional. Both signal and noise are rich, robust inputs, and there is great risk in excluding one in favor of the other. So, the difference between an innovative way of thinking and a non-innovative way of thinking might be simply the ability to attend to information in an open, curious and creative way, and to avoid seeing information as either this or that, noise or signal."

"Achismos"

Ele há cada coisa...
.
Estar numa reunião numa empresa, falarem-me da concorrência, falarem-me de como a concorrência é manhosa, matreira e traiçoeira, para justificar o uso dos mesmos métodos que supostamente ela usa.
.
Pede-se para ver os números e não existem. Insiste-se e lá se fazem uns filtros na base de dados. Como dão uma imagem fora da caixa, argumenta-se que há alguma coisa mal, ou nos filtros usados ou na introdução dos dados.
.
O meu ponto é a importância de tomar decisões com base em dados. Sem dados somos vítimas de tantos "achismos".
.
Por exemplo, quem conhece estes dados "O potencial impacto do aumento do salário mínimo no desemprego em gráficos"?
.

Várias perplexidades

Imaginem uma empresa com um sistema de gestão da qualidade certificado.
.
Essa empresa, durante o ano de 2013, foi sujeita a 50 auditorias de clientes que identificaram 70 não-conformidades em obras de restauro e renovação. Cada uma dessas não-conformidades foi tratada e, considerada encerrada pelo cliente.
.
O que essa empresa ainda não fez foi subir na escala de abstracção e deixar de pensar em coisas concretas, para analisar as tendências. Por exemplo, a não-conformidade 1 representa cerca de 20% de todas as não-conformidades emitidas e a não-conformidade 2 representa cerca de 16% de todas as não-conformidades... apenas 2 tipos de não-conformidades representam mais de 36% de todas as não-conformidades.
.
Ao olhar para as tendências, ao olhar para o agregado de 2013, é possível perceber que uma não-conformidade em obra não acontece por acaso, ou por causa de falha humana de terroristas voluntários ou não. Quando a mesma falha acontece, na mesma empresa, a várias equipas de trabalho, em diferentes obras, ao longo de todo o ano, é difícil não concluir que estamos perante falhas sistémicas que requerem acções sistémicas, para lá das simples correcções.
.
Várias perplexidades:

• Por que é que cada auditoria é vista como um caso único?
• Por que não se analisam as tendências?
• Por que é que a entidade certificadora nunca levantou esta possibilidade?

Baseada em histórias contadas pelo mestre de obras que está à frente da equipa que renovou casa, aqui na urbanização onde vivo.

Exemplo de acção preventiva (parte VI)

Continuado da parte V.
.
Será que o que descrevemos nos episódios anteriores é mesmo uma acção preventiva?
.
Comecemos pela alínea c) da cláusula 8.4 da ISO 9001:2008:
.
"características e tendências dos processos e produtos, incluindo oportunidades para acções preventivas (veja-se 8.2.3 e 8.2.4)"
.
Quando audito empresas quase nunca encontro acções preventivas a sério. Encontro acções preventivas, ou chamadas preventivas, que são mais para auditor ver. As empresas ainda não perceberam o potencial das acções preventivas, das verdadeiras acções preventivas.
.
Analisamos o desempenho dos processos, através da análise dos indicadores. Analisamos as tendências, o comportamento dos processos (para muitas organizações isto é impossível, ou muito difícil de fazer, porque só usam tabelas de números para relatar o desempenho. Um gráfico, um simples gráfico tipo sparkline permite perceber o que se passa ao longo do tempo.)
.
Quando olhamos para um gráfico e não gostamos do comportamento do processo que ele ilustra e decidimos que queremos outro desempenho... estamos a falar da necessidade de desenvolver uma acção preventiva.
.
Uma não-conformidade isolada que gera a necessidade de melhorar o desempenho desencadeia uma acção correctiva.
.
Sempre que a necessidade de melhorar o desempenho é desencadeada na sequência da análise de dados temos uma acção preventiva.
.
Quando temos um desempenho actual positivo e perspectivamos um desempenho futuro desejado melhor ainda, também desencadeamos acções preventivas. Por que se não fizermos nada, o desempenho futuro real será igual ao desempenho actual. E nesse futuro real, o desempenho que agora é positivo será negativo, ou seja uma não-conformidade.
.
Continua com: Será mesmo uma acção de melhoria? O que é que a TALQUE fez? Podemos sistematizar? E o que diz o senhor Shoji Shiba acerca disto?