Listas de comprovação

Realizo auditorias internas a sistemas da qualidade talvez desde 1989.

.

Acredito que um auditor não deve realizar uma auditoria sem ter previamente preparado uma lista de comprovação.

.

Assim, ao longo destes cerca de 20 anos já elaborei muitas listas de comprovação. Umas escritas à mão, outras preparadas num teclado de computador.

.

Na semana passada fiz uma inovação. Eu que sou um visual, que gosto de um esquema, de um mapa, de um desenho, de uma foto, de um modelo... demorei vinte anos a descobrir que podia fazer uma lista de comprovação visual...

.

Agora que a fiz, agora que a testei... pergunto-me, como é que nunca pensei nisto antes?

Formação em auditorias internas

Introdução

Acetatos aqui.

Programar

Acetatos aqui

Planear

Acetatos aqui

Exemplo de agenda aqui

Conduzir
Acetatos aqui

Reportar

Acetatos aqui

Exemplo de relatório, pedido de correcção e pedido de acção correctiva.

Seguir auditoria e Reflectir

Acetatos aqui

Auditorias que acrescentam valor (parte IV de IV)

(continuado)

Na última Pós-Graduação em que tive o gosto de participar, quando abordamos a temática das auditorias, a certa altura, apresentei o seguinte exemplo:

Cada uma destas evidências é um sintoma de que algo está mal, de que algo tem de ser mudado!

Mas se estas evidências isoladas, forem as não-conformidades, qual será a actuação da empresa ao receber o relatório?

“- 8 não-conformidades! Vamos responder a cada uma delas!”

E depois, compus a imagem acrescentando:

Ia caindo o Carmo e a Trindade!!!

“Não pode fazer isso. É um julgamento. Os auditores não podem fazer isso!!!”

Aqui, Arter escreveu: “You need to explore patterns and the reasons things happen.”

Aqui, Beeler escreveu:

“Big Lie No 2. Audits should focus on facts” - “Focusing on individual facts also makes it difficult to raise their sights above the level of individual observations to the level of systems. Until auditors learn to analyze and arrange the facts they have gathered into a persuasive set of conclusions that shed light on the functioning of the organization’s systems, and stop treating individual “nits” as if they have intrinsic meaning, they will never escape the dead end they have created for themselves.” e,

“Big Lie No 3. Auditor cannot make judgments”

O que é certo, é que quando chamamos não-conformidade ao “Problema de Fundo”, continuamos a dizer às organizações que precisam de eliminar as evidências negativas; mas também dizemos que isso não basta!
Também dizemos que precisam de reflectir a fundo no que têm e que têm de mudar o sistema, não basta pôr um penso rápido.

As evidências não passam de sintomas, emanações, manifestações, "febres"...

Qual será a abordagem mais útil, para as organizações?

Recordações

A entrevista de Francisco Barroca, director geral da Certif e ex-presidente do IPQ, ao semanário "Vida Económica", trouxe-me à memória certas recordações.
Primeiro, os despoletadores:
"VE - A Certif, com esta novidade, traz algum tipo de mais-valia a este mercado?
FB - O mercado da certificação de sistemas é um mercado muito complicado. E não tenho problemas nenhuns em assumi-lo, porque há muitos anos que ando nisto e penso que os organismos que trabalham a sério devem colocar estas questões em cima da mesa e não devem andar a falar às escondidas. Hoje, há situações..." (só hoje?!)

"VE - De facto, a certificação começa a estar um pouco descredibilizada?
FB - Há, hoje, organismos de certificação que vendem meios-dias, fazem uma certificação de uma empresa com uma auditoria de meio-dia. É óbvio, acaba por existir uma descredibilização, são os próprios organismos de certificação que matam a «galinha»." (a galinha!? interessante terminologia)

"VE - Considera que o facto de uma organização ser certificada pelo organismo A, B ou C vai fazer a diferença?
FB - Isso já acontece hoje. Hoje, o mercado sabe muito bem isso. Um consultor aconselha uma empresa a dirigir-se ao organismo de certificação A ou B consoante o tipo de implementação que foi feita: mal ou bem." (só hoje?!)

Depois, as recordações:
Em 2001, apoiei uma empresa de obras públicas na implementação de um sistema de gestão da qualidade. Quando chegou o momento de escolher uma entidade certificadora, indiquei à empresa, uma lista de 6/7 entidades certificadoras que estavam, à altura, acreditadas no âmbito do Sistema Português da Qualidade.
...
Perante a lista, o dono da empresa perguntou-me:
"- Qual devemos escolher?"
"- É indiferente, para o seu cliente (estado) são todas iguais, estão todas acreditadas."
"- Nesse caso vamos escolher a que fizer o preço mais baixo!"
...
Foram enviados os pedidos de cotação, e foram recebidas as respostas, que foram analisadas numa reunião.
A proposta com o preço mais baixo era de 1435 contos, depois, os restantes preços eram, mais ou menos: 1500 contos, 1750 contos, 1800 contos e 1850 contos.

Nessa reunião decidiu-se: "- Vamos optar pela proposta com o preço mais baixo, já que o engenheiro diz que elas são todas iguais. Ricardo (o gestor da qualidade), antes de comunicar a decisão, mande-lhes um fax a pedir uma revisão de preço... diga-lhes que temos uma proposta melhor, mas que gostaríamos de optar por eles, se fizerem uma atenção!" (palavras do dono da empresa).

Como fui educado no tempo em que a única entidade certificadora era o próprio IPQ, seguido de vários anos em que a única entidade certificadora era a APCER, sorri interiormente e pensei "Hão-de ter uma sorte, isto de certificar, não é a mesma coisa que comprar britas e areias".

Na sexta-feira da semana em que ocorreu o 11 de Setembro, voltei à empresa para rever o andamento do projecto. Para meu espanto, o Ricardo mostrou-me o mapa comparativo dos preços após o pedido de redução das cotações... fiquei!!!
Oh! Santa ingenuidade a minha. Houve entidades que chegaram a baixar o preço 25 a 30% (já não recordo o valor em concreto)!

A opção ia ser por uma entidade que tinha apresentado uma cotação de 1380 contos (a propósito, a entidade que tinha apresentado a primeira das cotações mais baixas, a de 1435 contos, optou por não mexer no preço proposto, e assim, passou de primeiro para quarto, ou mesmo quinto lugar).
Estava eu no gabinete do Ricardo, quando o telefone toca... era a entidade certificadora dos 1380 contos, a perguntar se já tinham decidido. O Ricardo disse que ainda não, que até preferiam optar pela entidade que estava a fazer o telefonema, mas que havia uma pequena diferença...
Do outro lado do telefone ofereceram-se para fazer uma atençãozinha final.
Passados cerca de 30 minutos chegou um fax com uma proposta no valor de 1330 contos.

Esse mês de Setembro de 2001 mudou a minha percepção sobre as entidades certificadoras para sempre!

Auditorias que acrescentam valor (parte III de IV)

(continuado)

A segunda referência era: “Internal Auditing: The Big Lies” (Quality Progress, Maio de 1999) assinada por DeWitt Beeler, a quem já desde já tiro o meu chapéu virtual, pelas ideias defendidas. Nota-se que é mais um daqueles casos em que alguém fala de desafios mentais (na primeira pessoa) que lhe surgiram, e das respostas heterodoxas a que chegou:

“At present, auditors seem to be on a trajectory toward what could be called “auditing for maintenance of registration.” This seems to be focused primarily on checking compliance with a particular ISO standard (or, more accurately, with a particular registrar’s interpretation of the requirements of a particular standard) with the tacit assumption that this will, through some mysterious process, ultimately contribute to organizational success. This could be charitably viewed as believing in miracles. It could be more realistically viewed as relying on them.” Como uma entrada destas, a minha mãe, se lesse este postal, até acreditaria que quem o escreveu tinha sido o “je”.

“The majority of auditors approach the task of auditing based on a set of axioms that they have not so much learned as absorbed. They don’t question them. They don’t critically examine them. If asked to recite them, they probably couldn’t do so. And yet, on every audit, they follow them faithfully.
The big lies
These unconsciously held axioms are what are referred to here as the big lies of auditing.”
…
“Big Lie No 1. Audits are about compliance”
…
“If auditors are going to conduct internal audits, they should do so in a way that provides the maximum possible value to the line managers. This means that they must break away from the self-imposed restrictions of compliance auditing and learn to gather useful information on the full spectrum of issues with which managers are concerned.”

Isto está relacionado com os postais anteriores sobre o objectivo das auditorias.

“Big Lie No 2. Audits should focus on facts”

Espero que a editora não se aborreça comigo, este ponto é tão importante, mas tão importante que não resisto a transcreve-lo quase na integra:

“… Certainly, audits should be concerned with facts. Auditors should seek facts, record their observations accurately and objectively, and restrict their findings to those that can be reasonably supported by the facts uncovered during the audit. Facts are critical to effective auditing. But to say that audits should focus on facts is a misleading and ultimately damaging perspective. Audits should focus not on facts but on systems. The purpose of the audit is to provide valid feedback to management on the adequacy, implementation, and effectiveness of the systems. This is the goal, and it is this that must be the focus of the audit.
Auditors tend to forget that facts are not useful or meaningful in and of themselves. They have meaning only insofar as they shed light on something that matters, like the functioning of the organization’s systems.
Auditors often imbue individual problems with more merit than they deserve. They label them “nonconformances.” They find other nonconformances to go with them, link them with a set of obscure requirements that they violate, type them up, slap on a cover letter, and call it an audit report.”
…
“As the old saying goes, one can’t argue with facts. This is indicative of what auditors do far too often in audits: They focus more on protecting themselves from objections than on collecting and providing useful and meaningful information.

...
Este ponto do autor é fundamental. “Focusing on individual facts also makes it difficult to raise their sights above the level of individual observations to the level of systems. Until auditors learn to analyze and arrange the facts they have gathered into a persuasive set of conclusions that shed light on the functioning of the organization’s systems, and stop treating individual “nits” as if they have intrinsic meaning, they will never escape the dead end they have created for themselves.” Que melhor legenda poderíamos associar às figuras 6 e 7 deste postal?


“Big Lie No 3. Auditor cannot make judgments”
Outra deixa para abordar na quarta parte desta série.

“The problem is not that auditors make judgments, but that they refuse to make the right kinds of judgments. Auditors spend so much time talking about facts, compliance, objectivity, and similar myths that they forget the central truth about auditing—that it is a process of inferential reasoning. Auditors work from limited and incomplete bits of discrete information (facts) gathered from reviewing documents, interviewing people, or observing work activities. They must use inferential reasoning to draw conclusions about the adequacy, implementation, and effectiveness of the organization’s systems from these facts, and link these conclusions to the facts from which they were derived.
…
The traditional reaction to this has been simply to retreat and fall back on the comfortable and easily defended (but generally meaningless) level of individual facts and findings that are really nothing more than a rote recitation of the individual things they have found wrong. This eventually leads to meaningless audit reports and wasted organizational resources. This can only be combated by developing a willingness to focus on systems and make judgments about them based on the evidence gathered in the audit.

“Big Lie No 4. Audits are a verification activity”

“Audits should not be a verification activity but an information-gathering activity. Their purpose should be to gather and analyze the information needed to make informed judgments about the organization’s systems and feed those judgments to the managers responsible for those systems. Although they should be rooted in specific facts and observations, they should not (in fact, must not) be limited to them. Auditors tend to focus on the transient, the incidental, and the mundane. Their audit reports, not surprisingly, tend to become recitations of the little things they have found wrong.”

“Big Lie No 5. Audits drive continuous improvement”

“This is an old claim that has often been used to justify the existence and growth of audit programs.
Unfortunately, it has more to do with advertising than good judgment. “
…
“Audits cannot drive continuous improvement. If conducted properly, they can contribute to it. They can be a part of it. In some cases, they can actually be an important part. But audits are too limited in scope, frequency, timing, and expertise to become the driving force behind an effective continuous-improvement effort. At best, they can be the driver behind a useful corrective-action process. “


“Big Lie No 6. Internal auditors should emulate their registrar’s auditors.”

“This is a new lie and one that must be stopped before it grows enough to do the same long-term damage as those mentioned earlier. People who had hardly heard of an audit before they embarked down the ISO 9000 path have suddenly found themselves responsible for planning and conducting entire audit programs.”
…
“This is precisely the wrong approach for internal audits (whether or not it’s the right one for registration audits is a different debate). Internal audits should not be clones of registration audits. And yet, that is precisely what too many auditors are beginning to do: They are following their registrar ’s auditors into the same trap from which those who have lived with audits for the past four decades have been trying to escape. (Era capaz de jurar que já escrevi algo muito parecido com isto)
Auditors are spending too little time trying to cover too many systems, so they end up with audits that are a mile wide and an inch deep. They are focusing on trivia, on individual nonconformances, and providing almost nothing in the way of useful systems-focused information”

Para terminar:
“Auditors have to do them; they might as well make them useful. Following is a brief look at the primary characteristics that companies must ensure are built into the audit programs that so many auditors already have or are in the process of creating.
Focus on systems. Auditors must raise their sights and skills to focus on systems. Their preoccupation with relatively unimportant facts, and the rote reporting and correction of them, perpetuates an answer-factory mentality that adds little or no value to organizations and does little to help managers do their jobs. To succeed, auditors must become relevant to the success of the organization. Success doesn’t mean the absence of failure; it means using fact-based observations as a basis for drawing conclusions about the health of the organization’s systems and reporting these conclusions in a way that can be used by line managers to initiate long-term improvement.”

Mas será que a maioria dos auditores não questiona aquilo que faz? Não se interroga sobre que valor é criado, com a realização de auditorias de conformidade?

O truque de seguir as referências, para aprofundar um tema, não deixa de me surpreender com o seu poder.

(continua)

Auditorias que acrescentam valor (parte II de IV)

(continuado)

O primeiro artigo: “Beyond Compliance: An examination of compliance and management auditing” (Quality Progress, Junho de 2000) da autoria de um velho conhecido dos meus tempos de ASQ, Dennis Arter.

Alguns sublinhados:

Primeiro, as auditorias de conformidade: “the compliance auditor is examining an activity and comparing it to certain rules. As with inspection, the result is binary. Either the rules are followed, or they aren’t. These high evidence and low value judgment audits are an extension of the inspection. Often, the results are presented as a completed checklist of observed conditions.”

Depois, as suas lacunas: “Inspection is never perfect. Neither is a compliance audit. As a snapshot in time, the audit says, “At this time, these conditions are being met. It’s unknown if this will continue.” The compliance audit does not test the ability of the rules to achieve the organization’s objectives. The auditor assumes that the rules are good and leaves such analysis to others—”

Então, Arter começa a abrir o livro e a pôr o dedo na ferida:

”Sometimes the planning part of the plan, do, check, act cycle is not as good as it should be. Requirements are not clearly defined and the “big honkin’ manual” doesn’t really say much.”

“Regardless of the reasons for this lack of definition, the compliance auditor does not have a charter to say, “These are stupid rules. They don’t say anything.”
In an effort to be helpful, the auditor may augment these ill-defined rules through personal interpretation. Of course, that is in violation of a fundamental principle of auditing that says that we audit to standards of performance (requirements) that have been accepted by all parties before the audit started”

Para concluir “We need something more than just compliance audits”, é verdade, não estou sozinho!!! (E não esquecer este postal).

Precisamos de auditorias que avaliam o desempenho, que levam as organizações a reflectir sobre o que têm, e sobre o que precisam:

“People are beginning to understand that good products or services come from good processes, which come from good systems.”

“… performance audit. ”This type of auditing goes beyond compliance.”

“You need to explore patterns and the reasons things happen.” Tenho de voltar a pegar nesta deixa, naquilo que planeio venha a ser a quarta parte desta série.

“Management audits are most appropriate for internal, first party use. You have control over your own corporate destiny and the resources being used. You make market decisions. By analyzing patterns and connections, internal auditors can determine the causes of the observed nonconformities.”

“Management auditors need much more preparation than their compliance counterparts” e “A good rule here is one hour of preparation for two hours of fieldwork”

“The auditor must be able to show business trends. The investigative process only begins with the identification of a nonconformity—it is just a sniff of something deeper. Why is that problem happening? What are the patterns here? Again, those universal process affectors (material, methods, machinery, manpower, measurement and environment) must be explored. Certainly, the seven basic statistical tools are useful. Individual nonconformities are placed into piles (data chunking) to show the bigger picture.

Reporting. Audit reports should answer the “so what?” question, asking how these problems are affecting the health and profitability of the organization.
In other words, a finding should address both cause and effect. This is perhaps the most critical part of successful management auditing. If one can show the effect as pain, in business terms (cost, schedule, scrap, opportunity, risk, and so on), the offending control weakness will be corrected”

Uau, uma sintonia de ideias!
Por que é que mais gente não se revolta contra este tipo de auditorias “farisaicas”, ou ritualistas, que não trazem valor acrescentado?

Just rain-dance and “treta”

A segunda referência… bem a segunda referência, ainda conseguiu ser mais eloquente do que a primeira!

(continua)

Auditorias que acrescentam valor (parte I de IV)

Tudo por causa das referências bibliográficas.

O ano era 1978!
A ditadura de Somoza apodrecia.
O papa Paulo VI tinha falecido.
Dois italianos competiam ao mais alto nível nas provas de atletismo: Pietro Menea e Sara Simeoni.

Era Verão, estava a passar parte das minhas férias escolares na Figueira da Foz, a ajudar os meus avós “retornados” de Angola, que tinham uma pequena mercearia.

Já nessa altura os livros eram uma grande companhia, embora as leituras fossem outras.
Foi nesse ano, e nessas férias, que comprei o último livro que li de Robert Charroux, ainda o tenho algures na biblioteca, mas já perdi a memória do seu título. Desse autor, li três ou quatro livros, desse género, só me lembro do nome do primeiro que li, “Eram o deuses astronautas?” (que segundo a Wikipedia, foi escrito por um suíço chamado Erich von Däniken).

Nunca mais li livros desse tipo, e com eles, aprendi uma lição que ainda hoje sigo. Um livro que não cita referências, não é de confiança!

Por isso, já aqui escrevi (“Um livro, um amigo? Não.") que um livro não é um amigo, é uma rede de amigos.

Passei a tarde de Domingo a arrumar o meu espaço de trabalho.

Ao organizar a pilha de artigos ainda por ler, procurei fazer agrupamentos por temas, essa tarefa obrigou-me a ler os títulos.
Um deles despertou-me uma nova dose de curiosidade “The New ISO 9001 and the Problem of Ceremonial Conformity: How have Audit Methods Evolved?”, escrito por Stefano Biazzo e publicado em “Total Quality Management (Vol. 16, No. 3, 381-399, Maio de 2005).

Segunda-feira tive oportunidade de o ler e de o apreciar. Alguns sublinhados:

“The expression ‘ceremonial conformity' is used here to refer to the adoption of external norms targeted to social legitimation, which can be very likely to a separation between the real functioning of the firm’s processes and the documented procedures of the quality system; the ritualistic implementation of ISO 9000 standards mirrors the phenomenon of the ‘institutionalized organizations’ studied by Meyer & Rowan, wherein formal structures are separated from real work activities in order to protect internal criteria for effectiveness and efficiency”;

“… need to move from the traditional ‘compliance audit’ model to the ‘performance audit’ or ‘management audit’ model.”;

“… an audit that focuses on performance (‘management/performance audit’) goes beyond mere compliance in that its aim is to evaluate the adequacy, level of implementation and effectiveness of the company’s management systems. This audit model requires a significant change in audit methods in that the main focus of the investigation is no longer to list proof of non-compliance but rather to produce well-grounded judgements about managing capabilities: the performance audit is, therefore, an activity of gathering and analysing information with the intention of forming judgements about management systems.”

Depois, o autor descreve um questionário muito interessante, enviado, e respondido por 114 PME’s da região do Veneto (o questionário é, IMHO; matéria-prima de topo de gama, para a elaboração de uma checklist focada no desempenho), para concluir que entre os auditores:

“… the concept of the process itself is not well understood”; e
“… not much attention is given to examining the ability of the organization to articulate its knowledge”

O autor também reflecte, e mostra os dados, sobre que temas os auditores convergem e divergem nas suas auditorias.

Cheguei ao fim do artigo confortado, ainda para mais, para quem recentemente escreveu sobre a sua forma de encarar as auditorias: aqui e aqui e mais remotamente aqui.

Durante dois a três anos realizei auditorias de terceira parte para uma entidade certificadora, e depois desisti, não conseguia aguentar a esquizofrenia de dizer a uma empresa, que o seu sistema de gestão da qualidade e/ou do ambiente estava conforme com os requisitos decorrentes dos critérios da auditoria, e depois, interiormente, questionar a quantidade de papeis, a capacidade de articulação do sistema montado para contribuir para os resultados do negócio.

É que não faz sentido montar um sistema para dar emprego ou facturação a: entidades certificadoras, auditores, consultores e gestores da qualidade ou ambiente.

Mas voltemos às referências. Chegado ao fim do artigo, estudei as referências e descobri dois artigos que resolvi pesquisar na Internet a ver se os encontrava… em boa hora o fiz.

(continua)

Invenções de auditor

Quem lê habitualmente estes textos:

• sabe o quão adepto de medir sou;
• sabe o quão aprecio sistemas de gestão que realizam mais do que uma revisão do sistema por ano.

Mas uma coisa é a opinião de um consultor, outro é o papel de um auditor ao serviço de uma entidade certificadora.

Por isso, estranho que num relatório de uma auditoria a um sistema de gestão da qualidade o auditor tenha considerado como não-conformidade, é verdade, não-conformidade, o seguinte:

"Constatamos que há vários processos que apenas são acompanhados anualmente, não permitindo tomar as acções necessárias atempadamente"

Um auditor não pode "inventar" critérios de auditoria, eles estão definidos na ISO 9001:2000. Assim, descobrimos que um processo não pode ter só indicadores anuais!

Um dos processos apresentados pelo auditor como exemplo da não-conformidade era: "8.1 Avaliar a opinião de clientes". Um conjunto de actividades realizadas uma vez por ano (seleccionar amostra, entrevistar clientes, elaborar relatório com conclusões, analisar e tomar decisões) tem, segundo o auditor de ser monitorizada por indicadores mensais, ou trimestrais, ou semestrais.

Outro dos processos apresentados pelo auditor como exemplo da não-conformidade era: "6 Gerir Equipamentos de medida". Um processo que nem merecia ser processo (a empresa calibra fora: 1 paquímetro e 2 balanças), precisa de monitorização mais frequente que a anual!

Quando olhei para a não-conformidade, o meu segundo comentário para a empresa foi, "Isto é absurdo! Todos os processos identificados podem deixar de ser considerados processos críticos, deixar de fazer parte do mapa, do modelo de processos. As fichas de processo podem ser convertidas em instruções de trabalho, nada muda na prática e a não-conformidade fica respondida"

O meu primeiro comentário foi "Façam o papel de otários e liguem para a entidade certificadora a perguntar em que cláusula da norma é que são estabelecidas regras quanto à frequência de monitorização de indicadores de processos"

A frequência de monitorização é instrumental, o importante é a eficácia dos processos. Se um processo não é eficaz, essa é a não-conformidade, e cabe à organização identificar o que fazer para melhorar o desempenho.

Nota: Nenhum processo foi considerado ineficaz. O sistema já foi auditado 4/5 vezes ao longo dos anos e até agora nenhum auditor tinha levantado esta questão.