Estudo da DGS HH SA/ SPA
1.º Comentário : SemMisericórdia
Remeto um comentário para a Saúde Sã....
«Não querendo ser apenas negativo não posso deixar de referir que o estudo publicado no site da DGS revela alguma falta de atenção e vários lapsos (fruto porventura da escassez de recursos disponíveis) os quais prejudicam a sua utilidade.
1)- Falta de atenção, veja-se por exemplo:
a)- 1ª linha da pág 3: "... pretende avaliar o stock de capital existente..."; e depois na 1ª linha da pág 4: "... proceder a uma avaliação dos hospitais EPE e SPA numa perspectiva de gestão e da qualidade...";
b)- Fim do 2º parágrafo da pág 3: "... tomou em consideração... quer indicadores de qualidade, subjectivos,..."; depois não no fim o 4º parágrafo da mesma pág;
c)- A ausência de referência aos problemas esperados da informação disponível que pode afectar as conclusões do estudo:
i)- Se um hospital estiver a internar doentes que deviam ser considerados Cir. Ambulatória ou H. Dia de Quimioterapia como isso afecta a classificação?
ii)- Idem quanto a diferente % de transferências face à média dos hospitais semelhantes? idem quanto a omitir/desvalorizar aspectos negativos (ex. dias internamento devidos a infecções)?
iii)- Será que os doentes saídos são homogéneos quanto a: % doentes abaixo do limiar inferior (ou % mortes); % doentes saídos c/ demora média zero, 1 e 2 dias;
2)- Lapsos contidos no estudo:
a)- Utilização do ICM
i) Deveria começar por questionar-se o valor do ICM (é internamento? é Internamento+ CA+ RN?): HH do grupo 1 têm maiores ICM que os do grupos II e III? O HS Marcos (0,9977) tem menor ICM que o de Espinho (1,1115)?
ii)- Corrigir todas as actividades clínicas c/ ICM? (o H Dia Quimioterapia do Hospital X não é mais diferenciado que o do Y só porque aquele tem neurocirurgia ou cirurgia cardíaca);
iii)- Corrigir também a alimentação e a roupa pelo ICM??
b)- Contas no ex. do H. Anadia estão erradas no internamento (é 24,98 e não 66,8);
c)- Sendo a despesa apresentada nas secções principais o total (isto é inclui as secções auxiliares e administrativas, como também os medicamentos) então considerar à parte novamente as secções auxiliares e os medicamentos das S. principais é considerar em duplicado o seu efeito na classificação (independentemente da ponderação);
d)- Os ponderadores assim como os valores médios usados na classificação deveriam ser os de cada grupo de hospitais (até porque o que se pretende é comparar os hospitais dentro do grupo cf. página 2) - de facto não foi isso que se fez (o mesmo ponderador e valor médio para todos HH);
e)- Avaliação da qualidade e global:
i)- Não parece razoável defender que: em eficiência menor custo é sempre melhor (quem não der medicamentos aos doentes seria o"maior"); em qualidade a > % de CA ou a < % cesarianas é sempre melhor (há um ponto a partir do qual deixa de o ser...); ii)- Usam-se apenas 3 indicadores de qualidade sendo que 1 é raro (% DI por infecção) o que pode ser perigoso; usar a média aritmética simples com 2 indicadores de qualidade apenas (ou 3) e "n" de eficiência não parece também a melhor opção; classificar com base na média, também não parece a melhor opção. Nos resultados achei curiosa a qualidade de:
a)- Alcobaça (1º com 5,1) e do Montijo (255,8??). Olhando para os valores dos 2 únicos indicadores vemos que em Alcobaça não há infecções (?) e tem 50% de CA; Montijo tem 0,46% de DI devidos a infecções e não tem CA ...;
b)- S. Sebastião (93,2), Guimarães (170,4) e Cascais (67,1 a maior qualidade no grupo!):
i)- Guimarães distingue-se de Cascais apenas porque não tem CA;
ii)- S Sebastião tem melhor % Cesarianas e de DI devidos a infecção que Cascais mas como tem < % CA....
SemMisericórdia
«Não querendo ser apenas negativo não posso deixar de referir que o estudo publicado no site da DGS revela alguma falta de atenção e vários lapsos (fruto porventura da escassez de recursos disponíveis) os quais prejudicam a sua utilidade.
1)- Falta de atenção, veja-se por exemplo:
a)- 1ª linha da pág 3: "... pretende avaliar o stock de capital existente..."; e depois na 1ª linha da pág 4: "... proceder a uma avaliação dos hospitais EPE e SPA numa perspectiva de gestão e da qualidade...";
b)- Fim do 2º parágrafo da pág 3: "... tomou em consideração... quer indicadores de qualidade, subjectivos,..."; depois não no fim o 4º parágrafo da mesma pág;
c)- A ausência de referência aos problemas esperados da informação disponível que pode afectar as conclusões do estudo:
i)- Se um hospital estiver a internar doentes que deviam ser considerados Cir. Ambulatória ou H. Dia de Quimioterapia como isso afecta a classificação?
ii)- Idem quanto a diferente % de transferências face à média dos hospitais semelhantes? idem quanto a omitir/desvalorizar aspectos negativos (ex. dias internamento devidos a infecções)?
iii)- Será que os doentes saídos são homogéneos quanto a: % doentes abaixo do limiar inferior (ou % mortes); % doentes saídos c/ demora média zero, 1 e 2 dias;
2)- Lapsos contidos no estudo:
a)- Utilização do ICM
i) Deveria começar por questionar-se o valor do ICM (é internamento? é Internamento+ CA+ RN?): HH do grupo 1 têm maiores ICM que os do grupos II e III? O HS Marcos (0,9977) tem menor ICM que o de Espinho (1,1115)?
ii)- Corrigir todas as actividades clínicas c/ ICM? (o H Dia Quimioterapia do Hospital X não é mais diferenciado que o do Y só porque aquele tem neurocirurgia ou cirurgia cardíaca);
iii)- Corrigir também a alimentação e a roupa pelo ICM??
b)- Contas no ex. do H. Anadia estão erradas no internamento (é 24,98 e não 66,8);
c)- Sendo a despesa apresentada nas secções principais o total (isto é inclui as secções auxiliares e administrativas, como também os medicamentos) então considerar à parte novamente as secções auxiliares e os medicamentos das S. principais é considerar em duplicado o seu efeito na classificação (independentemente da ponderação);
d)- Os ponderadores assim como os valores médios usados na classificação deveriam ser os de cada grupo de hospitais (até porque o que se pretende é comparar os hospitais dentro do grupo cf. página 2) - de facto não foi isso que se fez (o mesmo ponderador e valor médio para todos HH);
e)- Avaliação da qualidade e global:
i)- Não parece razoável defender que: em eficiência menor custo é sempre melhor (quem não der medicamentos aos doentes seria o"maior"); em qualidade a > % de CA ou a < % cesarianas é sempre melhor (há um ponto a partir do qual deixa de o ser...); ii)- Usam-se apenas 3 indicadores de qualidade sendo que 1 é raro (% DI por infecção) o que pode ser perigoso; usar a média aritmética simples com 2 indicadores de qualidade apenas (ou 3) e "n" de eficiência não parece também a melhor opção; classificar com base na média, também não parece a melhor opção. Nos resultados achei curiosa a qualidade de:
a)- Alcobaça (1º com 5,1) e do Montijo (255,8??). Olhando para os valores dos 2 únicos indicadores vemos que em Alcobaça não há infecções (?) e tem 50% de CA; Montijo tem 0,46% de DI devidos a infecções e não tem CA ...;
b)- S. Sebastião (93,2), Guimarães (170,4) e Cascais (67,1 a maior qualidade no grupo!):
i)- Guimarães distingue-se de Cascais apenas porque não tem CA;
ii)- S Sebastião tem melhor % Cesarianas e de DI devidos a infecção que Cascais mas como tem < % CA....
SemMisericórdia
2.º Comentário: Lisboaearredores:
Sobre o estudo "Avaliação da eficiência e da qualidade em Hospitais EPE e SPA " da DGS :
Concordo que a informação base apresentada é útil. Mas, a meu ver, mal utilizada. E pelo menos o exemplo está matematicamente errado, o que destrói a meu ver toda a credibilidade do indice calculado.
Como pode ser que eu esteja a ver mal, cá vai a sustentação da minha opinião (para ser corrigida por quem tiver uma interpretação diferente), depois de 10 min a olhar para os números:
p. 5 a 7 do relatório - exemplo do Hospital de Anadia:
indicadores de gestão - são 13 - com factores de ponderação - a soma dos factores de ponderação não dá 1. Ou falta qualquer coisa, ou estão mal calibrados. Este factor não teria importância, seria apenas uma questão de escala, não fosse este indicador ser depois usado para fazer média com o de qualidade. Logo, está-se a dar menor peso a este elemento do que realmente se diz.
No primeiro indicador de gestão - o valor usado para somar de forma a dar o indice de gestão é obtido por uma regra de três simples entre a despesa de internamento corrigida com o ICM - indice de case mix e o valor médio. A ponderação não entra aqui. Ou seja, o valor somado no indice tem ponderação 1 e não a que é dita que tem.
No segundo indicador, já é o valor ponderado que é comparado com o valor médio (que pela escala parece não estar ponderado), criando algo estranho.
Mas depois é tudo somado. Uns com os outros.
Para os números em falta para certos hospitais, o valor introduzido foi o da média do grupo. O que obviamente pode alterar a posição do hospital no ranking de eficiência que se tenta traçar. Basta pensar que se um hospital for o mais eficiente que todos os outros, mas lhe faltar a informação sobre imagiologia, ao colocar o valor médio do grupo, como os indicadores são todos somados, pode facilmente deixar de ser o mais eficiente. Não sei se sucede ou não, é apenas uma possibilidade que deveria ter sido acautelada. Basta ver que na despesa com hospital de dia por sessão , grupo I, são mais os valores em falta que os existentes - e variam entre 20 e 3035 (p. 29) - ou seja, a informação está pouco trabalhada, no mínimo duvido que os conceitos subjacentes estejam uniformizados para se poderem comparar os hospitais. Algo de similar ocorre para despesas com medicamentos por sessão. E por aí fora.
Por fim, todos os indicadores de gestão estão associados a despesas, e as ponderações determinadas pelo peso dessas despesas. É muito pouco.
Conceptualmente, não é feita qualquer referência a justificar porque é este o indicador de eficiência correcto, ou indicador de qualidade correcto, e como é que se podem somar os dois indices...
Enfim, redefinindo a minha posição face a este estudo:
- informação de base útil, e ainda bem que é disponibilizada
- competência técnica do estudo muito fraca e para mim sem credibilidade neste momento (a julgar pela exemplo, contém erros)
Sei que esta é uma posição dura, mas devemos ser tecnicamente exigentes e não seguir apenas as "gordas" dos jornais, que certamente não se debruçaram sobre a qualidade técnica do estudo.
A Direcção-Geral de Saúde deveria retirar o estudo de circulação, corrigir, e sustentar as opções metodológicas, e só depois dar-lhe valor.
Mas pode ser que seja eu a estar enganado, e nesse caso algum dos outros comentadores do blog se encarregará de mostrar onde errei...
Lisboaearredores
3.º Comentário: Lisboaearredores.
O estudo em causa, "Avaliação da eficiência e da qualidade em Hospitais EPE e SPA ", deve ser visto grande cuidado. A forma como os diversos indicadores são agregados tem óbvias implicações para os resultados.
Além disso, nada nos diz sobre se de facto SA/EPE ou SPA são melhores - pois não é estabelecido claramente o ponto de partida. Se os hospitais SPA que surgem com melhor indicador neste estudo também tivessem melhor indicador há dois anos atrás, mas apresentem uma menor evolução, em termo de melhoria, que os SA, então a conclusão inversa seria tirada.
Não estou a afirmar que seja este o caso, apenas que o estudo deve ser analisado com cuidado.
Mesmo para a utilização de indicadores desta natureza, há metodologias que levam a uma melhor construção do índice. Veja-se o excelente exemplo do estudo de Jorge Simões, Retrato Político da Saúde, que constroi um índice de ponderação com cuidado. Aliás, esse trabalho nem é referenciado no estudo, ou por ignorância da sua existência ou por outra razão qualquer.
Antes de embarcar em conclusões que sejam simpáticas para as percepções que uns tenham, há que ter a honestidade de perceber as limitações do estudo.
Fora esses aspectos, o estudo fornece um conjunto de informação bastante útil, que poderá servir de base para análises mais trabalhadas.
lisboaearredores
Concordo que a informação base apresentada é útil. Mas, a meu ver, mal utilizada. E pelo menos o exemplo está matematicamente errado, o que destrói a meu ver toda a credibilidade do indice calculado.
Como pode ser que eu esteja a ver mal, cá vai a sustentação da minha opinião (para ser corrigida por quem tiver uma interpretação diferente), depois de 10 min a olhar para os números:
p. 5 a 7 do relatório - exemplo do Hospital de Anadia:
indicadores de gestão - são 13 - com factores de ponderação - a soma dos factores de ponderação não dá 1. Ou falta qualquer coisa, ou estão mal calibrados. Este factor não teria importância, seria apenas uma questão de escala, não fosse este indicador ser depois usado para fazer média com o de qualidade. Logo, está-se a dar menor peso a este elemento do que realmente se diz.
No primeiro indicador de gestão - o valor usado para somar de forma a dar o indice de gestão é obtido por uma regra de três simples entre a despesa de internamento corrigida com o ICM - indice de case mix e o valor médio. A ponderação não entra aqui. Ou seja, o valor somado no indice tem ponderação 1 e não a que é dita que tem.
No segundo indicador, já é o valor ponderado que é comparado com o valor médio (que pela escala parece não estar ponderado), criando algo estranho.
Mas depois é tudo somado. Uns com os outros.
Para os números em falta para certos hospitais, o valor introduzido foi o da média do grupo. O que obviamente pode alterar a posição do hospital no ranking de eficiência que se tenta traçar. Basta pensar que se um hospital for o mais eficiente que todos os outros, mas lhe faltar a informação sobre imagiologia, ao colocar o valor médio do grupo, como os indicadores são todos somados, pode facilmente deixar de ser o mais eficiente. Não sei se sucede ou não, é apenas uma possibilidade que deveria ter sido acautelada. Basta ver que na despesa com hospital de dia por sessão , grupo I, são mais os valores em falta que os existentes - e variam entre 20 e 3035 (p. 29) - ou seja, a informação está pouco trabalhada, no mínimo duvido que os conceitos subjacentes estejam uniformizados para se poderem comparar os hospitais. Algo de similar ocorre para despesas com medicamentos por sessão. E por aí fora.
Por fim, todos os indicadores de gestão estão associados a despesas, e as ponderações determinadas pelo peso dessas despesas. É muito pouco.
Conceptualmente, não é feita qualquer referência a justificar porque é este o indicador de eficiência correcto, ou indicador de qualidade correcto, e como é que se podem somar os dois indices...
Enfim, redefinindo a minha posição face a este estudo:
- informação de base útil, e ainda bem que é disponibilizada
- competência técnica do estudo muito fraca e para mim sem credibilidade neste momento (a julgar pela exemplo, contém erros)
Sei que esta é uma posição dura, mas devemos ser tecnicamente exigentes e não seguir apenas as "gordas" dos jornais, que certamente não se debruçaram sobre a qualidade técnica do estudo.
A Direcção-Geral de Saúde deveria retirar o estudo de circulação, corrigir, e sustentar as opções metodológicas, e só depois dar-lhe valor.
Mas pode ser que seja eu a estar enganado, e nesse caso algum dos outros comentadores do blog se encarregará de mostrar onde errei...
Lisboaearredores
3.º Comentário: Lisboaearredores.
O estudo em causa, "Avaliação da eficiência e da qualidade em Hospitais EPE e SPA ", deve ser visto grande cuidado. A forma como os diversos indicadores são agregados tem óbvias implicações para os resultados.
Além disso, nada nos diz sobre se de facto SA/EPE ou SPA são melhores - pois não é estabelecido claramente o ponto de partida. Se os hospitais SPA que surgem com melhor indicador neste estudo também tivessem melhor indicador há dois anos atrás, mas apresentem uma menor evolução, em termo de melhoria, que os SA, então a conclusão inversa seria tirada.
Não estou a afirmar que seja este o caso, apenas que o estudo deve ser analisado com cuidado.
Mesmo para a utilização de indicadores desta natureza, há metodologias que levam a uma melhor construção do índice. Veja-se o excelente exemplo do estudo de Jorge Simões, Retrato Político da Saúde, que constroi um índice de ponderação com cuidado. Aliás, esse trabalho nem é referenciado no estudo, ou por ignorância da sua existência ou por outra razão qualquer.
Antes de embarcar em conclusões que sejam simpáticas para as percepções que uns tenham, há que ter a honestidade de perceber as limitações do estudo.
Fora esses aspectos, o estudo fornece um conjunto de informação bastante útil, que poderá servir de base para análises mais trabalhadas.
lisboaearredores
<< Home