A DeepMind trabalhou em proximidade com clínicos do Royal Free "para poder entender como a tecnologia podia se encaixar em suas vidas diárias". [11] O nefrologista consultor e diretor médico associado de segurança de pacientes no Royal Free, Dr. Chris Laing, que ajudou a projetar o aplicativo e supervisionou os dois pilotos iniciais no hospital, disse: "utilizar o Streams significou que eu fui capaz de revisar resultados de exames de sangue para pacientes em risco de AKI segundos depois de eles ficarem disponíveis. Este sistema de alertas diretos e a capacidade de priorizar pacientes simplesmente não era possível antes. Utilizando o Streams, eu intervi mais cedo e fui capaz de melhorar o tratamento de mais de metade dos pacientes que o Streams identificou em nossos estudos piloto." [12]

Mesmo o Streams tendo sido bem recebido por médicos e enfermeiros, seu desenvolvimento foi marcado por uma falha em abordar a privacidade dos pacientes, e uma falta de discussões e autorizações ex ante com os reguladores relevantes, tais como o ICO.[1] "Não há dúvidas sobre o imenso potencial que o uso criativo de dados pode ter no tratamento de pacientes e melhorias clínicas, mas o preço da inovação não precisa ser a erosão de direitos de privacidade fundamentais," disse Elizabeth Denham, a comissária de informações.[7] Os pacientes não foram informados sobre o fato de que seus históricos médicos seriam transferidos para os servidores do Google e, portanto, não consentiram explicitamente. "Pedimos que o Trust se comprometa a fazer mudanças que abordem essas deficiências e sua cooperação é bem-vinda. O Ato de Proteção de Dados não é uma barreira à inovação, mas precisa ser considerado sempre que dados de pessoas estejam sendo utilizados," continuou Denham. Para abordar isso, a DeepMind confirmou que estava construindo uma infraestrutura de auditoria que "dará aos nossos parceiros visibilidade em tempo real sobre como estamos processando dados". [4]

Com base no fato de que a identificação imediata e confiável de casos de AKI para clínicos pode acionar tratamento melhorado, o NHS England emitiu um alerta de segurança de paciente nacional sobre "padronização de identificação precoce de AKI". Este alerta ordenava a instalação de um novo algoritmo de detecção em cada hospital do NHS, de forma que potenciais incidentes de AKI pudessem ser sinalizados para clínicos. O programa nacional "Think Kidneys" [Pense Rins] do NHS England forneceu exemplos de melhores práticas sobre como os alertas de AKI podem ser implantados clinicamente.

Entretanto, simplesmente alertar um clínico sobre a presença de um possível incidente de AKI não é necessariamente suficiente para melhorar os desfechos. Um conjunto de dados clínicos muito mais rico é exigido para ajudar os clínicos a priorizar, diagnosticar e tratar os pacientes. As diretrizes do Instituto Nacional de Excelência em Saúde e Tratamento (NICE - National Institute for Health and Care Excellence) do Reino Unido sobre o tratamento de AKI sugerem que pacientes com AKI mais grave podem se beneficiar de entrega de tratamento por clínicos adequadamente especializados, por exemplo, como parte de um serviço de nefrologia de "referência rápida". [3]

O governo do Reino Unido também "está interessado em se posicionar como um apoiador de IA, fornecendo fundos públicos para o setor e, em seu informativo Industrial Strategy, identificando IA e dados como um de quatro chamados 'Grandes Desafios', onde acredita que o Reino Unido pode 'liderar o mundo por anos futuros' - incluindo especificamente mencionando nominalmente a DeepMind como uma de poucas empresas de IA nacionais de ponta das quais o país deve se orgulhar". [13] Com este apoio, em julho de 2015, clínicos dos hospitais do Trust abordaram a DeepMind para discutir o desenvolvimento de software de IA utilizando os dados de pacientes o Trust. [1]

A tecnologia, que é rodada por meio de um aplicativo para smartphone, também possui o suporte de Lorde Darzi, um cirurgião e ex ministro de saúde do governo Blair, que é o diretor do Instituto de Inovação de Saúde Global no Imperial College London. "Inovação é a única solução que temos para um NHS sustentável, tanto economicamente quanto para superar os desafios e demandas sobre ele," Darzi declarou ao The Guardian em uma prévia da tecnologia. [2]

O projeto começou a atrair interesse público significativo em maio de 2016, quando jornalistas investigativos revelaram o escopo do contrato de compartilhamento de dados entre a DeepMind e o Trust, por meio do qual 1,6 milhões de históricos de saúde de pacientes identificáveis foram transferidos para os servidores do Google. Pacientes cujos dados foram transferidos não foram consultados para obter seu consentimento nem informados sobre a transferência de dados. [13]

Isto levou a uma investigação por Dama Fiona Caldicott, a guardiã de dados nacional, que concluiu que "o acordo teve uma base legal inapropriada", [14] e pelo ICO, que levantou um número de preocupações. Eles concluíram que o contrato entre o Trust e a DeepMind foi insuficientemente robusto, que o Trust não havia conduzido uma avaliação de impacto de privacidade no início do projeto, e que não havia feito o suficiente para informar aos pacientes sobre esses arranjos. [15] Além desta publicidade adversa, o grupo de privacidade medConfidential afirmou que as informações haviam sido obtidas sem o consentimento dos pacientes, e que eram excessivas, pois os históricos cobriam informações além daquelas de função renal. Após essas manchetes negativas, o Trust se defendeu contra essas afirmações declarando que os dados foram utilizados para aprimorar o tratamento direto ao paciente, para o qual nenhum consentimento de paciente é exigido. Esta defesa não foi aceita pelo ICO. [12]

De sua parte, a DeepMind prometeu ser mais aberta com os pacientes sobre seus planos de saúde e realizar fóruns de envolvimento de pacientes regulares. [16] Em uma declaração pública, declarou que "a divisão de IA havia se concentrado em construir ferramentas para clínicos em vez de pensar sobre como o projeto deveria ser moldado pelas necessidades dos pacientes e do público". [4] Em uma revisão independente, a DeepMind confessou uma "falta de trabalho em envolvimento público, particularmente com relação a conexões entre a DeepMind e o Google e a percepção pública de que dados processados pela DeepMind poderiam ser compartilhados com o Google". [17] Diversos pesquisadores também identificaram inadequações na arquitetura do acordo entre o NHS e a DeepMind, em sua comunicação pública, e no processo de supervisão do setor público. [1]

Apesar desta controvérsia, a experiência dos pacientes tem sido muito positiva. Mais de 26 médicos e enfermeiros no Royal Free Hospital estão agora utilizando o Streams, e ele os está alertando para uma média de 11 pacientes em risco de AKI. [18] Uma paciente que teve o benefício do novo aplicativo foi Afia Ahmed, que sofreu complicações após o nascimento de sua filha por cesariana de emergência e desenvolveu sepse durante o parto, o que depois levou a AKI. Utilizando dados de seu exame de sangue, o aplicativo Streams detectou um problema com sua função renal e um alerta foi enviado a um médico especialista em rins. [19] O especialista em rins foi capaz de fornecer orientações para a equipe de obstetrícia sobre a condição de Afia e aconselhá-la a ajustar sua dosagem de antibióticos e seu tratamento de fluido intravenoso e suspender a utilização de analgésicos que poderiam causar esforço excessivo de seus rins. Afia continuou a ser monitorada por um especialista renal até que sua função renal se recuperou e ela recebeu alta. [18]

Simplesmente desenvolver um aplicativo para smartphone não leva, em última instância, a uma melhora na prática; na verdade, estruturas de gestão eficientes precisam estar em vigor para garantir que o Streams proporcione resultados melhorados tanto para pacientes quanto para clínicos. O Royal Free London NHS Foundation Trust em particular é responsável pela gestão da implementação de aplicativos. Junto com outros parceiros do NHS, eles desenvolveram diretrizes de práticas clínicas para o tratamento de AKI e o uso do aplicativo Streams. [3]

Em termos de mecanismos de gestão referentes a dados, entretanto, o ICO indicou claramente que houve alguns problemas no desenvolvimento do aplicativo Streams quando se tratou de confidencialidade do paciente. Entretanto, o Trust aceitou os achados do ICO referentes a esta falta de clareza e abertura, e realizou uma série de etapas corretivas para abordá-los. Estas incluem colocar em vigor um contrato muito mais forte com a DeepMind e fornecer mais informações no website do Royal Free sobre os acordos com a DeepMind. [15]

Sir David Sloman confirmou que um respeito pela confidencialidade do paciente era fundamental para a operação do Royal Free Hospital. A equipe de liderança sênior como um todo confirmou que haviam concluído seu treinamento de governança de informações de acordo com o ciclo de treinamento anual. Eles descreveram um número de etapas que o Trust havia realizado para melhorar a governança de informações, incluindo fazer um grande investimento nas defesas de cyber-segurança do hospital e convidar dois membros leigos para fazer parte do Grupo de Governança de Informações. [15] Junto como a DeepMind, eles também organizaram uma reunião para um painel de revisão independente de revisores externos.

Após a investigação e o relatório de conclusão do ICO ter sido publicado, o Trust colocou em vigor estruturas e processos para gerenciar seu uso de informações de paciente confidenciais, por exemplo, o Grupo de Governança de Informações, que se reúne trimestralmente para discutir problemas de confidencialidade e proteção de dados. O Royal Free agora possui um diretor de proteção de dados e um gerente de governança de informações para gerenciar problemas de confidencialidade e proteção de dados. [15] Recentemente, o NHS anunciou que irá fortalecer a anonimização de arquivos de pacientes para proteger ainda mais a privacidade dos pacientes. [20]

Até agora, nem a DeepMind nem o Trust publicaram dados sobre o efeito do Streams na saúde de pacientes e quanto tempo e dinheiro ele pode economizar. Após a fase piloto de 12 semanas, uma fase de avaliação de 18 semanas se iniciou, durante a qual dados de resultados foram coletados, analisados e interpretados. [3] Uma avaliação de serviço afirma que uma "análise de período está planejada para a metade da fase de avaliação", de quais desfechos serão utilizados para informar decisões futuras e estratégia referente ao desenvolvimento adicional do Streams. [3]

As evidências de alinhamento entre os diferentes stakeholders são mistas. Enquanto o Trust, os clínicos e a DeepMind compartilhavam objetivos e interesses comuns na colaboração, sua interdependência causou alguns problemas, e a falta de alinhamento com reguladores causou problemas maiores.

O alinhamento de interesses entre o Trust e a DeepMind pareceu inicialmente ser forte com relação a trabalhar em direção a operações de assistência médica mais eficiente. Tanto a estratégia geral quanto os objetivos específicos da colaboração foram esclarecidos desde o início do desenvolvimento do Streams em um memorando de entendimento entre as duas partes. [14] Dito isto, problemas de alinhamento se desenvolveram conforme a parceria continuou. A DeepMind e o Trust são dependentes um do outro e o desenvolvimento não pode ocorrer sem progresso de ambos os parceiros. Esta interdependência causou alguns problemas. O Royal Free levantou frustrações de que não podem desenvolver nada adicional sem a DeepMind, quando talvez outra solução open source poderia permitir um desenvolvimento muito mais rápido e reativo. A DeepMind também levantou frustrações sobre o ritmo lento e as estruturas burocráticas do NHS e, assim, está pensando em reduzir a escala do desenvolvimento.

Com relação ao alinhamento de clínicos, o aplicativo em si foi coprojetado por especialistas tanto da DeepMind quanto do Trust para cumprir com necessidades específicas dos clínicos. Por exemplo, o modelo de smartphone escolhido como o dispositivo de teste para o Streams precisava ser precisamente do tamanho certo para os bolsos de aventais hospitalares, de forma que os usuários pudessem garantir que ele não cairia enquanto estavam fazendo seu trabalho na enfermaria. [6] Mustafa Suleyman disse que "mais ou menos três semanas depois de ter conhecido nossos primeiros enfermeiros ... nós tínhamos um protótipo funcional (não conectado a quaisquer dados) que enfermeiros e médicos poderiam apontar de verdade e dizer este botão está no lugar errado, esta cor é difícil de ler, esta hierarquia de menu meio que está na ordem errada". [21]

A falta de alinhamento com reguladores, que representavam os interesses dos pacientes do Trust, causou problemas significativos. O ICO criticou o acordo pelo qual a DeepMind havia recebido acesso a cinco anos de dados de pacientes do Royal Free Hospital, nenhum dos quais havia dado seu consentimento. O Trust afirmou que o consentimento não era exigido, uma vez que os dados foram utilizados para tratamento direto do paciente e ainda eram controlados pelo Trust. O ICO concluiu que "o Royal Free poderia fazer mais para trazer informações sobre o Streams (e informações sobre seu processamento, de forma mais geral) à atenção dos pacientes quando esses pacientes comparecerem ao Royal free pessoalmente. Por exemplo, o Royal Free poderia incluir um banner para estas informações nos terminais de registro eletrônico."[15]