Mulher paralisada após AVC fala através de avatar pela 1ª vez na história

Foram necessários anos de fisioterapia antes que Johnson pudesse mover os músculos faciais o suficiente para rir ou chorar. Ainda assim, ela permaneceu incapaz de falar e passou a se comunicar com um dispositivo que lhe permite digitar lentamente na tela do computador com pequenos movimentos de cabeça.

Atualmente, a mulher ajuda pesquisadores da Universidade da Califórnia em São Francisco e em Berkeley a criar uma nova tecnologia baseada em um avatar, ou uma representação sua. O avanço de pesquisa publicado em 23 de agosto na revista Nature decodifica sinais cerebrais a um ritmo de quase 80 palavras por minuto — grande melhoria em relação às 14 palavras por minuto que o atual dispositivo de comunicação de Ann oferece.

Ann Johnson ficou sabendo do estudo sobre o implante cerebral em 2021, após ler sobre um homem paralisado chamado Pancho, que ajudou cientistas a traduzirem seus sinais cerebrais em texto. Com a ex-professora, a equipe tentou algo ainda mais ambicioso: decodificar os sinais cerebrais dela na fala, junto aos movimentos animados do rosto de uma pessoa.

Para isso, os pesquisadores implantaram um retângulo fino como papel contendo 253 eletrodos na superfície do cérebro da paciente, em áreas que eles descobriram anteriormente serem críticas para a fala. Os aparelhos interceptaram os sinais cerebrais que, se não fosse pelo derrame, teriam ido para os músculos dos lábios, língua, mandíbula e laringe de Johnson, bem como para seu rosto.

A paciente viajou com o marido do Canadá para os Estados Unidos ao longo do estudo. Durante semanas, ela trabalhou com a equipe para treinar algoritmos de inteligência artificial (IA) para reconhecer seus sinais cerebrais únicos para a fala. Isso envolveu a repetição de frases diferentes de um vocabulário de 1.024 palavras.

Porém, em vez de treinar a IA para reconhecer palavras inteiras, os pesquisadores criaram um sistema que decodifica palavras a partir de componentes menores chamados fonemas. Com isso, o computador só precisava aprender 39 fonemas para decifrar qualquer palavra na língua inglesa, o que tornou o processo três vezes mais rápido.

“A precisão, velocidade e vocabulário são cruciais. É o que dá a Ann o potencial, com o tempo, de se comunicar quase tão rápido quanto nós e de ter conversas muito mais naturalistas e normais”, disse em comunicado Sean Metzger, pós-graduando que desenvolveu o decodificador de texto com Alex Silva, outro estudante de pós-graduação do Programa Conjunto de Bioengenharia da Universidade da Califórnia em São Francisco e em Berkeley.

A filha de Ann Johnson, hoje com 18 anos, era apenas um bebê quando a mãe sofreu o AVC. Por isso, ela só conhece a voz impessoal e com sotaque britânico do atual dispositivo de comunicação da ex-professora. Para resolver esse problema, o novo algoritmo para a sintetizar a fala foi personalizado pelos cientistas para soar como a verdadeira voz de Johnson.

Isso foi feito usando uma gravação da mulher falando em seu casamento, ocorrido antes dela sofrer o derrame. “Meu cérebro fica estranho quando ouve minha voz sintetizada”, escreveu ela em resposta a uma pergunta. “É como ouvir um velho amigo”.

Para animar o avatar de Ann, a equipe contou com a ajuda de um software que simula os movimentos musculares do rosto, desenvolvido pela Speech Graphics, empresa que faz animações faciais baseadas em IA. Os pesquisadores criaram processos personalizados de aprendizado de máquina, permitindo que software se combinasse com os sinais enviados pelo cérebro da paciente enquanto ela tentava falar e os convertesse nos movimentos do rosto de seu avatar.

Um próximo passo importante para a equipe será criar uma versão sem fio da tecnologia que não exija que a paciente esteja fisicamente conectada à interface cérebro-computador. “Dar a pessoas como Ann a capacidade de controlar livremente os seus próprios computadores e telefones com esta tecnologia teria efeitos profundos na sua independência e interações sociais”, conta o coautor da pesquisa, David Moses, professor adjunto em cirurgia neurológica.

Embora ainda esteja em desenvolvimento, o sistema de avatar já mudou a vida de Johnson. “Quando eu estava no hospital de reabilitação, a fonoaudióloga não sabia o que fazer comigo”, escreveu ela. “Sinto que estou contribuindo para a sociedade. Parece que tenho um emprego novamente. Este estudo me permitiu realmente viver enquanto ainda estou viva!”.

O vídeo abaixo mostra testes do implante cerebral em Ann Johnson. Veja: