O Google DeepMind apresentou o SL2T, um modelo que traduz língua de sinais em texto e já chega em produto, não só em pesquisa.
O recurso funciona como o ditado por voz. A pessoa sinaliza para a câmera e o texto aparece no Gboard e no Live Transcribe, para pesquisar na web, escrever mensagens ou conversar com o Gemini. Estreia no Pixel 11, em língua americana de sinais para o inglês, sem custo adicional.
O modelo foi treinado em mais de 100 mil horas de vídeo em mais de 50 línguas de sinais. Por privacidade, a câmera não envia vídeo para o servidor. Um modelo no próprio aparelho marca os pontos das mãos, do rosto e do tronco, e só essas coordenadas seguem para tradução. No benchmark FLEURS-ASL o SL2T marcou 70 BLEURT, o maior resultado já publicado segundo o Google.
Existem mais de 200 línguas de sinais no mundo e cerca de 70 milhões de pessoas surdas que as usam. O desenvolvimento foi acompanhado pelo AISLAC, comitê consultivo com organizações de surdos e especialistas.
Comente “NE...
Suggested Credits
Tags, Events, and Projects