NEC está a usar IA generativa para gerar texto explicativo a partir de vídeos

A NEC Corporation desenvolveu aquela que diz ser a primeira tecnologia a nível mundial que integra um modelo Large Language (LLM) de IA generativa e IA de reconhecimento de vídeo, de modo a produzir de forma automática vídeos mais curtos, com texto explicativo, a partir de vídeos longos.

Ao analisar vídeos de imagens de condução com esta tecnologia, é possível gerar automaticamente texto e vídeos mais curtos que explicam as circunstâncias de um acidente e como este ocorreu. Com base no texto e no vídeo, pode ser criado de forma automática um relatório de investigação do acidente, num formato adequado para pedidos de indemnização de seguros de não vida e instruções de segurança rodoviária. A NEC planeia disponibilizar uma versão experimental desta tecnologia em março de 2024.

Nos últimos anos, o vídeo tem sido cada vez mais utilizado para efeitos de gestão da segurança e eficiência operacional numa variedade de indústrias, incluindo transportes, logística, fabrico, construção e retalho. Contudo, é necessário alocar um grande número de horas para verificar manualmente vídeos longos e criar relatórios sobre potenciais acidentes e áreas a melhorar. Apesar de se ter tornado possível gerar um texto explicativo para imagens fixas através da IA generativa (imagem-para-texto), tem sido difícil aplicar essas tecnologias de imagem-para-texto a vídeos que contenham cenas complexas, constituídas por vários objetos e ambientes e que mudam ao longo do tempo.

A combinação de IA de reconhecimento de vídeo e LLM permite compreender cada cena de um vídeo. Especificamente, mais de cem algoritmos de IA de reconhecimento de vídeo são aplicados para reconhecer, de forma individual, os vários objetos e ambientes que compõem uma cena, tais como pessoas, carros, edifícios, animais, árvores e outros elementos naturais, e também o clima, assim como as alterações de todos esses elementos. Ao utilizar o LLM para analisar apenas os resultados do reconhecimento, os utilizadores podem encontrar a cena que procuram de forma mais eficiente do que ao analisar um vídeo inteiro, eliminando a necessidade de verificar repetidamente um vídeo.

Para melhorar a qualidade do texto gerado, o LLM é pré-ajustado utilizando amostras de vídeos de um domínio específico. Por exemplo, quando aplicado a vídeos de imagens de condução, vídeos relacionados com tráfego rodoviário são previamente analisados. Isto dá ao LLM a experiência necessária para compreender corretamente o que aconteceu no vídeo. Como resultado, é possível criar relatórios altamente fiáveis, enquanto se aborda a alucinação, que tem sido um problema em termos de precisão da IA generativa.

Esta tecnologia pode criar um vídeo de uma cena desejada e um texto explicativo em poucos segundos a partir de um vídeo com mais de uma hora de duração. Para o conseguir, a NEC integrou um LLM compacto e de elevado desempenho e um sistema de leitura de dados de alta velocidade desenvolvido pela própria empresa.

Em março de 2024, a NEC planeia começar a disponibilizar uma versão experimental desta tecnologia a companhias de seguros de não vida e fabricantes de automóveis para apoiar a preparação de relatórios de investigação de acidentes e outros documentos que utilizem vídeos de imagens de condução.