PrimeSense: Além do Natal

Já começou. Depois de passar a maior parte do tempo do ano passado em "modo stealth", a Microsoft começou a sua campanha de mudar consciências para o sensor de movimentos do hardware revolucionário Project Natal. Na quarta-feira, a Microsoft revelou o seu parceiro chave na criação do seu novo comando sem comando, a pouco conhecida companhia Israelita PrimeSense, que desenhou o sistema principal de captura 3D, o coração do Natal.

Isto realmente não é novidade nenhuma para os seguidores aficionados do blog do Digital Foundry (Nós falámos do negócio do PrimeSense há mais ou menos 9 meses), mas o comunicado da ligação da Microsoft com o fornecedor do hardware é um sinal de que não será apenas Coisas em Grande sobre o Natal que iremos ver em toda a glória na E3, mas bem como a tecnologia subjacente da actualização da Xbox 360 irá ter outras aplicações num vasto número de electrónica de consumo.


A PrimeSense, liderada pelo fundador e presidente Aviad Maizels, acredita que, embora a tecnologia tenha melhorado imenso, o acesso a tudo o que ela oferece é retida pelas limitações no interface do utilizador - e isso se aplica a tudo, desde os jogos que jogamos até aos ecrã HD nos quais jogamos.

"Quanto mais complicado o jogo for, a história seja muito envolvente, quantas mais oportunidades tiveres, ou mais situações tu tiveres, menos jogadores irão jogar porque se torna cada vez mais complicado. Não estás a usar todas as funcionalidades de um jogo", diz Maizels ao Digital Foundry, no dia anterior ao anúncio da Microsoft.

"Está a acontecer a mesma coisa à nossa volta: quantas mais funcionalidades tiver a tua TV, mais botões terá o teu comando. Quantos mais botões tiver, menor será a probabilidade de usares essas funcionalidades."

O pensamento da PrimeSense, embora não nos surpreenda, é estranhamente semelhante ao da Microsoft: a tecnologia torna-se mais abrangente, mais intuitiva e fácil de se familiarizar quando interage directamente com o corpo humano.

"A PrimeSense nasceu a partir do problema, não da tecnologia. Nós quando nascemos não temos a tecnologia. Apenas temos um conjunto de orientações", explica Maizels. "Desde o primeiro dia que queremos atingir os dispositivos de consumo, desde o primeiro dia que queremos mudar o interface entre os humanos e as máquinas avançadas. Claro que os jogos foram um dos nossos primeiros alvos, pois somos jogadores."

Este sentimento é apoiado por Adi Berenson, VP de negócios e marketing da PrimeSense.

"Se olhares para a história, irás ver que o mundo da electrónica comporta-se como a Lei de Moore: O poder computacional quase é dobrado a cada 18 meses," diz Berenson.

"O que nós estamos a ver é que, infelizmente, as pessoas ainda não descobriram a forma de dobrar a densidade do nosso cérebro a cada 18 meses, portanto, o grande passo em frente, em termos da adopção por parte dos consumidores, em termos de novas tecnologias, vem com os avanços nos interfaces dos utilizadores. Os computadores passaram a fazer parte da nossa vida quando o interface gráfico e os ratos foram produzidos, isto comparando com uma linha de comandos." 

A equipa da PrimeSense está contente em admitir que a enorme aceitação da Nintendo Wii e de como trouxe novas pessoas para os jogos, deu a eles uma pausa para reflexão.

"Com respeito aos jogos... bem, os meus pais nunca vieram de uma festa e me contaram que estiveram todos a jogar Call of Duty ou God of War - isso não era algo que fazia parte das suas vidas," revela Berenson. "Sem contar, há seis meses, eles vieram e me disseram que tinham jogado ténis na Wii com os seus amigos. Estamos a falar de pessoas que têm mais de 60 anos."

Enquanto que Maizels e Berenson estão, compreensivelmente, a se guardar em falar sobre os acordos directos com a Microsoft, fica claro um entusiasmo palpável dos israelitas, devido a como eles revelam, o que podem, sobre a génese do que potencialmente poderá ser uma das obras tecnológicas mais revolucionárias jamais feitas nos jogos.

"Nós fomos à Microsoft há algum tempo atrás com a tecnologia em bruto, sobre o que podemos fazer, e sobre o que podemos capturar," partilha connosco Adi Berenson.

"Quero realmente honra-los da maneira mais elevada. Podíamos ver do outro lado da sala que eles "pegaram" imediatamente, e conseguiram fazer magia com ela. Souberam aproveitar esta tecnologia na sua forma bruta e criar um eco-sistema ao seu redor e um software de suporte a fim de o tornar naquilo que é actualmente - O Natal é muito mais do que a tecnologia em bruto. A ligação foi um caso raro de sinergia perfeita entre os dois parceiros. "

"A Microsoft é um sonho que veio até nós. É uma honra trabalhar com eles", acrescenta Aviad Maizels. "O que podemos partilhar é que as nossas visões estão alinhadas... E podes dar todo o crédito a eles, não é trivial a implantação deste tipo de tecnologia, este tipo de visão, e ser o primeiro a fazê-lo. Neste mercado, é um grande passo."

Os dois homens do PrimeSense estão também muito ansiosos para salientar que, apesar da aquisição da Microsoft da 3DV, especialistas em câmaras time-of-flight, que já fizeram várias demonstrações jogáveis baseadas em câmaras 3D, todo o hardware de captura de vídeo e percepção de profundidade provem deles, e apenas deles.

“PrimeSense não é só o fornecedor da tecnologia 3D no Project Natal…é o único fornecedor,” disse orgulhosamente Aviad Maizels. “O Project Natal é muito mais do que um sensor 3D, mas a PrimeSense é a única companhia responsável pelo 3D.”

Contudo, enquanto a equipa está contente em receber os aplausos pela implementação da tecnologia no Natal, é interessante reparar que eles vêem a utilização do que eles chamam “PrimeSensor”, apenas uma pequena parte de todo o pacote.

"Para esclarecer as coisas, no princípio houve a aquisição 3D. Queremos levar um pouco de orgulho para nós, esta é a parte em que a PrimeSense desenvolveu, e no Natal, isto é PrimeSense: não existem outros”, disse Berenson.

“Mas o Natal é mais do que isso. Natal é conteúdo. Natal é processamento de software. Natal é sobre outras maneiras de interacção como a voz e por aí em diante. A Microsoft conseguiu por este vasto e caro ecossistema em seu redor, para tornar uma tecnologia ‘crua’ num produto. Natal é muito, muito mais amplo que o elemento PrimeSense, mas a PrimeSense é a aquisição elementar.”

Apesar da aquisição da 3DV e as suas tecnologias, PrimeSense está empenhada em apontar que a sua implementação do chamado "ZCam" é totalmente diferente do da 3DV, e todos os outros concorrentes, que contam com um sistema de análise de profundidade conhecido como “tempo de voo”.

“A PrimeSense está a usar tecnologia proprietária que chamamos Light Coding. É proprietária. Nenhuma companhia no mundo usa isso,” diz orgulhosamente Adi Berenson.

“A maioria dos nossos concorrentes estão a usar uma variedade de métodos que podem ser agregados numa técnica chamada “tempo de voo”...que pulsa uma luz e cronometra a diferença entre o pulso e a sua viagem de volta até ao sensor. A nossa metodologia não é nada como isso. O que a PrimeSense fez foi uma evolução em termos de sensores 3D. Usamos componentes padrão e o custo da solução global e o desempenho em termos de robustez, estabilidade e nenhuma lag encaixa bem nos dispositivos para o consumidor.”

Por outro lado, o Light Coding faz o que diz na lata: luz muito próxima ao infra-vermelho no espectro banha a cena. O que a PrimseSense chama “um sofisticado algoritmo paralelo computacional” decifra os dados do IR numa imagem com profundidade. A firma diz que esta solução, como a técnica “tempo de voo”, funciona em quaisquer condições de luminosidade.

“A parte da aquisição 3D no dispositivo Natal é baseada na nossa tecnologia, não na técnica tempo de voo”, re-afirma Inon Berach.

“Acreditamos que a selecção desta tecnologia para a primeira geração, é, pelo menos, um testemunho de que o nosso método patenteado é o que tem melhor preço/desempenho e o mais preparado para a produção. Fora isso, não vamos comentar de alguma forma as razões pelas quais a Microsoft também elegeu comprar os recursos duma companhia que seguia outra tecnologia.”

A referência no design da PrimeSense parece semelhante ao Project Natal, mas a esquemática da tecnologia (direita) revela alguma mudanças em relação ao design final da Microsoft.

A oferta da PrimeSense para potencias parceiros consiste numa referência de design para a câmara, que se conecta a um computador via USB 2.0, tal e qual como o kit Natal. A diferença é que esta referência de design incluí um SoC (System on Chip) dedicado, que traduz a informação do sensor IR num mapa de profundidade que está “registado” ou combinado numa base por-pixel com a imagem RGB que obtens da convencional câmara RGB. O resultado é uma imagem 640x480 onde cada pixel tem um componente de profundidade.

“Se olhares para ele do lado da captura, o hardware é baseado num sensor RGB CMOS e num sensor IR CMOS e numa fonte IR, tudo conectado ao PrimeSense IC ou SoC, que analisa os sinais e gera um sinal 3D RGBD,” explica Adi Berenson.

“RGBD significa profundidade mais imagem e cor, sincronizados no espaço e no tempo. Em adição, integramos a habilidade de capturar áudio, também sincronizado. O sinal de saída do hardware de captura é realmente quatro canais de áudio, e 3D RGBD. Tudo em sincronizado. Tudo é canalizado para o anfitrião, preparado para ser processado. Isso é o hardware de captura.”

O SoC também contém interfaces para a câmara RGB, conversores analógico para digital, mais o circuito USB requerido para conectar a câmara ao PC. O chip também contém alguma RAM flash, significando que o dispositivo pode ser actualizado com o firmware.

Isto é apoiado por um middleware chamado NITE, que é capaz de construir dados do esqueleto humano através de uma imagem, que possibilita o acompanhamento do movimento humano. Embora seja semelhante às demos tecnológicas do Natal, já vimos aonde o sistema é capaz de detectar esqueletos humanos individuais, as implementações são radicalmente diferentes. O envolvimento da PrimeSence começa com a câmara e acaba com criação de um mapa-profundidade para a imagem RGB.

Em termos das especificações da câmara de referencia, a informação de todo o conteúdo pode ser encontrado na tabela em baixo. Podes esperar que o Natal seja muito próximo a isto, embora esperemos que algumas das especificações aqui, são os casos nos melhores cenários – o Natal está confirmado a 30 FPS, então aqui a especificação a 60 FPS refere-se provavelmente a uma resolução mais baixa que a Microsoft não usa...semelhante à imagem RGB de tamanho 1600x1200. Com isso dito, no nosso artigo original no sistema, Kudo Tsunoda falou de múltiplas resoluções...

O facto de que o middleware NITE não fazer parte do Natal demonstra que algumas das coisas realmente loucas que temos visto, sobretudo na forma como mantém o seu ponto de esqueletos mesmo com membros a desaparecer para fora do campo de visão, é tudo magia da Microsoft.

"Project Natal: a magia é totalmente da Microsoft", diz Aviad Maizels em admiração. "O que eles fizeram com o desempenho, a robustez da solução ... temos que saudá-los."

"Sendo a maior empresa de software do mundo, eles fizeram um trabalho fenomenal com o software", acrescenta Berenson. "É totalmente a sua solução."

Um elemento interessante que surgiu durante as discussões é que já é certo que a tecnologia PrimeSense está dentro de Natal, a aplicação precisa continua ainda desconhecida. A sua câmara de referência parece estranhamente similar ao conceito da Microsoft que já vimos até agora.

"Nós não podemos comentar sobre o que o Natal está a fazer com a tecnologia", adverte Aviad Maizels. "Nós mudamos bastante para atender aos seus requisitos."

Talvez ele esteja a referir-se à eliminação do SoC dentro da câmara, a fim de reduzir os custos na produção de Natal. Isso agora foi reaproveitado em uma solução de software dentro do Xenon CPU da Xbox 360. As estimativas de 10 a 15 por cento da energia total do sistema tem sido sugerida para o tratamento dos 50MB das bibliotecas de controlo de movimento, enquanto outras fontes mais pessimistas indicam que um núcleo inteiro (ou pelo menos um segmento de hardware) do sistema triple-core é reservado apenas para Natal.

Alterações técnicas à parte, claramente a combinação de câmara 3D com o estado-da-arte do software de uma empresa que possui um dos maiores orçamentos do mundo significa basicamente que o primeiro produto a nível de consumidores da PrimeSense é uma grande oportunidade para mostrar ao mundo a sua visão para o futuro dos interfaces de utilizador.

"Queríamos que a grande exposição estivesse em mãos de confiança, de uma empresa que valorizamos muito, como a Microsoft", explica Adi Berenson. "Nós pensámos que é a plataforma definitiva para expor essa tecnologia para o mundo. Logo após, você verá mais e mais lançamentos da tecnologia em outras áreas."

Inon Berach menciona que, as primeiras implementações da tecnologia PrimeSense fora dos jogos poderá ser em 2011, após o lançamento do Project Natal da Microsoft para o final de 2010. Então o que podemos esperar? O controlo por gestos visto no vídeo promocional na primeira página, dá-nos algumas ideias de como a companhia Israelita vê o “zcam” a mudar a maneira que nós interagimos com os consumíveis electrónicos.

“O que acreditamos, é que se deres às pessoas uma interface muito boa, intuitiva, contínua, então a vontade de adoptar a nova tecnologia é drasticamente melhorada, e é isso o que a PrimeSense quer fazer em todos os aspectos da tecnologia do consumidor,” partilha Adi Berenson.

“Estamos a começar com os jogos, depois vamos mover-nos para outros aspectos da sala de estar. Vamos para a mobilidade, vamos para os automatismos... nós acreditamos que no futuro, existirá uma interface natural a ser adoptada em todos os sítios na vida de toda a gente. Essa é a visão.”

“Nós queríamos ter maquinas que nos compreendam continuamente,” acrescenta Inon Berach. “Devia ser uma plataforma que vê mas não é vista. Em termos de automatismos, se és um bocado mais ‘largo’, podes ajustar o airbag. Poderá ver-te e ajustar o assento do teu carro. Se consegue avisar-te que estás cansado, devia ser continuamente integrado noutras tecnologias.”

As capacidades de desempenho do PrimeSensor variam de acordo com o contexto. Como tem que suportar todas as condições de jogo, o Natal pode ter problemas em distinguir os dedos na sua estrutura esquelética. Contudo, metam a câmara no carro e o apertado e fechado cockpit assegura que um maior grau de sensibilidade pode ser distinguido. A um alcance mais próximo, o PrimeSensor consegue até distinguir as nuances das vossas expressões faciais.

Um dos benefícios únicos da nossa tecnologia, é a nossa capacidade relativamente flexível para criar a partir da mesma tecnologia principal e componentes principais, sabores diferentes do design", explica Adi Berenson.”

“Conseguimos facilmente brincar com parâmetros tais como a resolução, alcance, campo de visão e assim em diante, a fim de adapta-la a diferentes cenários, todos a usar os mesmos componentes da tecnologia base.

A tecnologia Light Coding significa que a PrimeSense consegue adaptar o seu design rapidamente e facilmente com um alcance de partes, dando à companhia uma vantagem competitiva sobre outras companhias que usam a tecnologia “tempo de voo”.

“Com o "tempo de voo", as companhias precisam de desenvolver o seu próprio sensor CMOS. Eles gastam muito tempo a criar certa resolução...criar outro sabor é uma tarefa difícil. Nós podemos comprar fora das prateleiras,” explica Berenson.

“Existem muitos fornecedores a oferecer diferentes sensores VGA até 10 megapixels. Nós podemos pegar nisso e criar novos sabores de design. Usar componentes padrão não só permite um acesso mais rápido à produção em massa, mas também permite muita flexibilidade em diferentes designs e é isso que nos permite operar em diferentes domínios.”

Voltando à implementação do sistema nos jogos, é perfeitamente notório que o Project Natal é a primeira geração deste tipo de tecnologia. A própria Microsoft confirmou a capacidade de análise é limitada a 30 frames por segundo, e de acordo com a equipa R&D da Sony, a incapacidade da tecnologia zcam para acompanhar o movimento dos dedos, foi a razão principal por optarem para uma aproximação do tipo da varinha do PlayStation Move.

Sendo um produto de primeira geração, podes esperar que nas futuras iterações do Natal melhorem significativamente o desempenho.

”A tecnologia é altamente adaptável. Há alguns anos apenas tínhamos sensores VGA no mundo móvel. Agora temos três megapixels, cinco megapixels...temos mais resolução,” explica Aviad Maizels. “A mesma coisa está a acontecer a todos os diferentes tipos de tecnologias, incluindo os sensores 3D. Podes esperar frames rates mais altos, melhor resolução, melhores alcances.”

Impulsionada pela grande oportunidade que o Natal representa para os negócios, a equipa da PrimeSense está incrivelmente optimista acerca do futuro.

“Nós queremos liderar a tendência natural da interacção, que acreditamos que irá controlar as nossas vidas,” explica Adi Berenson. “Daqui a dez anos, queremos que seja natural para as pessoas interagir intuitivamente com os seus dispositivos. Queremos que as pessoas saibam que a PrimeSense fez-lo e que a PrimeSence está a fazê-lo.”

No estado actual, a informação mais recente revelada sobre o make-up de referencia do design da PrimeSensor, dá-nos até algumas dicas interessantes sobre o potencial desempenho do Project Natal. Como será o produto final? O Digital Foundry estará presente na E3 para descobrir.