Beta · Gratuito · Código aberto

Navegue na web com as mãos

O hands.hinow.ai transforma a sua webcam no ponteiro. Role a página, percorra os links e clique neles com algumas poses simples de mão. Sem mouse, sem teclado, sem tela sensível ao toque. Nada para segurar e nada para acertar.

Chrome 116+ · precisa de webcam · funciona offline

O problema

Apontar é a coisa mais difícil que uma interface pode pedir

Todo mouse pede a mesma coisa: leve um cursor até um alvo de poucos milímetros e fique perfeitamente parado enquanto clica. Para a maioria das pessoas isso é invisível. Para quem vive com tremor, pouca força, alcance limitado ou fadiga, é a barreira que transforma uma página comum numa porta trancada.

E a barreira não é só a mira. É o clique. O gesto de clicar desloca a mão no instante exato em que ela precisava estar parada. Quem tem tremor conhece a cena de acertar o link e errar no momento de confirmar. É a última fração de segundo que derruba a tentativa inteira.

Depois vem o custo do erro. Um clique errado abre outra página, e voltar exige outro clique certo. Para quem já gastou trinta segundos para acertar o primeiro, desfazer custa mais que a ação original, e é por isso que tanta gente simplesmente para de tentar.

E há o cansaço. Braço no ar, mão tensa, atenção presa num alvo minúsculo. O que para uns é um movimento automático, para outros consome a energia do dia antes do fim do artigo.

A resposta de sempre é aumentar os alvos. A nossa foi parar de pedir mira. A seleção anda de link em link, como o teclado faz, e um gesto confirma. A precisão deixa de importar; a intenção basta.

Três cenas de clique frustrado: um homem à mesa com a mão na testa diante de um botão, uma palestrante apontando para um gráfico projetado com o cursor parado, e uma senhora esperando um totem de museu responder ao toque
Palestrante num palco com a mão levantada em direção a um painel gigante de slides, controlando a apresentação à distância

No palco

Sem clicker, sem cabo e sem pedir ajuda

Quem apresenta conhece a cena: o clicker ficou na mesa, o notebook está do outro lado do palco, e trocar de slide vira uma caminhada no meio da fala, ou um pedido de ajuda para alguém na plateia.

Com a câmera te enquadrando, a mão faz isso de onde você estiver. Nada para segurar, nada para esconder na palma, nada que possa cair ou ficar sem bateria.

O que a cena precisa ter

  • Uma câmera que te enquadre da cintura para cima
  • Luz uniforme nas mãos: contraluz forte é o que mais atrapalha
  • A apresentação aberta no navegador

Como preparar o deck: Funciona com apresentação em HTML: uma página comum, com botões de navegação que podem ser invisíveis: o gesto de clique aciona os botões e o deck avança. PDF aberto no navegador e decks de rolagem longa também funcionam, avançando pela rolagem.

As quatro poses que fazem tudo isso

Mão abertarola a página, ou vai para o próximo link
Indicador para cimasobe a página, ou clica se você segurar dois segundos
Indicador para o ladoanda de um link para o outro
Punho fechadotrava tudo, em qualquer das mãos
Ver o vocabulário completo

No dia a dia

A navegação de sempre, sem tocar em nada

Rolar a página de notícias, abrir a matéria, voltar, abrir a próxima. É o que se faz cem vezes por dia, e é exatamente o que emperra quando a mão não obedece, quando o braço cansa antes do fim do artigo, ou quando as duas mãos estão ocupadas com outra coisa.

A mão aberta rola. O dedo deitado anda de link em link, com o escolhido destacado na tela. Dois segundos com o dedo para cima e ele abre. Em nenhum momento é preciso levar um cursor até um alvo pequeno e segurá-lo lá.

Pessoa diante de um notebook navegando num site de notícias com gestos das mãos, sem tocar no teclado nem no mouse

No laboratório

A análise avança sem ninguém tirar a luva

Bancada estéril, luva calçada, amostra aberta. Teclado e mouse ali são superfície contaminada e ponto de parada: para ampliar uma imagem, comparar dois resultados ou abrir o exame seguinte, alguém precisa parar, se descontaminar, mexer e voltar.

Com a câmera, quem está na bancada percorre o que está na tela sem encostar em nada. A luva continua limpa, a amostra continua onde estava, e a leitura não é interrompida para operar o computador.

Em três passos

  1. 1A análise na tela, pronta para ser lida
  2. 2As duas mãos assumem o controle da interface
  3. 3O resultado é percorrido sem teclado nem mouse
Ver a foto

O que já funciona: Rolar, percorrer e clicar em qualquer sistema aberto no Chrome, o que cobre visualizador de imagem, prontuário e painel de resultados na web. Ampliar e girar com as duas mãos, como no quadro 2, é o passo seguinte que vamos construir.

Em exposições

Uma parede que responde sem ninguém tocar nela

Museu, galeria, feira, saguão de empresa. A tela grande já está lá, e a única forma de interagir com ela costuma ser encostar: fila para chegar perto, vidro engordurado ao fim do dia, e muita gente que simplesmente não toca.

Com a câmera, o conteúdo responde a quem está na frente dele, a metros de distância. Ninguém precisa aprender nada, ninguém precisa encostar, e a mesma instalação atende uma pessoa depois da outra sem que nada seja compartilhado além do olhar.

Em três passos

  1. 1O visitante se aproxima da obra, ainda em repouso
  2. 2Ele levanta as duas mãos e assume o controle
  3. 3A instalação responde e a parede explode em cor
Ver a foto

O que já funciona: Qualquer conteúdo aberto no Chrome pode ser percorrido e acionado por gesto, a metros da tela: é o suficiente para um totem, um catálogo ou uma exposição navegável. Reagir ao movimento contínuo, como nos quadros 2 e 3, é o passo seguinte que vamos construir.

Na sala de aula

A lousa digital obedece de onde o professor está

A tela interativa da sala custa caro e quase sempre acaba virando projetor. Trocar de conteúdo exige voltar até ela, encostar, procurar o botão certo e perder o fio da explicação no caminho, várias vezes por aula.

Com a câmera, o professor conduz o material de frente para a turma, de onde já está. A aula não para para operar o equipamento, e nada depende de alcançar o topo da tela nem de segurar um controle a mais.

Em três passos

  1. 1A aula começa com o conteúdo na tela
  2. 2O professor levanta as mãos e assume o controle
  3. 3O material se abre e acompanha a explicação
Ver a foto

O que já funciona: Percorrer e acionar por gesto qualquer material aberto no Chrome, incluindo página de aula, PDF e vídeo, sem sair de perto da turma. Manipular um objeto em três dimensões com as duas mãos, como no quadro 3, é o passo seguinte que vamos construir.

Em casa

A web inteira sem mouse, sem teclado e sem ajuda

Para quem convive com tremor, pouca força ou alcance limitado, o computador da sala não é difícil de entender: é difícil de alcançar. Levar o cursor até um link de poucos milímetros e ficar parado enquanto clica é a tarefa mais exigente que uma interface pede, e é ela que transforma uma página comum numa porta trancada.

Com a webcam que o notebook já tem, a mão vira o ponteiro sem precisar mirar. A seleção anda de link em link, um gesto confirma, e ler notícia, abrir vídeo e responder mensagem deixa de depender de ter alguém por perto.

Em três passos

  1. 1A página abre e a seleção começa no primeiro link
  2. 2A mão aberta anda para o próximo, o punho fechado para tudo
  3. 3O indicador para cima por dois segundos clica

O que já funciona: Este é o caso que funciona por inteiro hoje, sem promessa de passo seguinte. Rolar, percorrer os links, clicar e trocar de página é exatamente o que a extensão já faz, em qualquer site aberto no Chrome.

Com as mãos ocupadas

A receita rola sozinha com a mão suja de farinha

Cozinha, oficina, bancada de conserto. A tela está a um palmo, o passo seguinte está logo abaixo, e a mão que rolaria a página é justamente a que está dentro da massa, na graxa ou segurando a peça. O jeito de sempre é limpar, tocar e sujar de novo, várias vezes por receita.

Com a câmera, o gesto no ar rola a página, avança o passo e dá play no vídeo sem encostar em nada. A tela continua limpa, e o que estava na mão continua na mão.

Em três passos

  1. 1A receita ou o manual aberto na tela
  2. 2A mão aberta no ar rola para o passo seguinte
  3. 3O punho fechado trava tudo enquanto você trabalha

O que já funciona: Rolar, dar play e percorrer os links funciona hoje em qualquer página aberta no Chrome, o que já cobre site de receita, manual em PDF e vídeo. O limite real aqui não é o gesto e sim a câmera: mão contra a janela, em contraluz forte, é o que mais atrapalha o reconhecimento.

As quatro poses que fazem tudo isso

Mão abertarola a página, ou vai para o próximo link
Indicador para cimasobe a página, ou clica se você segurar dois segundos
Indicador para o ladoanda de um link para o outro
Punho fechadotrava tudo, em qualquer das mãos
Ver o vocabulário completo

Onde isso cabe

Toda tela que alguém precisa operar de longe, ou sem tocar

Assim que a mão vira o ponteiro, a lista de lugares onde isso resolve um problema real fica grande. São situações em que o mouse não está ao alcance, em que tocar na tela é proibido, ou em que as mãos simplesmente não podem largar o que estão fazendo.

Apresentar e ensinar

  • Apresentações e palestrasavançar slides, apontar, destacar elementos
  • Salas de reuniãoconduzir videoconferência, documentos e apresentações à distância
  • Educaçãoprofessor manipulando conteúdo, mapas, modelos anatômicos
  • Arquitetura e engenhariapercorrer modelos CAD e BIM diante do cliente

Telas grandes e à distância

  • TVs e painéis gigantesdashboards, mapas, vídeos e menus de longe
  • Centros de comandoalternar entre câmeras, mapas, alertas e indicadores
  • Telas projetadastransformar uma parede inteira em interface
  • Totens e digital signageinteração sem contato físico
  • Vitrines interativasnavegar produtos através do vidro
  • Museus e exposiçõesvisitantes interagindo sem tocar nas telas

Quando as mãos não podem tocar

  • Medicinaconsultar exames e imagens sem sair do campo estéril
  • Laboratóriosoperar interfaces de luva, sem contaminar equipamento
  • Cozinhas profissionaisreceitas, timers e vídeos com as mãos ocupadas
  • Oficinas e manutençãomanual aberto enquanto se trabalha na máquina
  • Indústriatelas operadas com equipamento de proteção nas mãos
  • Ambientes perigososcontrolar o computador estando longe dele
  • Recepções e hotéissistemas públicos operados sem contato
  • Academiasvídeos, séries e música durante o exercício

No computador de todo dia

  • Acessibilidadequem tem dificuldade com mouse ou teclado
  • Notícias e leiturarolar, voltar, avançar, abrir matérias
  • Vídeoplay, pausa, volume e navegação na linha do tempo
  • E-commercepercorrer o catálogo, ampliar e girar produtos
  • Casa inteligentemúsica, luzes e automação pelo computador
  • Design e 3Dmover o canvas, girar e ampliar objetos
  • Música e DJmixer, efeitos e faixas sem tocar no equipamento
  • Jogosgestos como comandos adicionais

O que já está pronto: Hoje a extensão rola a página, percorre e clica links e troca de página, em qualquer site aberto no Chrome. O restante da lista é onde essa forma de interação faz sentido, e é o que orienta a ordem do que construímos primeiro: arrastar, ampliar e emular teclado são os próximos.

Como funciona

Duas mãos. Quatro poses. É o vocabulário inteiro.

Cada mão tem um papel, e você escolhe qual é qual: existe modo canhoto. Os painéis na tela mostram todos os gestos e acendem o que está sendo reconhecido, então você sempre sabe se a câmera te entendeu.

Uma das mãos rola a página

Mão abertaRola para baixo
Indicador para cimaRola para cima
Indicador para o ladoPróximo link
Punho fechadoPara tudo

A outra escolhe e clica

Mão abertaSeleciona o próximo link
Indicador para o ladoVolta ao link anterior
Indicador para cima, 2 segundosClica no link selecionado
Punho fechadoPara tudo

As duas juntas trocam de página

Mantenha uma mão aberta e aponte a outra para a esquerda ou para a direita por um segundo. Duas poses ao mesmo tempo não acontecem por acidente, e é exatamente por isso que a única ação que substitui a tela inteira é a que pede as duas mãos.

Punho fechado para tudo

Em qualquer das mãos, a qualquer momento. A pose mais fácil de fazer é a que interrompe o sistema, e ela pausa sem perder o que estava selecionado.

Na prática

É assim que aparece na sua tela

Os painéis nos cantos trazem todos os gestos e acendem o que está sendo reconhecido, então você nunca fica na dúvida se a câmera te entendeu. O link selecionado ganha destaque, e a faixa embaixo diz em palavras o que está acontecendo. Tudo isso pode ser desligado quando deixar de ser necessário.

A extensão em uso sobre um artigo: painel de gestos da mão esquerda no canto inferior esquerdo, o da direita no canto oposto, e a faixa de estado no centro dizendo Link selecionado

Por que existe

O que estamos construindo

01

Tornar a web utilizável sem mouse

Não mais fácil de usar com mouse. Utilizável sem ele, em qualquer site, sem que o site precise cooperar ou sequer saber que existimos.

02

Pedir intenção, nunca precisão

Todo gesto do vocabulário é uma pose de mão inteira que uma criança consegue formar. Sem pinça, sem mira, sem ter que ficar parado num alvo pequeno.

03

Falhar para o lado de não fazer nada

Quando o reconhecimento está incerto, nada acontece. Uma interface que age por palpite é pior que uma que espera, porque desfazer um erro com gesto é caro.

04

Manter a câmera em casa

O rastreamento roda inteiro no dispositivo. Um produto que te observa precisa merecer essa confiança nunca mandando a imagem para lugar nenhum.

05

Continuar gratuito e aberto

Acessibilidade não deveria ter pedágio. O código é público para qualquer um auditar as promessas de privacidade, bifurcar, ou adaptar para uma necessidade que não imaginamos.

Privacidade

O vídeo nunca sai do seu computador

Cada quadro é lido na memória, analisado por um modelo de rastreamento que vem dentro da extensão, e descartado. Nenhum quadro é armazenado: nem em disco, nem no navegador. Nenhum quadro é transmitido. O que trafega entre as partes da extensão é o gesto reconhecido e um punhado de coordenadas, nunca a imagem.

E isso é imposto, não apenas prometido: a extensão declara connect-src 'self', então o próprio navegador bloqueia qualquer requisição de saída das páginas dela, inclusive de bibliotecas de terceiros embutidas. Você não precisa acreditar na nossa palavra, e o código é público para conferir.

Ler a política de privacidade completa →

Sem contaSem cadastro, sem login, sem e-mail.
Sem analyticsSem telemetria, sem relatório de erro, sem rastreamento.
Sem redeA extensão não faz requisição nenhuma. Funciona offline.
Câmera desligada por padrãoSó roda enquanto os gestos estão ativados.

Dúvidas

Perguntas frequentes

Funciona em qualquer site?

Sim, em qualquer página comum. As exceções são as páginas em que o Chrome não permite extensão nenhuma (as configurações do próprio navegador e a Web Store), além de PDFs no visualizador nativo e vídeo protegido por DRM, que não expõem o conteúdo à página.

A câmera é enviada para algum lugar?

Não. Os quadros são analisados na sua máquina e descartados um a um. A extensão declara uma política que torna qualquer requisição de saída impossível, e o modelo de rastreamento vem embutido, então o reconhecimento funciona sem internet.

Quanto custa?

Nada. É gratuito e de código aberto, e vai continuar assim.

Preciso de uma webcam boa?

Não. Qualquer câmera de notebook serve. Luz uniforme ajuda mais que resolução, e há controles de estabilidade e alcance se o seu ambiente precisar.

Sou canhoto. Funciona?

Sim. Um interruptor troca os papéis, para que a mão que escolhe e clica seja a sua dominante, e os painéis na tela trocam de lado junto.

Dá para usar com uma mão só?

Em parte, hoje. Uma das mãos rola a página e move a seleção entre links, mas clicar ainda precisa da outra. Um modo de uma mão só é a próxima coisa que estamos construindo.

Dá para digitar?

Ainda não. Digitar texto continua exigindo teclado. Está no plano.

Como preparo uma apresentação para controlar por gestos?

O formato mais simples é uma página HTML com botões de navegação. Eles podem ser invisíveis, mas precisam existir de verdade na tela: use opacity: 0, e não display: none nem visibility: hidden, porque nesses dois o botão deixa de existir para o clique. Também não use pointer-events: none, e deixe o botão por cima do slide, não atrás. Um botão de até cerca de 400 × 260 pixels é encontrado sem problema.

Funciona com Google Slides ou Canva no modo apresentação?

Ainda não. Esses modos respondem apenas às setas do teclado, e a extensão não emula teclado, e é um dos próximos que vamos construir. Hoje o caminho é apresentação em HTML com botões, PDF aberto no navegador, ou qualquer player com botão de avançar na tela.

Quais navegadores?

Chrome 116 ou mais novo, no computador. Outros navegadores baseados em Chromium costumam funcionar, mas não são testados.

Estamos em beta aberto. Venha testar.

A extensão já funciona, é gratuita e instala num clique, mas está em período de testes. Use por alguns dias e nos conte o resultado: o que você relatar é o que decide qual gesto construímos em seguida.

Mão abertarola a página, ou vai para o próximo link
Indicador para cimasobe a página, ou clica se você segurar dois segundos
Indicador para o ladoanda de um link para o outro
Punho fechadotrava tudo, em qualquer das mãos