Управление компьютером жестами рук с помощью датчиков на базе Arduino

Управление компьютером с помощью жестов рук - новая технология в мире IT. Мы попытаемся реализовать такое управление с помощью Arduino

Ноутбуки, управляемые жестами (по англ. Gesture-Controlled Laptop) - новинка в мире компьютерных технологий. Данная технология позволяет управлять компьютером посредством жестов без прикосания к экрану либо клавиатуре.

Такие ноуты имеются в продаже, однако стоят они совсем не дешево (от 1500$).

Но если руки не из одного места растут, то ничего не мешает сделать собственное управление жестами для вашего ноута. Обычно они делаются на базе веб-камеры, которая распознает движения рук. Но мы будем для этих целей использовать ультразвуковой датчик измерений растояний.

Итак, этого нам понадобятся:

- Arduino UNO

- Ultrasonic (US) sensors

Схема устройства

Внешний вид показан на рисунке

Здесь приведена схема соединения компонент устройства:

Код для платы Ардуино UNO:

const int trigger1 = 2; //Trigger pin of 1st Sesnor
const int echo1 = 3; //Echo pin of 1st Sesnor
const int trigger2 = 4; //Trigger pin of 2nd Sesnor
const int echo2 = 5; //Echo pin of 2nd Sesnor
long time_taken;
int dist,distL,distR;
 
void setup() {
Serial.begin(9600); 
  
pinMode(trigger1, OUTPUT); 
pinMode(echo1, INPUT); 
pinMode(trigger2, OUTPUT); 
pinMode(echo2, INPUT); 
}

void calculate_distance(int trigger, int echo)

{
digitalWrite(trigger, LOW);
delayMicroseconds(2);
digitalWrite(trigger, HIGH);
delayMicroseconds(10);
digitalWrite(trigger, LOW);
time_taken = pulseIn(echo, HIGH);
dist= time_taken*0.034/2;
if (dist>50)
dist = 50;
}

void loop() { //infinite loopy
calculate_distance(trigger1,echo1);
distL =dist; //get distance of left sensor
calculate_distance(trigger2,echo2);
distR =dist; //get distance of right sensor

//Pause Modes -Hold
if ((distL >40 && distR>40) && (distL <50 && distR<50)) //Detect both hands
{Serial.println("Play/Pause"); delay (500);}
calculate_distance(trigger1,echo1);
distL =dist;
calculate_distance(trigger2,echo2);
distR =dist;
 
//Control Modes
//Lock Left - Control Mode
if (distL>=13 && distL<=17)
{
  delay(100); //Hand Hold Time
  calculate_distance(trigger1,echo1);
  distL =dist;
  if (distL>=13 && distL<=17)
  {
    Serial.println("Left Locked");
    while(distL<=40)
    {
      calculate_distance(trigger1,echo1);
      distL =dist;
      if (distL<10) //Hand pushed in 
      {Serial.println ("Vup"); delay (300);}
      if (distL>20) //Hand pulled out
      {Serial.println ("Vdown"); delay (300);}
    }
  }
}

if (distR>=13 && distR<=17)
{
  delay(100); //Hand Hold Time
  calculate_distance(trigger2,echo2);
  distR =dist;
  if (distR>=13 && distR<=17)
  {
    Serial.println("Right Locked");
    while(distR<=40)
    {
      calculate_distance(trigger2,echo2);
      distR =dist;
      if (distR<10) //Right hand pushed in
      {Serial.println ("Rewind"); delay (300);}
      if (distR>20) //Right hand pulled out
      {Serial.println ("Forward"); delay (300);}
  }
}
}
delay(200);
}

Код программы для ноута на языке Python (для управления компьютером)

import serial
import time 
import pyautogui
ArduinoSerial = serial.Serial('com18',9600)
time.sleep(2)
while 1:
    incoming = str (ArduinoSerial.readline()) #read the serial data and print it as line
    print incoming
    
    if 'Play/Pause' in incoming:
        pyautogui.typewrite(['space'], 0.2)
    if 'Rewind' in incoming:
        pyautogui.hotkey('ctrl', 'left')  
    if 'Forward' in incoming:
        pyautogui.hotkey('ctrl', 'right') 
    if 'Vup' in incoming:
        pyautogui.hotkey('ctrl', 'down')
        
    if 'Vdown' in incoming:
        pyautogui.hotkey('ctrl', 'up')
    incoming = "";
    

Оригинал:

https://circuitdigest.com/microcontroller-projects/control-your-computer-with-hand-gestures

Платы ARDUINO по низкой цене

Нажми на изображение, чтобы заказать в интернет-магазине: