手势识别在非语言交流和人机交互中有着十分重要作用,为了实现手势识别的准确率与鲁棒性。本文提出用YCbCr色彩空间检测肤色对输入的图像分割出感兴趣的手势区域,然后再通过深度学习的方法训练出手势识别的模型。该方法针对五种特定手(stop、ok、punch、yes、good)进行自动手势识别。使用Kears框架实现卷积神经网络。通过实验证明,该方法对输入的五种手势识别准确率达到94.6%,并且具有一定的鲁棒性。