FaceTrack_Apps_For_Practic/T FaceRecognizer/FormMain.cs

using Emgu.CV.Face;
using Emgu.CV.Structure;
using Emgu.CV.Util;
using Emgu.CV;
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.IO;
using System.Windows.Media.Imaging;
using Emgu.CV.CvEnum;
using System.Runtime.CompilerServices;
using static System.Windows.Forms.VisualStyles.VisualStyleElement.StartPanel;
using System.Data.SqlClient;

namespace T_FaceRecognizer
{
    public partial class FormMain : Form
    {
        public FormMain()
        {
            InitializeComponent();
            CaptureTimer = new Timer()
            {
                Interval = Config.TimerResponseValue

            };
            CaptureTimer.Tick += CaptureTimer_Tick;
        }

        private void CaptureTimer_Tick(object sender, EventArgs e)
        {
            ProcessFrame();
        }
        #region <Переменные>
        SqlConnection SCon = new SqlConnection(@"Data Source=213.155.192.79,3002;Initial Catalog=FaceTrackApp;Persist Security Info=True;User ID=u20teresh;Password=bfg2");

        public int SelectedCameraID { get; set; } = 0;

        Rectangle CurrentFace;
        public string UserName { get; set; } = "Лицо не обнаружено";

        /// <summary>
        /// ID пользователя, который обнаружен
        /// </summary>
        private string CurrentUserID = string.Empty;
        /// <summary>
        /// тип операции 1 - вход, 0- выход 
        /// </summary>
        private int TypeOperation = 0;
        #endregion
        #region <Свойства>

        public event PropertyChangedEventHandler PropertyChanged;
        private VideoCapture Capture;
        private CascadeClassifier HaarCascade;
        private Image<Bgr, Byte> BgrFrame = null;
        private Image<Gray, Byte> DetectedFace = null;
        private List<FaceData> FaceList = new List<FaceData>();
        private VectorOfMat ImageList = new VectorOfMat();
        private List<string> NameList = new List<string>();
        private VectorOfInt LabelList = new VectorOfInt();

        private EigenFaceRecognizer recognizer;
        private Timer CaptureTimer;
        private Timer CaptureTimerIdent;
        private bool IsRecognized = false;
        #region FaceName
        private string faceName;
        public string FaceName
        {
            get { return faceName; }
            set
            {
                faceName = value;
                if (faceName == "Лицо не обнаружено")
                {
                    IsRecognized = false;
                }
                else
                {
                    IsRecognized = true;
                }
                UserName = faceName;
                NotifyPropertyChanged();
            }
        }
        #endregion
        #region CameraCaptureImage
        private Bitmap cameraCapture;
        public Bitmap CameraCapture
        {
            get { return cameraCapture; }
            set
            {
                cameraCapture = value;
                if (TabPages.SelectedIndex == 1)
                {
                    DrawName(cameraCapture, CurrentFace);
                    PbxIdentification.Image = cameraCapture;
                }
                else
                {
                    PbxFaces.Image = cameraCapture;
                }

                NotifyPropertyChanged();
            }
        }

        #endregion
        #region CameraCaptureFaceImage
        private Bitmap cameraCaptureFace;
        public Bitmap CameraCaptureFace
        {
            get { return cameraCaptureFace; }
            set
            {
                cameraCaptureFace = value;

                PbxFaces.Image = cameraCapture;

                NotifyPropertyChanged();
            }
        }

        #endregion

        #endregion

        /// <summary>
        /// отрисовка имени над прямоугольком
        /// </summary>
        private void DrawName(Bitmap cameraCapture, Rectangle face)
        {
            Pen PenForFace = new Pen(Brushes.Red, 5);
            Brush BrushForFace = Brushes.White;
            Font MyFont = new Font("Segoe UI Variable Small Semibol; 12pt; style=Bold", 12, FontStyle.Regular);

            Brush BrushInfo = Brushes.White;
            Pen PenInfo = new Pen(Brushes.White, 4);

            Graphics Graph = Graphics.FromImage(cameraCapture);

            //Graph.DrawRectangle(PenForFace, face.X, face.Y, face.Width, face.Height);
            //позиция отрисовки имени человека
            Point PointName = new Point(face.X, face.Y - 25);
            Graph.DrawString($"{UserName}", MyFont, BrushForFace, PointName);
        }

        /// <summary>
        /// получение данных с камеры и обработка изображени
        /// </summary>
        private void ProcessFrame()
        {
            BgrFrame = Capture.QueryFrame().ToImage<Bgr, Byte>().Flip(FlipType.Horizontal);

            if (BgrFrame != null)
            {
                try
                {//for emgu cv bug
                    Image<Gray, byte> grayframe = BgrFrame.Convert<Gray, byte>();

                    Rectangle[] faces = HaarCascade.DetectMultiScale(grayframe, 1.2, 10, new System.Drawing.Size(50, 50), new System.Drawing.Size(200, 200));

                    //detect face
                    FaceName = "No face detected";
                    foreach (var face in faces)
                    {
                        BgrFrame.Draw(face, new Bgr(255, 255, 0), 2);
                        DetectedFace = BgrFrame.Copy(face).Convert<Gray, byte>();
                        FaceRecognition();
                        break;
                    }
                    CameraCapture = BgrFrame.ToBitmap();
                }
                catch (Exception ex)
                {

                    //todo log
                }

            }
        }

        /// <summary>
        /// распознавание лица
        /// </summary>
        private void FaceRecognition()
        {
            if (ImageList.Size != 0)
            {
                //Eigen Face Algorithm
                FaceRecognizer.PredictionResult result = recognizer.Predict(DetectedFace.Resize(100, 100, Inter.Cubic));
                FaceName = NameList[result.Label];

                CurrentUserID = FaceList[result.Label].UserID;
                CameraCaptureFace = DetectedFace.ToBitmap();
            }
            else
            {
                FaceName = "Пожалуйста добавьте лицо";
            }
        }

        /// <summary>
        /// Convert bitmap to bitmap image for image control
        /// </summary>
        /// <param name="bitmap">Bitmap image</param>
        /// <returns>Image Source</returns>
        private Bitmap BitmapToImageSource(Bitmap bitmap)
        {
            using (MemoryStream memory = new MemoryStream())
            {
                bitmap.Save(memory, System.Drawing.Imaging.ImageFormat.Bmp);
                memory.Position = 0;
                BitmapImage bitmapimage = new BitmapImage();
                bitmapimage.BeginInit();
                bitmapimage.StreamSource = memory;
                bitmapimage.CacheOption = BitmapCacheOption.OnLoad;
                bitmapimage.EndInit();
                //конвертация BitmapImage в Bitmap
                BitmapEncoder Enc = new BmpBitmapEncoder();
                Enc.Frames.Add(BitmapFrame.Create(bitmapimage));
                Enc.Save(memory);
                Bitmap Btm = new Bitmap(memory);

                return new Bitmap(Btm);
            }
        }
        /// <summary>
        /// добавление лица в систему
        /// </summary>
        private void BtnAdd_Click(object sender, EventArgs e)
        {
            if (DetectedFace == null)
            {
                MessageBox.Show("Лица не обнаружены!\r\nУбедитесь что лицо находится в кадре и обведено красным прямоугольником.", "ImpulseVision", MessageBoxButtons.OK, MessageBoxIcon.Error);
                return;
            }
            string PhotoPath = string.Empty;
            //ProgressOperation.Value = 10;
            //TslStatus.Text = "Добавление нового пользователя...";

            bool Flag = TbxLastname.Text.Trim() == "" || TbxName.Text.Trim() == "" || TbxMaskPhone.Text.Trim() == "" || TbxMaskSnils.Text.Trim() == "";

            if (Flag)
            {
                MessageBox.Show("Заполните все поля и повторите попытку!", "Ошибка добавления!", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
                return;
            }

            SCon.Open();
            string QueryCheckPassport = $@"select UserID
from Users
where Snils = '{TbxMaskSnils.Text.Trim()}'";
            SqlCommand CmdCheck = new SqlCommand(QueryCheckPassport, SCon);
            SqlDataReader Res = CmdCheck.ExecuteReader();
            if (Res.HasRows)
            {
                MessageBox.Show("Такой пользователь уже зарегистрирован в системе!", "FaceTrack", MessageBoxButtons.OK, MessageBoxIcon.Error);
                SCon.Close();
                return;
            }
            SCon.Close();

            //изменить размеры изображения
            DetectedFace = DetectedFace.Resize(100, 100, Inter.Cubic);
            //сохранить изображение в папку
            DetectedFace.Save(Config.FacePhotosPath + $"{TbxName.Text.Trim()}{TbxMaskSnils.Text.Trim()}" + Config.ImageFileExtension);

            PhotoPath = Config.FacePhotosPath + $"{TbxName.Text.Trim()}{TbxMaskSnils.Text.Trim()}" + Config.ImageFileExtension;

            //добавление пользователя в БД
            SCon.Open();
            string QueryAdd = $@"insert into Users (Lastname,Firstname,Patronymic,Phone,Snils,Photo)
values (@last,@first,@patr,@phone,@snils,@photo)
";
            SqlCommand Cmd = new SqlCommand(QueryAdd, SCon);
            Cmd.Parameters.AddWithValue("@last", TbxLastname.Text.Trim());
            Cmd.Parameters.AddWithValue("@first", TbxName.Text.Trim());
            Cmd.Parameters.AddWithValue("@patr", TbxPatronymic.Text.Trim());
            Cmd.Parameters.AddWithValue("@phone", TbxMaskPhone.Text.Trim());
            Cmd.Parameters.AddWithValue("@snils", TbxMaskSnils.Text.Trim());
            Cmd.Parameters.AddWithValue("@photo", PhotoPath);
            Cmd.ExecuteNonQuery();//выполнить запрос
            SCon.Close();

            MessageBox.Show("Успешно сохранено!", "FaceTrack", MessageBoxButtons.OK, MessageBoxIcon.Information);
        }

        /// <summary>
        /// получение данных об изображениях 
        /// </summary>
        public void GetFacesList()
        {
            //haar cascade classifier
            if (!File.Exists(Config.HaarCascadePath))
            {
                string text = "Файл каскада Хаара не обнаружен:\n\n";
                text += Config.HaarCascadePath;
                DialogResult result = MessageBox.Show(text, "Error",
                        MessageBoxButtons.OK, MessageBoxIcon.Error);
            }

            HaarCascade = new CascadeClassifier(Config.HaarCascadePath);
            FaceList.Clear();

            // Создать директорию, если она отсутствовала
            if (!Directory.Exists(Config.FacePhotosPath))
            {
                Directory.CreateDirectory(Config.FacePhotosPath);
            }

            // Тренировать изображения
            if (ImageList.Size > 0)
            {
                recognizer = new EigenFaceRecognizer(ImageList.Size);
                recognizer.Train(ImageList, LabelList);
            }
        }

        protected virtual void NotifyPropertyChanged([CallerMemberName] String propertyName = "")
        {
            var handler = PropertyChanged;
            if (handler != null)
                handler(this, new PropertyChangedEventArgs(propertyName));
        }

        private void FormMain_Load(object sender, EventArgs e)
        {
            //скрытие заголовков вкладок в TabControl
            TabPages.Appearance = TabAppearance.FlatButtons;
            TabPages.ItemSize = new Size(0, 1);
            TabPages.SizeMode = TabSizeMode.Fixed;

            TabPages.SelectTab(0);

            GetFacesList();
            Capture = new VideoCapture(Config.ActiveCameraIndex);
            Capture.SetCaptureProperty(CapProp.Fps, 30);
            Capture.SetCaptureProperty(CapProp.FrameHeight, 450);
            Capture.SetCaptureProperty(CapProp.FrameWidth, 370);
            CaptureTimer.Start();
        }

        private void PbxMenu_Click(object sender, EventArgs e)
        {
            if(SplitContainer.Panel1.Width != 45)
            {
                SplitContainer.SplitterDistance = 45;
                PanHome.BackColor = Color.FromArgb(243, 243, 243);
                PanAdd.BackColor = Color.FromArgb(243, 243, 243);
                PanIdentification.BackColor = Color.FromArgb(243, 243, 243);
                PanJournal.BackColor = Color.FromArgb(243, 243, 243);
                PanSettings.BackColor = Color.FromArgb(243, 243, 243);
            }
            else
            {
                SplitContainer.SplitterDistance = 250;
                PanHome.BackColor = Color.FromArgb(58, 166, 64);
                PanAdd.BackColor = Color.FromArgb(58, 166, 64);
                PanIdentification.BackColor = Color.FromArgb(58, 166, 64);
                PanJournal.BackColor = Color.FromArgb(58, 166, 64);
                PanSettings.BackColor = Color.FromArgb(58, 166, 64);

            }
        }

        private void FormMain_Resize(object sender, EventArgs e)
        {
            //PbxMenu_Click(sender, e);
        }

        private void FormMain_ResizeEnd(object sender, EventArgs e)
        {
            //PbxMenu_Click(sender, e);
        }

        private void BtnMain_Click(object sender, EventArgs e)
        {
            TabPages.SelectTab(4);
        }

        private void BtnAddUser_Click(object sender, EventArgs e)
        {
            TabPages.SelectTab(0);
        }

        private void BtnIdent_Click(object sender, EventArgs e)
        {
            CaptureTimerIdent = new Timer()
            {
                Interval = Config.TimerResponseValue

            };
            CaptureTimerIdent.Tick += CaptureTimerIdent_Tick;

            try
            {
                if (BgrFrame != null)
                {
                    BgrFrame = null;
                    Capture.Dispose();
                    CaptureTimer.Tick -= CaptureTimer_Tick;
                }
            }
            catch (Exception ex)
            {
                MessageBox.Show(ex.Message, "Внимание!", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
            }

            GetFacesListForIdentification();

            Capture = new VideoCapture(SelectedCameraID);

            //настройка кадров
            Capture.SetCaptureProperty(CapProp.Fps, 30);
            Capture.SetCaptureProperty(CapProp.FrameHeight, 450);
            Capture.SetCaptureProperty(CapProp.FrameWidth, 370);
            CaptureTimerIdent.Start();

            TabPages.SelectTab(1);
        }

        private void CaptureTimerIdent_Tick(object sender, EventArgs e)
        {
            ProcessFrameIndentification();
        }

        /// <summary>
        /// получение данных с камеры и распознавание
        /// </summary>
        private void ProcessFrameIndentification()
        {
            BgrFrame = Capture.QueryFrame().ToImage<Bgr, Byte>().Flip(FlipType.Horizontal);

            if (BgrFrame != null)
            {
                try
                {//for emgu cv bug
                    Image<Gray, byte> grayframe = BgrFrame.Convert<Gray, byte>();

                    Rectangle[] faces = HaarCascade.DetectMultiScale(grayframe, 1.2, 10, new System.Drawing.Size(50, 50), new System.Drawing.Size(200, 200));

                    FaceName = "Лицо не обнаружено";
                    foreach (var face in faces)
                    {
                        CurrentFace = face;
                        BgrFrame.Draw(face, new Bgr(53, 23, 247), 2);

                        DetectedFace = BgrFrame.Copy(face).Convert<Gray, byte>();
                        FaceRecognition();
                        break;
                    }
                    CameraCapture = BgrFrame.ToBitmap();
                }
                catch (Exception ex)
                {
                    MessageBox.Show(ex.Message);
                }

            }
        }



        private void GetFacesListForIdentification()
        {
            //файл Хаара
            if (!File.Exists(Config.HaarCascadePath))
            {
                string text = "Не удаётся найти файл данных - каскад Хаара:\n\n";
                text += Config.HaarCascadePath;
                DialogResult result = MessageBox.Show(text, "Ошибка",
                        MessageBoxButtons.OK, MessageBoxIcon.Error);
            }

            HaarCascade = new CascadeClassifier(Config.HaarCascadePath);
            FaceList.Clear();
            FaceData FaceItem = null;

            //создать папку для фото, если она отсутствовала
            if (!Directory.Exists(Config.FacePhotosPath))
            {
                Directory.CreateDirectory(Config.FacePhotosPath);
            }
            //получить из БД инфо о пользователе (id, имя, фамилия, путь до фото)
            SCon.Open();
            string QueryGetInfoAboutUser = $@"select UserID ,Users.Lastname, Users.Firstname, Users.Patronymic, Photo
from Users";
            SqlCommand Cmd = new SqlCommand(QueryGetInfoAboutUser, SCon);
            SqlDataReader Res = Cmd.ExecuteReader();
            if (Res.HasRows)
            {
                while (Res.Read())
                {
                    FaceItem = new FaceData();
                    FaceItem.FaceImage = new Image<Gray, byte>(Application.StartupPath + "\\" + Res["Photo"].ToString());
                    FaceItem.PersonName = Res["Firstname"].ToString();
                    FaceItem.LastName = Res["Lastname"].ToString();
                    FaceItem.Patronymic = Res["Patronymic"].ToString();
                    FaceItem.UserID = Res["UserID"].ToString();
                    FaceList.Add(FaceItem);
                }
            }
            else
            {
                SCon.Close();
                MessageBox.Show("Данные о пользователях отсутствуют!", "FaceTrack", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
                return;
            }
            SCon.Close();
            int i = 0;
            foreach (var face in FaceList)
            {
                ImageList.Push(face.FaceImage.Mat);
                NameList.Add(face.PersonName + " " + face.LastName);
                LabelList.Push(new[] { i++ });
            }

            // Тренировка распознавания
            if (ImageList.Size > 0)
            {
                recognizer = new EigenFaceRecognizer(ImageList.Size);
                recognizer.Train(ImageList, LabelList);
            }
        }

        private void BtnIn_Click(object sender, EventArgs e)
        {
            TypeOperation = 1;
            RegisterVisit(TypeOperation);
        }

        private void RegisterVisit(int typeOperation)
        {
            if (!IsRecognized)
            {
                MessageBox.Show("Убедитесь, что лицо находится в кадре и обведено красным прямоугольником!", "Ошибка распознавания!");
                return;
            }

            if (typeOperation == 1)
            {
                #region Предупреждение при попытке повторной идентификации пользователя за один день
                SCon.Open();
                string QueryCheckExistsVisit = $@"select Count(ID) as Cnt
from Visits
where UsersID = '{CurrentUserID}' and [Date] = CAST(GETDATE() as date)";
                SqlCommand CmdCheckVisit = new SqlCommand(QueryCheckExistsVisit, SCon);
                SqlDataReader Res = CmdCheckVisit.ExecuteReader();
                Res.Read();
                int n = int.Parse(Res["Cnt"].ToString());
                if (n >= 1)
                {
                    MessageBox.Show("Сегодня данный пользователь уже прошёл идентификацию при входе!", "ImpulseVision", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
                    SCon.Close();
                    return;
                }
                SCon.Close();
                #endregion
                //регистрация посещения
                SCon.Open();
                string QueryAddVisit = $@"set dateformat dmy
insert into Visits (UsersID,[Date],TimeEntrance)
values ('{CurrentUserID}',CAST(GETDATE() as date),'{DateTime.Now.ToString("HH:mm:ss")}')
";
                SqlCommand Cmd = new SqlCommand(QueryAddVisit, SCon);
                Cmd.ExecuteNonQuery();
                SCon.Close();
                MessageBox.Show("Вход прошёл!");

            }
            else
            {
                SCon.Open();
                string QueryCheckRecord = $@"set dateformat dmy
select *
from Visits
where UsersID = '1' and [Date] = cast(GETDATE() as date) and TimeExit is null
";
                SqlCommand CmdCheck = new SqlCommand(QueryCheckRecord, SCon);
                SqlDataReader Res = CmdCheck.ExecuteReader();
                if (!Res.HasRows)
                {
                    MessageBox.Show("Данный пользователь уже вышел!", "ImpulseVision", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
                    SCon.Close();
                    return;
                }
                SCon.Close();
                //!!! Выход пользователя, который не прошёл идентификацию не регистрируется
                SCon.Open();
                string QueryTimeExit = $@"update Visits
set TimeExit = '{DateTime.Now.ToString("HH:mm:ss")}'
where UsersID = '1' and [Date] = cast(GETDATE() as date)";
                SqlCommand Cmd = new SqlCommand(QueryTimeExit, SCon);
                Cmd.ExecuteNonQuery();
                SCon.Close();

                MessageBox.Show("Выход зарегистрирован!");
            }
        }

        private void BtnOut_Click(object sender, EventArgs e)
        {
            TypeOperation = 0;
            RegisterVisit(TypeOperation);
        }
    }
}