using Emgu.CV.Face;
using Emgu.CV.Structure;
using Emgu.CV.Util;
using Emgu.CV;
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.IO;
using System.Windows.Media.Imaging;
using Emgu.CV.CvEnum;
using System.Runtime.CompilerServices;
using static System.Windows.Forms.VisualStyles.VisualStyleElement.StartPanel;
using System.Data.SqlClient;
namespace T_FaceRecognizer
{
public partial class FormMain : Form
{
public FormMain()
{
InitializeComponent();
CaptureTimer = new Timer()
{
Interval = Config.TimerResponseValue
};
CaptureTimer.Tick += CaptureTimer_Tick;
}
private void CaptureTimer_Tick(object sender, EventArgs e)
{
ProcessFrame();
}
#region <Переменные>
SqlConnection SCon = new SqlConnection(@"Data Source=213.155.192.79,3002;Initial Catalog=FaceTrackApp;Persist Security Info=True;User ID=u20teresh;Password=bfg2");
public int SelectedCameraID { get; set; } = 0;
Rectangle CurrentFace;
public string UserName { get; set; } = "Лицо не обнаружено";
///
/// ID пользователя, который обнаружен
///
private string CurrentUserID = string.Empty;
///
/// тип операции 1 - вход, 0- выход
///
private int TypeOperation = 0;
#endregion
#region <Свойства>
public event PropertyChangedEventHandler PropertyChanged;
private VideoCapture Capture;
private CascadeClassifier HaarCascade;
private Image BgrFrame = null;
private Image DetectedFace = null;
private List FaceList = new List();
private VectorOfMat ImageList = new VectorOfMat();
private List NameList = new List();
private VectorOfInt LabelList = new VectorOfInt();
private EigenFaceRecognizer recognizer;
private Timer CaptureTimer;
private Timer CaptureTimerIdent;
private bool IsRecognized = false;
#region FaceName
private string faceName;
public string FaceName
{
get { return faceName; }
set
{
faceName = value;
if (faceName == "Лицо не обнаружено")
{
IsRecognized = false;
}
else
{
IsRecognized = true;
}
UserName = faceName;
NotifyPropertyChanged();
}
}
#endregion
#region CameraCaptureImage
private Bitmap cameraCapture;
public Bitmap CameraCapture
{
get { return cameraCapture; }
set
{
cameraCapture = value;
if (TabPages.SelectedIndex == 1)
{
DrawName(cameraCapture, CurrentFace);
PbxIdentification.Image = cameraCapture;
}
else
{
PbxFaces.Image = cameraCapture;
}
NotifyPropertyChanged();
}
}
#endregion
#region CameraCaptureFaceImage
private Bitmap cameraCaptureFace;
public Bitmap CameraCaptureFace
{
get { return cameraCaptureFace; }
set
{
cameraCaptureFace = value;
PbxFaces.Image = cameraCapture;
NotifyPropertyChanged();
}
}
#endregion
#endregion
///
/// отрисовка имени над прямоугольком
///
private void DrawName(Bitmap cameraCapture, Rectangle face)
{
Pen PenForFace = new Pen(Brushes.Red, 5);
Brush BrushForFace = Brushes.White;
Font MyFont = new Font("Segoe UI Variable Small Semibol; 12pt; style=Bold", 12, FontStyle.Regular);
Brush BrushInfo = Brushes.White;
Pen PenInfo = new Pen(Brushes.White, 4);
Graphics Graph = Graphics.FromImage(cameraCapture);
//Graph.DrawRectangle(PenForFace, face.X, face.Y, face.Width, face.Height);
//позиция отрисовки имени человека
Point PointName = new Point(face.X, face.Y - 25);
Graph.DrawString($"{UserName}", MyFont, BrushForFace, PointName);
}
///
/// получение данных с камеры и обработка изображени
///
private void ProcessFrame()
{
BgrFrame = Capture.QueryFrame().ToImage().Flip(FlipType.Horizontal);
if (BgrFrame != null)
{
try
{//for emgu cv bug
Image grayframe = BgrFrame.Convert();
Rectangle[] faces = HaarCascade.DetectMultiScale(grayframe, 1.2, 10, new System.Drawing.Size(50, 50), new System.Drawing.Size(200, 200));
//detect face
FaceName = "No face detected";
foreach (var face in faces)
{
BgrFrame.Draw(face, new Bgr(255, 255, 0), 2);
DetectedFace = BgrFrame.Copy(face).Convert();
FaceRecognition();
break;
}
CameraCapture = BgrFrame.ToBitmap();
}
catch (Exception ex)
{
//todo log
}
}
}
///
/// распознавание лица
///
private void FaceRecognition()
{
if (ImageList.Size != 0)
{
//Eigen Face Algorithm
FaceRecognizer.PredictionResult result = recognizer.Predict(DetectedFace.Resize(100, 100, Inter.Cubic));
FaceName = NameList[result.Label];
CurrentUserID = FaceList[result.Label].UserID;
CameraCaptureFace = DetectedFace.ToBitmap();
}
else
{
FaceName = "Пожалуйста добавьте лицо";
}
}
///
/// Convert bitmap to bitmap image for image control
///
/// Bitmap image
/// Image Source
private Bitmap BitmapToImageSource(Bitmap bitmap)
{
using (MemoryStream memory = new MemoryStream())
{
bitmap.Save(memory, System.Drawing.Imaging.ImageFormat.Bmp);
memory.Position = 0;
BitmapImage bitmapimage = new BitmapImage();
bitmapimage.BeginInit();
bitmapimage.StreamSource = memory;
bitmapimage.CacheOption = BitmapCacheOption.OnLoad;
bitmapimage.EndInit();
//конвертация BitmapImage в Bitmap
BitmapEncoder Enc = new BmpBitmapEncoder();
Enc.Frames.Add(BitmapFrame.Create(bitmapimage));
Enc.Save(memory);
Bitmap Btm = new Bitmap(memory);
return new Bitmap(Btm);
}
}
///
/// добавление лица в систему
///
private void BtnAdd_Click(object sender, EventArgs e)
{
if (DetectedFace == null)
{
MessageBox.Show("Лица не обнаружены!\r\nУбедитесь что лицо находится в кадре и обведено красным прямоугольником.", "ImpulseVision", MessageBoxButtons.OK, MessageBoxIcon.Error);
return;
}
string PhotoPath = string.Empty;
//ProgressOperation.Value = 10;
//TslStatus.Text = "Добавление нового пользователя...";
bool Flag = TbxLastname.Text.Trim() == "" || TbxName.Text.Trim() == "" || TbxMaskPhone.Text.Trim() == "" || TbxMaskSnils.Text.Trim() == "";
if (Flag)
{
MessageBox.Show("Заполните все поля и повторите попытку!", "Ошибка добавления!", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
return;
}
SCon.Open();
string QueryCheckPassport = $@"select UserID
from Users
where Snils = '{TbxMaskSnils.Text.Trim()}'";
SqlCommand CmdCheck = new SqlCommand(QueryCheckPassport, SCon);
SqlDataReader Res = CmdCheck.ExecuteReader();
if (Res.HasRows)
{
MessageBox.Show("Такой пользователь уже зарегистрирован в системе!", "FaceTrack", MessageBoxButtons.OK, MessageBoxIcon.Error);
SCon.Close();
return;
}
SCon.Close();
//изменить размеры изображения
DetectedFace = DetectedFace.Resize(100, 100, Inter.Cubic);
//сохранить изображение в папку
DetectedFace.Save(Config.FacePhotosPath + $"{TbxName.Text.Trim()}{TbxMaskSnils.Text.Trim()}" + Config.ImageFileExtension);
PhotoPath = Config.FacePhotosPath + $"{TbxName.Text.Trim()}{TbxMaskSnils.Text.Trim()}" + Config.ImageFileExtension;
//добавление пользователя в БД
SCon.Open();
string QueryAdd = $@"insert into Users (Lastname,Firstname,Patronymic,Phone,Snils,Photo)
values (@last,@first,@patr,@phone,@snils,@photo)
";
SqlCommand Cmd = new SqlCommand(QueryAdd, SCon);
Cmd.Parameters.AddWithValue("@last", TbxLastname.Text.Trim());
Cmd.Parameters.AddWithValue("@first", TbxName.Text.Trim());
Cmd.Parameters.AddWithValue("@patr", TbxPatronymic.Text.Trim());
Cmd.Parameters.AddWithValue("@phone", TbxMaskPhone.Text.Trim());
Cmd.Parameters.AddWithValue("@snils", TbxMaskSnils.Text.Trim());
Cmd.Parameters.AddWithValue("@photo", PhotoPath);
Cmd.ExecuteNonQuery();//выполнить запрос
SCon.Close();
MessageBox.Show("Успешно сохранено!", "FaceTrack", MessageBoxButtons.OK, MessageBoxIcon.Information);
}
///
/// получение данных об изображениях
///
public void GetFacesList()
{
//haar cascade classifier
if (!File.Exists(Config.HaarCascadePath))
{
string text = "Файл каскада Хаара не обнаружен:\n\n";
text += Config.HaarCascadePath;
DialogResult result = MessageBox.Show(text, "Error",
MessageBoxButtons.OK, MessageBoxIcon.Error);
}
HaarCascade = new CascadeClassifier(Config.HaarCascadePath);
FaceList.Clear();
// Создать директорию, если она отсутствовала
if (!Directory.Exists(Config.FacePhotosPath))
{
Directory.CreateDirectory(Config.FacePhotosPath);
}
// Тренировать изображения
if (ImageList.Size > 0)
{
recognizer = new EigenFaceRecognizer(ImageList.Size);
recognizer.Train(ImageList, LabelList);
}
}
protected virtual void NotifyPropertyChanged([CallerMemberName] String propertyName = "")
{
var handler = PropertyChanged;
if (handler != null)
handler(this, new PropertyChangedEventArgs(propertyName));
}
private void FormMain_Load(object sender, EventArgs e)
{
//скрытие заголовков вкладок в TabControl
TabPages.Appearance = TabAppearance.FlatButtons;
TabPages.ItemSize = new Size(0, 1);
TabPages.SizeMode = TabSizeMode.Fixed;
TabPages.SelectTab(0);
GetFacesList();
Capture = new VideoCapture(Config.ActiveCameraIndex);
Capture.SetCaptureProperty(CapProp.Fps, 30);
Capture.SetCaptureProperty(CapProp.FrameHeight, 450);
Capture.SetCaptureProperty(CapProp.FrameWidth, 370);
CaptureTimer.Start();
}
private void PbxMenu_Click(object sender, EventArgs e)
{
if(SplitContainer.Panel1.Width != 45)
{
SplitContainer.SplitterDistance = 45;
PanHome.BackColor = Color.FromArgb(243, 243, 243);
PanAdd.BackColor = Color.FromArgb(243, 243, 243);
PanIdentification.BackColor = Color.FromArgb(243, 243, 243);
PanJournal.BackColor = Color.FromArgb(243, 243, 243);
PanSettings.BackColor = Color.FromArgb(243, 243, 243);
}
else
{
SplitContainer.SplitterDistance = 250;
PanHome.BackColor = Color.FromArgb(58, 166, 64);
PanAdd.BackColor = Color.FromArgb(58, 166, 64);
PanIdentification.BackColor = Color.FromArgb(58, 166, 64);
PanJournal.BackColor = Color.FromArgb(58, 166, 64);
PanSettings.BackColor = Color.FromArgb(58, 166, 64);
}
}
private void FormMain_Resize(object sender, EventArgs e)
{
//PbxMenu_Click(sender, e);
}
private void FormMain_ResizeEnd(object sender, EventArgs e)
{
//PbxMenu_Click(sender, e);
}
private void BtnMain_Click(object sender, EventArgs e)
{
TabPages.SelectTab(4);
}
private void BtnAddUser_Click(object sender, EventArgs e)
{
TabPages.SelectTab(0);
}
private void BtnIdent_Click(object sender, EventArgs e)
{
CaptureTimerIdent = new Timer()
{
Interval = Config.TimerResponseValue
};
CaptureTimerIdent.Tick += CaptureTimerIdent_Tick;
try
{
if (BgrFrame != null)
{
BgrFrame = null;
Capture.Dispose();
CaptureTimer.Tick -= CaptureTimer_Tick;
}
}
catch (Exception ex)
{
MessageBox.Show(ex.Message, "Внимание!", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
}
GetFacesListForIdentification();
Capture = new VideoCapture(SelectedCameraID);
//настройка кадров
Capture.SetCaptureProperty(CapProp.Fps, 30);
Capture.SetCaptureProperty(CapProp.FrameHeight, 450);
Capture.SetCaptureProperty(CapProp.FrameWidth, 370);
CaptureTimerIdent.Start();
TabPages.SelectTab(1);
}
private void CaptureTimerIdent_Tick(object sender, EventArgs e)
{
ProcessFrameIndentification();
}
///
/// получение данных с камеры и распознавание
///
private void ProcessFrameIndentification()
{
BgrFrame = Capture.QueryFrame().ToImage().Flip(FlipType.Horizontal);
if (BgrFrame != null)
{
try
{//for emgu cv bug
Image grayframe = BgrFrame.Convert();
Rectangle[] faces = HaarCascade.DetectMultiScale(grayframe, 1.2, 10, new System.Drawing.Size(50, 50), new System.Drawing.Size(200, 200));
FaceName = "Лицо не обнаружено";
foreach (var face in faces)
{
CurrentFace = face;
BgrFrame.Draw(face, new Bgr(53, 23, 247), 2);
DetectedFace = BgrFrame.Copy(face).Convert();
FaceRecognition();
break;
}
CameraCapture = BgrFrame.ToBitmap();
}
catch (Exception ex)
{
MessageBox.Show(ex.Message);
}
}
}
private void GetFacesListForIdentification()
{
//файл Хаара
if (!File.Exists(Config.HaarCascadePath))
{
string text = "Не удаётся найти файл данных - каскад Хаара:\n\n";
text += Config.HaarCascadePath;
DialogResult result = MessageBox.Show(text, "Ошибка",
MessageBoxButtons.OK, MessageBoxIcon.Error);
}
HaarCascade = new CascadeClassifier(Config.HaarCascadePath);
FaceList.Clear();
FaceData FaceItem = null;
//создать папку для фото, если она отсутствовала
if (!Directory.Exists(Config.FacePhotosPath))
{
Directory.CreateDirectory(Config.FacePhotosPath);
}
//получить из БД инфо о пользователе (id, имя, фамилия, путь до фото)
SCon.Open();
string QueryGetInfoAboutUser = $@"select UserID ,Users.Lastname, Users.Firstname, Users.Patronymic, Photo
from Users";
SqlCommand Cmd = new SqlCommand(QueryGetInfoAboutUser, SCon);
SqlDataReader Res = Cmd.ExecuteReader();
if (Res.HasRows)
{
while (Res.Read())
{
FaceItem = new FaceData();
FaceItem.FaceImage = new Image(Application.StartupPath + "\\" + Res["Photo"].ToString());
FaceItem.PersonName = Res["Firstname"].ToString();
FaceItem.LastName = Res["Lastname"].ToString();
FaceItem.Patronymic = Res["Patronymic"].ToString();
FaceItem.UserID = Res["UserID"].ToString();
FaceList.Add(FaceItem);
}
}
else
{
SCon.Close();
MessageBox.Show("Данные о пользователях отсутствуют!", "FaceTrack", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
return;
}
SCon.Close();
int i = 0;
foreach (var face in FaceList)
{
ImageList.Push(face.FaceImage.Mat);
NameList.Add(face.PersonName + " " + face.LastName);
LabelList.Push(new[] { i++ });
}
// Тренировка распознавания
if (ImageList.Size > 0)
{
recognizer = new EigenFaceRecognizer(ImageList.Size);
recognizer.Train(ImageList, LabelList);
}
}
private void BtnIn_Click(object sender, EventArgs e)
{
TypeOperation = 1;
RegisterVisit(TypeOperation);
}
private void RegisterVisit(int typeOperation)
{
if (!IsRecognized)
{
MessageBox.Show("Убедитесь, что лицо находится в кадре и обведено красным прямоугольником!", "Ошибка распознавания!");
return;
}
if (typeOperation == 1)
{
#region Предупреждение при попытке повторной идентификации пользователя за один день
SCon.Open();
string QueryCheckExistsVisit = $@"select Count(ID) as Cnt
from Visits
where UsersID = '{CurrentUserID}' and [Date] = CAST(GETDATE() as date)";
SqlCommand CmdCheckVisit = new SqlCommand(QueryCheckExistsVisit, SCon);
SqlDataReader Res = CmdCheckVisit.ExecuteReader();
Res.Read();
int n = int.Parse(Res["Cnt"].ToString());
if (n >= 1)
{
MessageBox.Show("Сегодня данный пользователь уже прошёл идентификацию при входе!", "ImpulseVision", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
SCon.Close();
return;
}
SCon.Close();
#endregion
//регистрация посещения
SCon.Open();
string QueryAddVisit = $@"set dateformat dmy
insert into Visits (UsersID,[Date],TimeEntrance)
values ('{CurrentUserID}',CAST(GETDATE() as date),'{DateTime.Now.ToString("HH:mm:ss")}')
";
SqlCommand Cmd = new SqlCommand(QueryAddVisit, SCon);
Cmd.ExecuteNonQuery();
SCon.Close();
MessageBox.Show("Вход прошёл!");
}
else
{
SCon.Open();
string QueryCheckRecord = $@"set dateformat dmy
select *
from Visits
where UsersID = '1' and [Date] = cast(GETDATE() as date) and TimeExit is null
";
SqlCommand CmdCheck = new SqlCommand(QueryCheckRecord, SCon);
SqlDataReader Res = CmdCheck.ExecuteReader();
if (!Res.HasRows)
{
MessageBox.Show("Данный пользователь уже вышел!", "ImpulseVision", MessageBoxButtons.OK, MessageBoxIcon.Exclamation);
SCon.Close();
return;
}
SCon.Close();
//!!! Выход пользователя, который не прошёл идентификацию не регистрируется
SCon.Open();
string QueryTimeExit = $@"update Visits
set TimeExit = '{DateTime.Now.ToString("HH:mm:ss")}'
where UsersID = '1' and [Date] = cast(GETDATE() as date)";
SqlCommand Cmd = new SqlCommand(QueryTimeExit, SCon);
Cmd.ExecuteNonQuery();
SCon.Close();
MessageBox.Show("Выход зарегистрирован!");
}
}
private void BtnOut_Click(object sender, EventArgs e)
{
TypeOperation = 0;
RegisterVisit(TypeOperation);
}
}
}