Аннотация: Данная статья посвящена исследованию вопроса разработки математической модели поведения сотрудников при работе с комплексом веб-ориентированных систем и разработке на основе данной модели программного комплекса для выявления аномальных участков их поведения. В статье выполнен подробный анализ востребованности разрабатываемой модели. Показана возможность применения данной модели, как для выявления отрезков времени в деятельности сотрудников, характерных для внесения непреднамеренных ошибок, так и для выявлений ситуаций явного вредительства. Кроме того, показана востребованность данной модели для решения задач контроля за психологическим состоянием коллектива. Исследованы технологии оценки эффективности интерфейсов взаимодействия между человеком и программным приложением. Показано отсутствие качественных решений для удалённой оценки эффективности интерфейсов веб-ориентированных систем. Выявлена возможность осуществления данной оценки с помощью разрабатываемой модели. Подробно раскрыты математические принципы и итерационный алгоритм построения модели поведения человека. Приведено условие сходимости алгоритма и способы применения модели к оценке поведения человека. Осуществлён выбор технологии проектирования программного комплекса. Основательно показано преимущество фреймворка Ruby on Rails. Раскрыты технологии построения интерфейса приложения и дополнительные системы, направленные на повышение эффективности работы аналитика. Описан процесс апробации разработанных модели и приложения. Дано описание основных полученных результатов. Сформулированы возможности дальнейшего использования полученного продукта в рамках системы учёта KPI сотрудников.

Annotation: This article focuses on the mathematical model development of employees’ behaviour when working with a web-based systems set and the software package development based on this model to identify abnormal patterns of employees’ behaviour. A detailed analysis of the developed model’s relevance is provided in the article. The possibility of applying this model is shown. It can be used both to identify the periods of employees’ working time characterized by committing unintentional errors and to recognize the situations of deliberate sabotage. Besides, the article illustrates the relevance of this model as a means to control staff members’ psychological state. The effectiveness assessment technologies of the interaction interfaces between a person and a software application have been investigated. The article shows that there are no qualitative means to remotely assess the effectiveness of web-based systems interfaces. It reveals the possibility of implementing this assessment using the developed model. The mathematical principles and the iterative algorithm of building a human behaviour pattern are disclosed in detail. This article provides the algorithm convergence condition and the methods of applying the model to assess human behaviour. Software package design technologies are selected. The advantage of Ruby on Rails framework is clearly displayed. The technologies of application interface building and additional systems aimed to increase the efficiency of analysts’ work are presented. The approbation process of the developed model and the application is described. The main results obtained are illustrated. The article offers the possibilities for further use of the received product within the framework of employee KPI accounting systems.

Введение

В настоящее время всё более широкие тенденции принимает информатизация коммерческих и бюджетных организаций. Зачастую крупные предприятия и даже учебные организации поддерживают для автоматизации своих бизнес-процессов целый ряд информационных систем, реализующих в совокупности ERP-систему или её отдельные компоненты. Большое число данных, аккумулируемых информационными системами, порождает необходимости борьбы с накоплением ошибок. Особенно опасно возникновение ситуации, при которой из-за ряда накопившихся ошибок, влияющих друг на друга, становится затруднительным сам факт их обнаружения (далее, критическая масса ошибок).

Как показывают работы многих современных авторов, основной причиной появления ошибок в данных информационных систем в большинстве случаев является человеческий фактор. Например, А. Веттере в своих работах [1, 2] широко раскрывает вопрос обнаружения ошибок операторов в облачных веб-системах с целью их пресечения. Е. Лавров в своей работе [3] поднимает вопрос минимизации последствий данных ошибок. В целом, стоит отметить, что причины, по которым операторы информационных систем вносят ошибочные данные, могут быть разнообразны. Одним из наиболее распространённых факторов, приводящих к данной ситуации, является низкая подготовка сотрудников [4]. Широко известно, что сегодня многие компании в погоне за прибылью нанимают на должности операторов низкоквалифицированных сотрудников с целью уменьшить затраты на заработную плату. К сожалению, результатом является не только низкие затраты, но и низкий уровень качества работы, в том числе повышение числа допущенных нерегулярных ошибок при вводе информации. Технологии предотвращения ввода некорректных данных на уровне программных средств на сегодняшний день широко изучены. Тем не менее, полноценного решения данной проблемы не существует.

Другой причиной большого числа ошибок может являться плохое физическое или психологическое состояние оператора или его чрезмерная загруженность. В этом случае число ошибок во вносимой информации возрастёт, в то время как общая производительность труда сотрудника снизится. Тенденция внесения оператором ошибок в данном случае принимает систематический характер и может быть выявлена программным путём. Отслеживание подобных ситуаций и их своевременное выявление в значительной мере позволит не только устранить ошибки путём перепроверки данных, введённых в период аномального поведения сотрудника, но и даст возможность принять без опоздания управленческие шаги, балансирующие нагрузку между операторами, с учётом их состояния.

Кроме того, как показано многими отечественным и зарубежными авторами, контроль за психологическим состояние команды, крайне важен с точки зрения эффективности производства. Например, Клаудио Фернандес-Араос в своей книге [5] показывает, насколько может влиять на прибыль компании внутреннее состояние коллектива, доказывая, что этот фактор не менее важен, чем профессиональные компетенции сотрудников. Причём большую роль играет не только фактор внутрикомандного взаимодействия и общий психологический климат, но и состояние отдельных лиц. Зачастую невнимательность руководства, как показывают в своих работах Кинд Н. [6], Занинотто Л. [7] и Брилей Дж. [8], может приводить к профессиональному выгоранию ведущих сотрудников.     Своевременное выявление отрицательной динамики психологической обстановки в коллективе и снижения производительности отдельных лиц или команды в целом является крайне актуальной задачей для получения прибыли и эффективного решения поставленных задач.

Третьим, но не менее важным факторов возникновения ошибок данных является преднамеренное вредительство. Причины подобных поступков могут быть сколь угодно разнообразны, начиная от желания получить выгоду и заканчивая банальными обидами на какие-либо взыскания или низкую оценку со стороны коллег.

Таким образом, для успешного ведения бизнеса современные компании нуждаются в эффективных средствах, позволяющих отслеживать изменения в психологическом состоянии сотрудников, падение эффективности их работы или нестандартные отклонения в поведении, характерные для ситуаций преднамеренного вредительства. При этом стоит отметить, что прямые действия не являются решением. Введение регулярного психологического контроля на уровне общения с врачом также, как и внедрение очевидных средств слежения за действиями на компьютере, таких как KickDlr [9] или HubStaff [10], могут не только привести к отрицательному результату, но и стать причинами увольнения персонала. В таких условиях требуется деликатный механизм, позволяющий решать данную задачу без прямого вмешательства в трудовой процесс или личную жизнь сотрудников. Исследования, проведённые многими авторами, такими, как, например, Т.А. Гайфулин [11], показывает отсутствие готовых решений, базирующихся только на удалённом анализе деятельности сотрудника. Таким образом, можно говорить об отсутствие актуальных решений данной задачи.

С другой стороны, десктопные приложения всё больше уступают позиции системам, базирующимся на основе веб-технологий. Наиболее ярко это выражается в компаниях, имеющих распределённую филиальную сеть с центральным управлением. Причем, чем больше удалены филиалы от центра, тем сложнее выполнять свои задачи системным интеграторам и разработчикам централизованных информационных систем, так как наиболее качественное программное обеспечение может быть создано только в тесном контакте со всеми группами потенциальных пользователей. Одной из важнейших задач в таких условиях является задача оценки эффективности обновлений программного обеспечения без непосредственного контакта с удалёнными пользователями. Причём наибольшую сложность представляет собой оценка эффективности интерфейсных элементов обновления.

Существующие на сегодняшний день подходы к оценке интерфейсной части приложения обычно сводятся либо к взаимодействию с пользователем, или к разложению всех действий пользователя на отдельные элементы. Подходы, использующие общение с пользователями, например фокус-группы, экспертная оценка, прототипирование, хороши в том случае, если география компании и её бизнес-организация допускают такую возможность. К сожалению, в большинстве ситуаций в компаниях с разветвлённой сетью филиалов и низким уровнем взаимодействия между разработчиком и пользователями использование данных подходов невозможно. Одним из самых известных методов оценки эффективности взаимодействия с пользователем, базирующемся на разделении операций на отдельные компоненты и оценке их времени выполнения, является технология GOMS [12], предложенная С.К. Кад, Т.П. Моран и А Ньювеллом в 1983 году. К сожалению, многие пользователи при работе с крупным веб-приложением используют нелинейный подход, переходя вовремя выполнения одного действия к другому или даже другим действиям параллельно. При этом в журнал веб-приложения полностью нарушается формируемый порядок компонент, составляющих операции. Из-за этого использование данного подхода не является оптимальным для оценки эффективности интерфейсных обновлении веб-приложений без использования длительного тестирования.

Решением всех рассмотренных проблем может быть исследование поведения сотрудников с точки зрения их взаимодействия с информационными системами. Таким образом, можно говорить об актуальности вопроса построения математической модели поведения сотрудника на основе набора данных из журналов комплекса веб-ориентированных систем и разработки на её основе программного комплекса для выявления участков нестандартного поведения сотрудников и оценки эффективности деятельности, как отдельных представителей персонала, так и целых подразделений компании.

Материалы и методы

Очевидно, что поступки человека в общем случае предсказать невозможно. Тем не менее, если рассматривать сотрудника с точки зрения выполнения им монотонной регулярной работы оператора, то при условии постоянной равномерной загруженности и одинакового распорядка рабочего дня, можно говорить о математическом описании изменения поведения сотрудника, как некоторой функции времени. При этом стоит учитывать, что для каждого человека характерны суточные биоритмы, определяемые его хронотипом [13]. Кроме того, на поведение сотрудника влияют хронологические циклы бизнес-процессов компании. К последнему могут относиться такие факторы, как изменений притока клиентов в зависимости от времени суток и дня недели, наличие различных регулярных организационных мероприятий (например, совещаний), длительность самих производственных операций (например, влияние факта завершения банковского дня на уменьшение потока клиентов банков в конце рабочего дня) и т.д. Таким образом, введём ряд обозначений. Пусть T – время одного законченного хронологического цикла бизнес-процессов компании. Чаще всего значение данного параметра будет задаваться, как одна неделя. Пусть t – это шаг дискретизации модели. N – количество шагов дискретизации, соответствующих одному периоду T: N = T / t. Тогда поведение человека с точки зрения ERP-системы можно описать, как вектор-функция:

где f_i(t) – это функция, описывающая i-й аспект работы сотрудника (далее характеристика), t – время, m – общее число важных характеристик работы сотрудника. Под характеристиками мы можем понимать действия сотрудников в различных информационных системах. Деление на характеристики может быть осуществлено и внутри одной системы, по принципиально разным направлениям работы или по различным особенностям одного направления деятельности, например, количество банковских операций и объём проведённого финансирования.

Очевидно, что журналы веб-ориентированных информационных систем – это дискретное по времени пространство. Таким образом, функции f_i(t) – это дискретные функции, значения которых получены путём агрегирования данных (суммирования, подсчёта или каких-либо других операций) для каждого отрезка времени t.

Так как в течении различных периодов времени T поведение сотрудника, хоть и носит схожий характер, но в целом может быть различно, то для оценки изменений поведения сотрудника нельзя просто сравнить значения вектор-функции, полученные в течении двух соседних периодов. Тем не менее, если построить некоторую усреднённую модель поведения сотрудника на основе нескольких отрезков времени T, то можно оценить уровень отклонения поведения сотрудника от данной модели по сравнению с другими периодами.

Пусть e – некоторая эмпирическая величина в пределах от 10 до 30. Тогда модель поведения сотрудника получим в результате следующего итерационного процесса:

1)    j = 1;

2)    Рассчитываем вектор-функцию F(t), путём аппроксимации каждой из компонент f_i(t) на участке j b-сплайнами [14], построенными на основе линии наименьших квадратов F_i(t) (см. рис. 1):

3)    Рассчитываем для каждой функции F_i(t) оценочные параметры, в том числе: F_imax – максимальное отклонений функции F_i(t) от функции f_i(t) в большую сторону, F_imin – максимальное отклонений функции F_i(t) от функции f_i(t) в меньшую сторону, F_isq – сумма квадратов отклонений функции F_i(t) от функции f_i(t), F_iwav – число полных волн функции f_i(t) относительно функции F_i(t), F_ifre – частота отклонений функции f_i(t) относительно функции F_i(t).

4)    Для отрезка j + 1 рассчитываем собственные значения отклонений f(t) от F(t). Если по какому-либо из параметров F_imax, F_imin, F_isq, F_iwav, F_ifre разница на отрезках j и j + 1 превышает в процентах значение e, то считаем модель не устоявшейся и переходим к шагу 5, иначе останавливаем процесс и считаем F(t) моделью поведения сотрудника.

5)    Для всех отрезков T_j участков 1 .. j + 1 рассчитываем средние значения функций f(t):

где  – это значение функции f₁(t) на l-ом шаге дискретизации времени t p-ого по счёту хронологического цикла T_p.

Рис. 1. Характеристики работы сотрудника и их модели для T = 1 день

6)    Устанавливаем j = j + 1.

7)    Переходим к шагу 2, заменяя исходную функцию f_i(t) на g_i(t).

Используя полученную модель поведения сотрудника, можно выявить отрезки, на которых его поведение было нестандартно, вычислить, как изменилось поведение сотрудника после ввода в эксплуатацию новых обновлений и принять управленческие решения.

Для выявления нестандартного поведение сотрудника предварительно выполняется расчёт экстремальных значений параметров F_imax, F_imin, F_isq, F_iwav, F_ifre относительно построенной модели по всем вошедшим в ней отрезкам времени T_p для p = 1 .. j._. Полученные значения сравниваются со значениями тех же самых параметров нового отрезка T_{j + 1} времени работы сотрудника. Степень отклонения получается как, отношение максимальной достигнутой разницы в процентах к величине e.

Так как с течением времени эффективность работы сотрудника может возрастать или, что менее желательно, падать, то для её распространения на участки, значительно удалённые от области построения модели, необходимо включить в расчёт учёт тренда в поведении сотрудника. Вектор-функция тренда h(t) получается аппроксимацией характеристик поведения сотрудника обычным линейным трендом на каждом из отрезков шага дискретизации (см. рис. 2).

Тогда итоговая модель поведения сотрудника будет описываться как F’(t) = F(t) + h(t).

Результаты и обсуждение

На основе полученной математической модели авторами был разработан веб-ориентированный программный комплекс, позволяющий исследовать поведение сотрудников и искать в нём аномальные участки с целью их последующего анализа на предмет обнаружения некорректности данных.

Так как возможности создать полностью универсальный продукт не было, то было принято решение разработать систему, ориентируясь на один из популярных фреймворков для веб-разработки. Был проведён подробный анализ рынка веб-ориентированных информационных систем и выбрана наиболее оптимальная комбинация по отношению востребованность-цена-скорость разработки.

Рис. 2. Учёт тренда при построении модели

Согласно статистическим данным австралийского агентства BuiltWith [15] одним из наиболее востребованных веб-фреймворков, базирующихся на современных объектно-ориентированных языках является Ruby on Rails. С другой стороны, простота и скорость разработки веб-приложений на основе Ruby on Rails [16] даёт неоспоримое преимущество для выбора данного фрейморка в качестве основного средства разработки. При этом стоит отметить, что применения Ruby on Rails для решения сложных комплексных задач показано в работах многих авторов. Например. Д.Ю Куприянов в своих работах [17, 18] показывает применимость Ruby on Rails для решения задач автоматизации университета. П. Вагстрём [19] показывает ещё более широкую область применения Ruby on Rails.

Особенным преимуществом Ruby on Rails является наличие готовых средств преобразования моделей данных в универсальный формат JSON. Это позволяет легко обмениваться информацией между различными информационными системами, созданными на данной платформе. Также к преимуществам фреймворка Ruby on Rails стоит отнести и наличие большого числа вспомогательных средств разработки, таких как, например, IDE-платформы [20].

Для разработки интерфейсной части на основе сравнительного анализа, выполненного В.В. Бастрикиной [21] был выбран свободно распространяемый фреймворк Bootstrap.

Для удобства анализа найденных аномальных участков поведения сотрудников в программный комплекс встроена система отображения истории изменения объектов на основе формата PaperTrail и система отображения истории действия пользователя на основе формата Ahoy. Данные средства позволяют аналитику сразу по получении сигнала о нестандартном поведении сотрудника провести поиск возможных негативных последствий обнаруженного отклонения. Пример работы системы показан на рис. 3.

Рис. 3. Сигнализация о найденных отклонениях в поведении сотрудников

Выводы

Разработанная система апробирована на ERP-системе НИЯУ МИФИ и его филиальной сети. В исследовании были включены корпоративный портал университета, информационная система кадрового учёта, информационная система учёта контингента обучающихся. Применение системы позволило обнаружить и исправить ряд критических ошибок данных в рамках информации о движении контингента обучающихся. Кроме того, на основе анализа моделей поведения сотрудников были подготовлены рекомендации о совершенствовании штатного обеспечения ряда отделов.

Одной из возможных областей применения разработанной математической модели и программного комплекса является учёт эффективности работы сотрудников различных подразделений университета в рамках расчёта показателей KPI.

Библиографический список

1. Vetter A. Detecting operator errors in cloud maintenance operations // Proceedings of the International Conference on Cloud Computing Technology and Science, CloudCom, – Luxembourg City, 2016, – С. 639-644.
2. Vetter A. Detecting operator errors in cloud computing using anti-Patterns // Proceedings of 7th International Symposium on Data-Driven Process Discovery and Analysis, SIMPDA 2017, – 2017, – С. 68-82.
3. Lavrov E., Tolbatov A., Pasko N., Tolbatov, V. Cybersecurity of distributed information systems. The minimization of damage caused by errors of operators during group activity // Proceedings of 2nd International Conference on Advanced Information and Communication Technologies, AICT 2017, – Lviv, 2017, – С. 83-87.
4. Reason J.T. The human contribution: unsafe acts, accidents and heroic recoveries, – Ashgate, 2008. – 277c.
5. Fernández-Aráoz C. It's Not the How or the What but the Who: Succeed by Surrounding Yourself with the Best, – HBRP, 2014. – 244c.
6. Kind N., Eckert, A, Steinlin, C., Fegert, J.M., Schmid, M. Verbal and physical client aggression – A longitudinal analysis of professional caregivers’ psychophysiological stress response and burnout // Psychoneuroendocrinology, Vol. 94, 2018, – С.11-16.
7. Zaninotto L., Rossi G., Danieli, A., Frasson A., Meneghetti L., Zordan M., Tito P., Salvetti B., Conca A., Ferranti R., Salcuni S., Solmi M. Exploring the relationships among personality traits, burnout dimensions and stigma in a sample of mental health professionals // Psychiatry ResearchVol. 264, 2018, – С.327-333.
8. Brearley, J. Personal experience of professional burnout // Veterinary Record, Vol. 182, Iss. 16, 2018, – С.i-ii.
9. https://www.kickidler.com/ – официальный сайт системы мониторинга KickDler (дата последнего обращения 22.06.2018).
10. https://hubstaff.com/employee_monitoring – официальный сайт системы мониторинга HubStaff (дата последнего обращения 22.06.2018).
11. Гайфулин Т.А., Костомаров Д.С. Анализ современных систем мониторинга // Известия Тульского государственного университета. Технические науки. – 2013, Вып. 9., Ч. 2, – С.51-55.
12. Raskin J. The Humane Interface: New Directions for Designing Interactive Systems, – Addison-Wesley Professional, 2000 – 233 c.
13. Baran, D., Apostol, I. Signification of biorhythms for human performance assessment // Revista medico-chirurgicalǎ̌ a Societǎ̌ţii de Medici ş̧i Naturaliş̧ti din Iaş̧i, Vol. 111, Iss. 1, 2007, – С.295-302.
14. Алберг, Дж. Теория сплайнов и ее приложения. – М.: Мир, 1972. – 319 c.
15. http://trends.builtwith.com/framework – статистика использования различных фреймворк-технологий в сети интернет по информации компании BuiltWith Pty Ltd (дата последнего обращения 22.06.2018).
16. Hartl M. Ruby on Rails Tutorial: Learn Web Development with Rails. – Addison-Wesley, 2015, – 707 с.
17. Куприянов Д.Ю., Радыгин В.Ю., Лукьянова Н.В. Применение механизмов Ruby on Rails для построения информационных систем вуза // Итоги и перспективы интегрированной системы образования в высшей школе России: образование – наука – инновационная деятельность. Труды конференции. – М., МГИУ, 2011 – С237-239.
18. Куприянов Д.Ю., Радыгин В.Ю. Применение информационных технологий для организации интернет-тестирования студентов МГИУ // Итоги и перспективы интегрированной системы образования в высшей школе России: образование – наука – инновационная деятельность: Труды конференции. – Москва: МГИУ, 2011 – С239-241.
19. Wagstrom, P., Jergensen, C., Sarma, A. A network of rails: A graph dataset of ruby on rails and associated projects // Proceedings of IEEE International Working Conference on Mining Software Repositories, 2013, – С229-232.
20. Шелудько С.Д., Науменко А.М., Радыгин В.Ю. Построение рабочего места Ruby on Rails-разработчика на базе IDE Netbeans // ИТПортал, № 2 (14), 2017, – № статьи 4.
21. Бастрикина, В. В. Сравнительный анализ адаптивных css фреймворков // Актуальные проблемы авиации и космонавтики. – 2016, – С.595-596.


References

1. Vetter A. Detecting operator errors in cloud maintenance operations. Proceedings of the International Conference on Cloud Computing Technology and Science, CloudCom, Luxembourg City, 2016, P. 639-644.
2. Vetter A. Detecting operator errors in cloud computing using anti-Patterns. Proceedings of 7th International Symposium on Data-Driven Process Discovery and Analysis, SIMPDA 2017, 2017, P. 68-82.
3. Lavrov E., Tolbatov A., Pasko N., Tolbatov, V. Cybersecurity of distributed information systems. The minimization of damage caused by errors of operators during group activity. Proceedings of 2nd International Conference on Advanced Information and Communication Technologies, AICT 2017, Lviv, 2017, P. 83-87.
4. Reason J.T. The human contribution: unsafe acts, accidents and heroic recoveries, Ashgate, 2008, 277p.
5. Fernández-Aráoz C. It's Not the How or the What but the Who: Succeed by Surrounding Yourself with the Best, HBRP, 2014, 244p.
6. Kind N., Eckert, A, Steinlin, C., Fegert, J.M., Schmid, M. Verbal and physical client aggression – A longitudinal analysis of professional caregivers’ psychophysiological stress response and burnout. Psychoneuroendocrinology, Vol. 94, 2018, Pp.11-16.
7. Zaninotto L., Rossi G., Danieli, A., Frasson A., Meneghetti L., Zordan M., Tito P., Salvetti B., Conca A., Ferranti R., Salcuni S., Solmi M. Exploring the relationships among personality traits, burnout dimensions and stigma in a sample of mental health professionals. Psychiatry ResearchVol. 264, 2018, Pp.327-333.
8. Brearley, J. Personal experience of professional burnout. Veterinary Record, Vol. 182, Iss. 16, 2018, Pp.i-ii.
9. https://www.kickidler.com/ – oficial'nyj sajt sistemy monitoringa KickDler (data poslednego obrashcheniya 22.06.2018).
10. https://hubstaff.com/employee_monitoring – oficial'nyj sajt sistemy monitoringa HubStaff (data poslednego obrashcheniya 22.06.2018).
11. Gajfulin T.A., Kostomarov D.S. Analiz sovremennyh sistem monitoringa . Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. 2013, Vyp. 9., CH. 2, Pp.51-55.
12. Raskin J. The Humane Interface: New Directions for Designing Interactive Systems, Addison-Wesley Professional, 2000, 233 p.
13. Baran, D., Apostol, I. Signification of biorhythms for human performance assessment. Revista medico-chirurgicalǎ̌ a Societǎ̌ţii de Medici ş̧i Naturaliş̧ti din Iaş̧i, Vol. 111, Iss. 1, 2007, Pp.295-302.
14. Alberg, Dzh. Teoriya splajnov i ee prilozheniya. M.: Mir, 1972, 319p.
15. http://trends.builtwith.com/framework – statistika ispol'zovaniya razlichnyh frejmvork-tekhnologij v seti internet po informacii kompanii BuiltWith Pty Ltd (data poslednego obrashcheniya 22.06.2018).
16. Hartl M. Ruby on Rails Tutorial: Learn Web Development with Rails. – Addison-Wesley, 2015, – 707p.
17. Kupriyanov D.YU., Radygin V.YU., Luk'yanova N.V. Primenenie mekhanizmov Ruby on Rails dlya postroeniya informacionnyh sistem vuza. Itogi i perspektivy integrirovannoj sistemy obrazovaniya v vysshej shkole Rossii: obrazovanie – nauka – innovacionnaya deyatel'nost'. Trudy konferencii. M., MGIU, 2011, Pp237-239.
18. Kupriyanov D.YU., Radygin V.YU. Primenenie informacionnyh tekhnologij dlya organizacii internet-testirovaniya studentov MGIU. Itogi i perspektivy integrirovannoj sistemy obrazovaniya v vysshej shkole Rossii: obrazovanie – nauka – innovacionnaya deyatel'nost': Trudy konferencii. Moskva: MGIU, 2011, Pp239-241.
19. Wagstrom, P., Jergensen, C., Sarma, A. A network of rails: A graph dataset of ruby on rails and associated projects. Proceedings of IEEE International Working Conference on Mining Software Repositories, 2013, Pp.229-232.
20. SHelud'ko S.D., Naumenko A.M., Radygin V.YU. Postroenie rabochego mesta Ruby on Rails-razrabotchika na baze IDE Netbeans. ITPortal, No2 (14), 2017, No stat'i 4.
21. Bastrikina, V. V. Sravnitel'nyj analiz adaptivnyh css frejmvorkov. Aktual'nye problemy aviacii i kosmonavtiki. 2016, Pp.595-596.

Tweet

Яндекс.ВиджетINNOV