Academic literature on the topic 'Обробка великих даних'

Прогрес інформаційних технологій, доступність обчислювальних потужностей, наявність великих наборів даних, розвиток технологій штучного інтелекту, машинного і глибокого навчання дали поштовх розвитку цифрової гістології. Сучасні дослідження спрямовані на створення єдиного стандартизованого рішення цифрової гістології, яке відповідатиме рівню діагностичної точності традиційної світлової мікроскопії. В статті представлено результати аналізу поточного стану і перспектив використання інформаційних технологій для цифровізації процедур патогістологічного дослідження. Розглянуто напрямки цифрової гістології, що включають телепатологію, цифрову патологію, аналіз зображень мікроскопій гістологічних препаратів та аналітику даних. Розглянуто основні технології цифрової гістології за напрямками, які, перетинаючись, доповнюють один одного. Визначено поточні завдання і проблеми цифрової гістології, а також напрямки досліджень у відповідності до задач аналізу і пошуку ефективних рішень у цій галузі. Формалізовано наступні основні етапи цифрової гістології: формування оптичного зображення мікроскопом, обробка цифрового зображення, передача даних по мережі, їх відображення на моніторі та формування патогістологічного висновку, який, в свою чергу, містить розпізнавання та аналіз гістологічних зображень, інтерпретацію і валідацію отриманих результатів, оцінку ефективності використовуваних аналітичних моделей. Виділено основні обмеження цифрової гістології, пов'язані з технологіями розпізнавання гістологічних зображень. Розглянуто умови валідації досліджень та інструментів цифрової гістології, які повинні бути належним чином перевірені з використанням репрезентативних даних для забезпечення узагальнення підходів і сумісності. Обґрунтовано задачі подальших досліджень у вигляді удосконалення процесу розпізнавання та аналізу гістологічних зображень з використанням технології глибокого навчання, яка показує високу точність сегментації, виявлення та класифікації при аналізі зображень мікроскопій гістологічних препаратів.

У статті розглянуто проблему обробки та аналізу великих об’ємів даних. Сьогодні, у зв’язку з появою джерел інформації, які можуть продукувати великі обсяги даних, оброблення даних стає все складнішим. Для вирішення поставленої проблеми розроблено велику кількість технологій специфічного призначення, проте більшість з них можна зарахувати до двох парадигм обробки даних, а саме потокової та пакетної. В цій статті розглянуто вищенаведені парадигми та технології, які застосовують для прийняття рішень щодо обробки даних, та спробуємо окреслити характеристики, які потрібно брати до уваги під час побудови систем обробки даних. На основі найперспективніших рішень наведемо також реалізацію системи збору та аналізу даних з пристроїв IoT.

Актуальність. Процедури перкутанної ризотомії (ПР) в лікуванні класичної тригемінальної невралгії (КТН), за своєї достатньої ефективності, мають значний відсоток не-вдач та рецидивів болю. Вибір іншого втручання дуже складний, оскільки дані щодо лікування рецидивів КТН обмежені. Мета дослідження. Дослідити, чи впливають раніше проведені перкутанні втручання на ефективність та безпечність “золотого стандарту” лікування КТН – мікросудинної декомпресії (МСД). Матеріали та методи. Ретроспективний аналіз 28 послідовних випадків проведення МСД з приводу рецидиву КТН після ПР за період 2015–2016 рр. Категоризація даних та статистична обробка. Контрольна група 66 МСД у пацієнтів з КТН без будь-яких попередніх процедур. Використовувались шкали BNI для болю (BNI PS) та заніміння (BNI NS). Результати дослідження та їх обговорення. Інтраопераційні знахідки: атрофія та деколорація трійчастого нерва – в 9 випадках (32 %); щільні арахноїдальні злуки з деформацією корінця – в 13 випадках (46,7 %); “молочне” помутніння павутинної оболони – в 5 (17,8 %); в одному випадку конфлікт не виявлено (3,6 %). Середній після-операційний бал за шкалою BNI PS склав 2,21 і статистично не відрізнявся від контрольної групи – 1,95. Під час останнього контролю бал BNI PS був нижчим у групі виключно МСД (1,43 проти 2,43; P = 0,0006; 95 % ДІ 0,5918–1,9987). BNI NS та інші показники нейропатії були вищими в групі ПР (2,5 проти 1,3; P < 0,0001; 95 % ДІ 0,6697–1,6541). Серед них 100 % мали клінічно суттєву нейропатію та 57 % мали дизестезії, на відміну від 27 % та 7 % відповідно в групі виключно МСД . Поява або погіршення симптомів нейропатії спостерігались у 5 пацієнтів (17,9 %). Додаткові ризики розвитку нейропатичних проявів ймовірно обумовлені деструктивним характером перкутанних втручань. Висновки. Процедура МСД, як більш патогенетично обґрунтована, лишається втручанням вибору для пацієнтів із рецидивами КТН після раніше проведених ПР. Результати у цієї категорії пацієнтів гірші, ніж після пер-винної МСД. Перспективи подальших досліджень. Багатоцентрові дослідження з мультифакторним аналізом великих масивів даних. Конфлікт інтересів. Відсутній.

Завдання оптимального проектування багатофазної системи обробки великих даних (БФСОВД) при високоінтенсивному вхідному потоці потребують застосування сучасних математичних і комп'ютерних методів та засобів. Предметом дослідження є ресурси багатофазної системи обробки великих даних. Мета дослідження – розроблення методу оптимального розподілу ресурсів БФСОВД при високоінтенсивному вхідному потоці, котрий враховує як можливість проведення аналізу даних у режимі реального часу, так і особливостей високоінтенсивного потоку вхідних даних із багатьох джерел. Результати. Визначено особливості високоінтенсивних потоків вхідних даних та показана можливість апроксимації його з достатньою точністю гауссівським розподілом. Також визначені особливості функціонування багатофазних систем та запропонована схема функціонування багатофазної системи обробки великих даних. Базуючись на отриманих результатах розроблена математична модель процесу оптимізаціі розподілу ресурсів багатофазної системи обробки великих даних при високоінтенсивному вхідному потоці. Для цього використано метод динамічного програмування. Висновок. В результаті отримана мінімальна кількість каналів в кожній фазі БФСОВД, при якій середній час аналізу даних в системі буде мінімальним.

Розглядаються механізми візуалізації для побудови термінологічних хмар. На прикладі JSON, HTML, CSV, XLSX, XML, TXT наведений перелік типів файлів та ресурсів. Проаналізовано можливості добування та збереження вхідних даних. Проведено дослідження аналогічних систем, на основі якого було обрано два оптимальні типи файлів, а саме CSV та TXT. Виявлено підхід формування списку ключових слів для наукових публікацій або виокремлення провідної тематики різних текстів. Встановлено, що у разі необхідністі обробки великих текстів спільної спрямованості, якими наприклад можуть бути літературні твори, наукові статті, судові вироки тощо, достатнім буде використання малих веб-додатків для побудови тегових хмар. Тегові хмари на основі алгоритму k-середніх здатні досить ефективно виявити ключові поняття, найбільш уживані слова та провідні концепції. При порівнянні між собою форматів CSV та TXT, було підтверджено, що швидкість обробки залежить скоріше від об’єму вхідної інформації, ніж від структури файлу. Звідси, можна стверджувати, що використання одного або іншого формату зумовлено вибором користувача. Проведено аналіз з якого відзначено, що формат CSV потребує верхнього рядка, в якому вказують атрибути. Для більшої коректності подальшого аналізу, атрибути слід вказати і формувати кожний наступний рядок даних строго по черзі. Така незначна особливість структури допомагає досліднику орієнтуватися серед набору текстової інформації, а при подальшій обробці перший рядок можна не враховувати. На відміну від попереднього формату, формат TXT не потребує формування першого рядка атрибутів. Це ускладнює візуальне сприйняття наявної інформації. Не рекомендовано вводити атрибути самостійно, в подальшому при обробці це буде впливати на коректність результатів кластеризації в негативний бік.

У статті проаналізовано причини виникнення та наслідки небезпечних ситуацій під час руху судна та визначено необхідність застосування індивідуально-адаптованого підходу для підтри ки прийняття рішення. Запропоновано підхід щодо оперативного контролю та підтри ки дій судноводія, в основі якого лежить використання індивідуально адаптованої нейро ережевої оделі його діяльності, що реалізує особливості управлінських реакцій при небезпечних режи ах плавання. Такі оделідозволяють здійснювати виявляти та перехоплювати по илки судноводія в процесі реалізації прийнятого рішення. Прогнозу точності приведення судна в тер інальну точку траєкторії аневру на основі поточного вектору стану, забезпечує своєчасність визначення ситуації. Складність завдання прогнозування ситуацій в небезпечних режи ах управління за рахунок визначення по илок судноводія виникає через не ожливість чіткої постановки відповідності з ін вхідних і вихідних пара етрів стану, в яко у знаходиться або до якого прагне об'єкт управління. Найважливіша властивість нечітких нейронних ереж, що свідчить про їх великий потенціал в галузі прогнозування та підтри ки дій судноводія, складається в ожливості паралельної обробки інфор ації усі а нейрона и. Завдяки цій здатності при великій кількості іжнейронних зв'язків досягається одночасно обробка значного обсягу ви ірювальної інфор ації, що надходить ви ірювальної інфор ації в реально у асштабі часу. Структура та пара етри нечітких нейро ережевих оделей визначаються на основі обробки даних попередніх дій, виконаних конкретни судноводіє на конкретно у судні, та безперервно уточняються по ірі надходження нових даних. Використана класифікація по илок судноводія при прийнятті рішень в процесі управління суден дозволило розробити процедури реагування на них. Запропонований підхід дозволяєузгодити технічний та біологічний сег ент ергатичної систе и «судноводій ⸺ судно» та знизити вплив людського фактору в небезпечних ситуаціях під час руху судна. Ключові слова: судно,судноводій, ситуація небезпечного зближення, навігаційна обстановка, ергатична систе а, людський фактор.

В роботі подано огляд методів інтелектуальної обробки даних у системах промислового Інтернету речей. Наведено порівняння методів аналізу великих даних у промислових системах зі значним навантаженням. Запропоновано використовувати для опрацювання даних методи розподіленого машинного навчання. Розроблено програмну модель для аналізу даних різних обсягів. Проаналізовано основні підходи до організації машинного навчання: федеративне і нерозподілене навчання. Експериментально доведено ефективність вико- ристання федеративного машинного навчання, оскільки воно забезпечує вищу точність об- роблення даних, навіть у разі збільшення їх обсягів. Визначено, що нерозподілене машинне навчання працює швидше, отже, може використовуватися в системах, пріоритетом для яких є менший час обробки даних. Такий підхід відкриває можливості створення адаптивної моделі системи промислового Інтернету речей, що здатна самонавчатися та коригувати власну інфраструктуру залежно від зміни параметрів.

У статті представлені результати аналізу роботи асоціативних алгоритмів пошуку правил для обробки великих даних. Розглянуто найвідоміші модифікації алгоритмів Апріорі для пошуку асоціативних правил. Представлені результати дослідження ефективності лінійн

У статті представлені результати аналізу роботи асоціативних алгоритмів пошуку правил для обробки великих даних. Розглянуто найвідоміші модифікації алгоритмів Апріорі для пошуку асоціативних правил. Представлені результати дослідження ефективності лінійн

Ця стаття присвячена знаходженню умов рiвномiрної збiжностi з ймовiрнiстю одиниця вейвлет розкладiв класу випадкових процесiв iз просторiв Fψ(Ω). Вивчення загальних властивостей таких випадкових процесiв, отримання оцiнок розподiлу функцiоналiв вiд процесiв з тих чи iнших просторiв випадкових величин, встановлення умов рiвномiрної збiжностi випадкових функцiональних рядiв є одними iз поширених задач теорiї випадкових процесiв. Вейвлет аналiз є достатньо молодою галуззю математики з багатьма цiкавими проблемами й задачами. Однак дану теорiю, зокрема вейвлет розклади функцiй, на даний час широко використовують як у теорiї випадкових процесiв, так i у рiзних областях науки. Наприклад, вейвлет аналiз активно застосовується для фiльтрацiї i попередньої обробки даних, аналiзу стану i прогнозування ситуацiї на фондових ринках, розпiзнавання образiв, при обробцi i синтезi рiзних сигналiв, зокрема при обробцi мовних сигналiв, бiомедичних сигналiв, для розв’язання завдань стиснення i обробки зображень, при навчаннi нейромереж i в багатьох iнших випадках. Тому є актуальною задача знаходження умов рiвномiрної збiжностi вейвлет розкладiв класу випадкових процесiв iз просторiв Fψ(Ω). У данiй роботi ми зосереджуємося на основних властивостях просторiв Fψ(Ω) та деяких елементах теорiї вейвлетiв. На початку статтi наведено основнi означення, теореми, приклади випадкових величин з просторiв Fψ(Ω) та поняття i властивостi мажоруючої характеристики цього простору. Далi подано необхiднi вiдомостi з вейвлет аналiзу, зокрема: означення f-, m-вейвлетiв та умови S, а також умови розкладу функцiй по цим базисам. Також наведено умови рiвномiрної збiжностi з iмовiрнiстю одиниця вейвлет розкладiв деяких функцiй. Основним результатом статтi є умови рiвномiрної збiжностi вейвлет розкладiв випадкових процесiв iз просторiв Fψ(Ω). Данi умови базуються на оцiнках розподiлу супремуму на R випадкових процесiв iз просторiв Fψ(Ω) та рiвномiрної неперервностi сепарабельного вимiрного випадкового процесу X = {X(t), t ∈ R} з простору Fψ(Ω) на деякому вiдрiзку. Також, наведено приклади функцiй, для яких виконується одна iз умов теореми про оцiнку мажоруючої характеристики κ(n) простору Fψ(Ω)

Науковий керівник – к.т.н., доцент Чуприна А.С.
The purpose of this work is to overview and analyze main technologies that are used to orchestrate tasks in process of building Big Data processing pipelines, their advantages and disadvantages in order to propose the most efficient and flexible ways to organize them, monitor, measure and make them fault tolerant and idempotent.

Роговенко, А. І. Методи та інформаційна технологія прискореного обчислення великих даних для систем розподіленої обробки інформації : дис. ... канд. техн. наук : 05.13.06 / А. І. Роговенко. - Чернігів, 2021. - 178 с.
Дисертація присвячена дослідженню актуальних проблем підвищення ефективності цифрових обчислювальних засобів алгоритмів кодування/декодування завадостійких кодів шляхом зменшення складності реалізації за умови високої швидкості й великого об’єму вхідного потоку даних, із використанням особливостей і властивостей апаратної платформи сучасної мікропроцесорної техніки. У першому розділі дисертаційної роботи проаналізовано сучасний стан і перспективи прискорення обчислень у сучасних системах розподіленої обробки інформації. Особлива потреба в прискорювачах виникає у криптографічних системах та системах завадостійкого кодування, де суттєву частину всіх обчислювальних перетворень над великими даними становлять операції в полях Галуа. Проведений аналіз задачі прискорення обчислень у системах розподіленої обробки інформації виявив необхідність зменшення обчислювальної складності реалізації базових операцій, які використовуються в технологіях вирішення задачі виявлення та виправлення помилок у системах розподіленої обробки інформації, зокрема в сучасних системах радіозв’язку. Проаналізовано коди, що використовуються для коригування помилок у сучасних системах радіозв’язку, та визначені основні напрямки прискорення процесу кодування/декодування при використанні алгебраїчних кодів. На основі аналізу було визначено, що процес кодування/декодування базується на апараті арифметики скінчених полів. Таким чином, спрощення та прискорення виконання операції в полях Галуа має привести до зменшення обчислювальної складності реалізації процедур кодування/декодування завадостійких кодів. Проведений аналіз основних методів обчислень операцій у полях Галуа, виявив, що більш пріоритетною є задача спрощення та прискорення виконання операцій додавання, як складових операцій множення, піднесення до степеня та інших. На основі аналізу існуючих методів обчислень операцій у полях Галуа було зроблено висновок, що сучасні широко представлені реалізації блоків обчислення операцій у скінчених полях мають обмеження та недоліки, які призводять до зменшення використовуваності алгебраїчних кодів у вирішеннях задачі виявлення та виправлення помилок. Отже, необхідно розробити методи підвищення продуктивності спеціалізованих обчислювальних засобів із урахуванням особливостей і властивостей апаратної платформи сучасної мікропроцесорної техніки, складності реалізації та швидкодія яких задовольняла б існуючі вимоги та була прогнозованою залежно від розрядності (розміру) оброблюваних послідовностей. У другому розділі роботи проводиться удосконалення методу прискорення та зменшення апаратних витрат на реалізацію блоків виконання операцій за модулем, розробка структурних рішень та модифікація алгоритмів виконання операцій за модулем. Розроблено та запропоновано метод зменшення апаратних витрат суматора за модулем на основі одновимірного каскаду конструктивних модулів з однорідною структурою. Цей метод базується на введенні у схему ланцюгів наскрізного переносу. Ефект від впровадження цього удосконалення полягає у зменшенні обчислювальної ємнісної складності, що забезпечує зменшення апаратних витрат у середньому на 10 % порівняно з наявним базовим методом. Розроблено та запропоновано удосконалений метод зменшення обчислювальної ємнісної складності реалізації моделі суматора за модулем на основі одновимірного каскаду конструктивних модулів, який, на відміну від раніше запропонованого, використовує конструктивні модулі нерегулярного типу. Встановлено, що модифікацію методу можна застосовувати для зменшення обчислювальної складності в разі некритичності вимог до регулярності структури обчислювача. Використання модифікованого методу дозволяє зменшити обчислювальну ємнісну складність, що забезпечує зменшення апаратних витрат у середньому на 50 % порівняно з наявним базовим методом. Розроблено та запропоновано метод збільшення швидкодії суматора за модулем на основі одновимірного каскаду конструктивних модулів, який, на відміну від відомих, використовує ланцюги групового переносу, що дозволяє підвищити швидкість виконання операцій у 8 разів порівняно з реалізацією базовим методом. Запропоновано модифікацію алгоритму множення та піднесення до степеня за змінним модулем, з урахуванням особливостей застосування моделей суматорів на основі одновимірних каскадів конструктивних модулів, в якому зменшене значення нижньої оцінка часової складності. У третьому розділі запропоновано модель обчислювальних структур завадостійких кодів для виконання операцій за змінним простим модулем над числами великої розрядності, виконано її реалізацію та дослідження. Модель була створена з орієнтацією на адаптацію до елементів операційного обчислювального середовища для забезпечення можливості конструювання необхідних комбінацій виконавчих пристроїв для виконання однотипних арифметичних інструкцій за модулем над числами великої розрядності. Також у цьому розділі виконана адаптація алгоритму обчислення операції множення та піднесення до степеня за модулем з урахуванням особливостей її побудови раніше запропонованим методом одновимірного каскаду. Запропонована структура моделі та алгоритм роботи спрощеного завантаження багаторозрядних операндів до блоків виконання операції за модулем. При реалізації моделі використовувався структурний опис з використанням бібліотеки стандартних ресурсів Xilinx мовою опису апаратури VHDL. Запропонований алгоритм роботи блоку спрощеного завантаження операндів. Цей блок являє собою блок керування без логіки вибору операції, оскільки для дослідження одного конкретного обчислювача вона не потрібна, але може справляти додатковий вплив на характеристики. Розроблена модель обчислювальних структур завадостійких кодів для виконання операцій за змінним простим модулем, як і більшість подібних до неї, рідко використовуються як окрема одиниця та зазвичай являють собою частину складнішої синхронної системи. Таким чином, проведені експерименти вирішили задачу визначення максимальної тактової частоти, на якій може працювати розроблена модель без помилок у обчисленнях вихідної функції. Четвертий розділ присвячений розробці інформаційної технології прискореного обчислення великих даних для систем розподіленої обробки інформації. Інформаційна технологія базується на розроблених раніше удосконалених методах зменшення апаратних витрат та прискорення обчислення великих даних. Інформаційна технологія ґрунтується на розроблених раніше, удосконалених методах зменшення апаратних витрат та прискорення обчислення великих даних. Додатково, для доповнення технології було розроблено: проєкт обчислювальної системи на основі софтпроцесора, проєкт співпроцесора з драйверами до обчислювальної системи, набір програмних функцій мовою С, які реалізують програмне виконання базових операцій, та засоби тестування для моделі обчислювальних структур. Для автоматизації процесу створення та тестування моделей був реалізований набір скриптів та бібліотека моделей мовою VHDL, яка містить моделі обчислювальних структур. Також було розроблено архітектуру та систему команд функціональної моделі співпроцесора, орієнтованого на виконання операцій у скінченних полях.
The dissertation is devoted to research of actual problems of increase of efficiency of digital computing means of algorithms of coding / decoding of noise - tolerant codes by reduction of complexity of realization at the condition of high speed and big volume of an input data stream, using features and properties of a hardware platform of modern microprocessor technics. In the first section of the dissertation the current state and prospects of acceleration of calculations in modern systems of distributed information processing are analyzed. A special need for accelerators arises in cryptographic systems and noise-tolerant coding systems, where a significant part of all computational transformations over big data are operations in Galois fields. The analysis of the problem of computing acceleration in distributed information processing systems revealed the need to reduce the computational complexity of the basic operations used in technologies to solve the problem of detecting and correcting errors in distributed information processing systems, in particular in modern radio systems. The codes used to correct errors in modern radio communication systems are analyzed, and the main directions of accelerating the encoding / decoding process when using algebraic codes are identified. Based on the analysis, it was determined that the encoding / decoding process is based on the finite field arithmetic apparatus. Thus, simplifying and speeding up the operation in Galois fields should reduce the computational complexity of implementing encoding / decoding procedures for noise-tolerant codes. An analysis of the main methods of calculating operations in Galois fields, found that the priority is to simplify and accelerate the execution of addition operations, as components of multiplication, multiplication and others. Based on the analysis of existing methods of computing operations in Galois fields, it was concluded that modern widely implemented implementations of computing units in finite fields have limitations and shortcomings that lead to reduced use of algebraic codes in solving problems of error detection and correction. performance of specialized computing facilities, taking into account the features and properties of the hardware platform of modern microprocessor technology, the complexity of implementation and speed of which would meet existing requirements and be predicted depending on the bit size of the processed sequences. In the second section of the work is the development of improving the method of acceleration and reduction of hardware costs for the implementation of units of operations on the module, development of structural solutions and modification of algorithms for operations on the module. A method for reducing the hardware costs of the adder per module based on a one-dimensional cascade of structural modules with a homogeneous structure is developed and proposed. This method is based on the introduction into the circuit of through transmission circuits. The effect of implementing this improvement is to reduce the computational complexity, which reduces hardware costs by an average of 10% compared to the existing basic method. An improved method for reducing the computational capacity of the modulator adder model implementation based on a one-dimensional cascade of structural modules is developed and proposed, which, in contrast to the previously proposed, uses structural modules of irregular type. It is established that the modification of the method can be used to reduce the computational complexity in the case of non-critical requirements for the regularity of the computer structure. The use of a modified method reduces the computational complexity, which reduces hardware costs by an average of 50% compared to the existing basic method. A method of increasing the speed of the adder modulo based on a onedimensional cascade of structural modules is developed and proposed, which, unlike the known ones, uses group transfer chains, which allows to increase the speed of operations 8 times compared to the basic method. A modification of the algorithm of multiplication and exponentiation by a variable module is proposed, taking into account the peculiarities of the application of adder models based on one-dimensional cascades of structural modules, in which the value of the lower estimate of time complexity is reduced. The third section proposes a model of computational structures of noise-tolerant codes for performing operations on a variable simple module over high-digit numbers, its implementation and research. The model was created with a focus on adaptation to the elements of the operational computing environment to provide the ability to design the necessary combinations of actuators to perform the same type of arithmetic instructions modulo over high-digit numbers. Also in the section the adaptation of the algorithm for calculating the operation of multiplication and exponentiation modulo taking into account the peculiarities of its construction by the previously proposed method of one-dimensional cascade. The structure of the model and the algorithm of work of the simplified loading of multi-bit operands to blocks of performance of operation on the module are offered. The model was implemented using a structural description using the Xilinx standard resource library in the VHDL hardware description language. The algorithm of operation of the block of the simplified loading of operands is offered. This unit is a control unit without the logic of the choice of operation, as for the study of one particular computer, it is not required, but can have an additional impact on performance. Keep in mind that the contribution of the FSL interface and the simplified load scheme to the values of resources and delays may not have characteristics with a high coefficient of determination, as their implementation uses a behavioral description. The model of computational structures of noise-tolerant codes for performing operations on a variable simple module, like most similar ones, is rarely used as a separate unit, and is usually part of a more complex synchronous system. Thus, the experiments solved the problem of determining the maximum clock frequency at which the developed model can work without errors in the calculations of the original function. The fourth section is devoted to the development of information technology for accelerated computation of large data for distributed information processing systems. Information technology is based on previously developed advanced methods to reduce hardware costs and speed up the calculation of big data. Information technology is based on previously developed, improved methods to reduce hardware costs and speed up the calculation of big data. In addition, to complement the technology, a computer processor-based computer system project, a coprocessor project with computer system drivers, a set of C-program functions that implement software execution of basic operations, and testing tools for the computer structure model were developed. To automate the process of creating and testing models, a set of scripts and a library of models in VHDL, which contains models of computational structures, was implemented. The architecture and command system of the functional model of the coprocessor, focused on performing operations in finite fields, were also developed.

Data mining is the selection of information in large amounts of raw data. These data can be different types of materials: photos, graphics, sounds, experimental data, etc. Data mining uses well-researched statistical principles to highlight patterns in the data. By applying data mining algorithms to your data, you can predict trends, highlight patterns, create rules and recommendations, analyze the sequence of events in complex datasets, and discover new dependencies. Patterns and trends can be combined, with the resulting mining models. The process of intellectual analysis consists of certain stages, which include comparisons, classifications, synthesis, repetition, typing, abstraction. In turn, this whole process is directly related to the decision-making process.

Пояснювальна записка містить 54 сторінок, включає 35 рисунків, 2 таблиці, 7 посилань. Метою дипломної роботи є створення інформаційної системи бронювання (залізничних) квитків. Створено клієнтський додаток за допомогою мови програмування Java в середовищі розробки IntelliJ IDEA. Додаток працює з нереляційною розподіленою базою MongoDB. Розроблено програмний продукт бронювання (залізничних) квитків з функціями бронювання квитків з вибором місця для пасажира, авторизації в системі, з наданням різних рівнів доступу, відміною бронювання квитків, бронювання квитків, перегляд вільних для бронювання квитків, користувачів системи, заброньованих квитків, реєстрацією.
The explanatory note contains 54 pages, including 35 illustrations, 2 tables, 7 links. The purpose of the thesis is to create an information system for reservation (rail) tickets. The client application was created using the Java programming language in the IntelliJ IDEA development environment. The application works with a non-relational distributed MongoDB database. A software product was developed for booking (rail) tickets with functions provided by choosing a place for a passenger, authorizing the system, providing different levels of access, refusing to book tickets, booking tickets, viewing free tickets, user accounts.
Целью дипломной работы является создание информационной системы бронирования (железнодорожных) билетов. Создан клиентское приложение с помощью языка программирования Java в среде разработки IntelliJ IDEA. Приложение работает с нереляционные распределенной базой MongoDB. Разработан программный продукт бронирования (железнодорожных) билетов с функциями бронирования билетов с выбором места для пассажира, авторизации в системе, с предоставлением различных уровней доступа, отменой бронирования билетов, бронирование билетов, просмотр свободных для бронирования билетов, пользователей системы, забронированных билетов, регистрации.

Роботу виконано на кафедрі кібербезпеки Тернопільського національного технічного університету імені Івана Пулюя Міністерства освіти і науки України Керівник роботи: кандидат технічних наук, доцент кафедри кібербезпеки Загородна Наталія Володимирівна, Тернопільський національний технічний університет імені Івана Пулюя Рецензент: кандидат технічних наук, професор кафедри комп’ютерних наук Пасічник Володимир Володимирович, Тернопільський національний технічний університет імені Івана Пулюя Захист відбудеться 24 грудня 2019 р. о 9.00 годині на засіданні екзаменаційної комісії №32 у Тернопільському національному технічному університеті імені Івана Пулюя за адресою: 46001, м. Тернопіль, вул. Руська, 56, навчальний корпус №1, ауд. 806
Метою роботи – систематичне порівняння трьох відомих алгоритмів k-анонімізації для вимірювання їх продуктивності (з точки зору використання ресурсів) та їх ефективності (з точки зору корисності даних). Основні результати роботи: в роботі досліджено поняття анонімізації, описано її моделі, обрано для дослідження алгоритми k-анонімізації, як однієї з базових моделей, запропоновано критерії якості алгоритмів k-анонімізації для подальшого прийняття рішення щодо вибору алгоритму, проведено порівняння трьох основних алгоритмів Datafly, Incognito, Modrian для двох наборів даних (реального та синтетичного) та для різних початкових налаштувань параметрів алгоритмів, сформовано рекомендації щодо застосування алггоритмів. У першому розділі описується, що таке анонімізація, моделі конфідеційності та на прикладах розглядаються деякі атаки конфідеційності. У другому розділі розглядаються методи анонімізації, три найбільш поширені алгоритми анонімізації та описується методологія порівняння цих алгоритмів. Третій розділ експерементальний. У ньому порівнюются три алгоритими анонімізації за такими критеріями як – час анонімізації, узагальнена втрата інформації, метрика чутливості та середній розмір класу еквівалентності. У четвертому розділі описується генератор реальних синтетичних даних та принцип його роботи. У розділі “Обґрунтування економічної ефективності” підраховується вартість роботи та термін її окупності. У розділі “Охорона праці та безпека в надзвичайних ситуаціях” зазначено, що дослідження відбувалося зі збереженням правил пожежної безпеки та всіх норм охорони праці. У розділі “Екологія” описуються методи узагальнення екологічної інформації та зазначаються вимоги до мікроклімату приміщень. У результаті підготовки дипломної роботи проведено серію експериментів та всебічний аналіз для виявлення факторів, що впливають на ефективність загальнодоступних реалізації алгоритмів анонімізації. Представлено за допомогою експериментальної оцінки умови, в яких один алгоритм перевершує інші за певним показником, залежно від вхідних даних та вимог конфіденційності.
Project purpose: systematic comparison of three well-known k-anonymization algorithms to measure their efficiency (in terms of resources usage) and their effectiveness (in terms of data utility). Main results: The concept of anonymization is investigated, its models are described, k-anonymization algorithms are selected as one of the basic models, k-anonymization quality criteria are proposed for further decision making, algorithm selection is performed for three basic algorithms, Datafly Incognito, Modrian two sets of data (real and synthetic) and different initial adjustments of algorithm parameters, recommendations for the application of algorithms were formed. The first section describes anonymization, privacy models, and some examples of privacy attacks. The second section discusses anonymization methods, the three most common anonymization algorithms, and describes a methodology for comparing these algorithms. The third section is experimental. It compares three anonymization algorithms against such criteria as anonymization time, generalized information loss, sensitivity metric, and average equivalence class size. The fourth section describes the real synthetic data generator and how it works. In the economic section the cost of the work and its payback period are calculated. The section "Occupational Health and Safety" states that the study was conducted in compliance with fire safety rules and all occupational safety standards. The section "Ecology" describes the methods of generalizing environmental information and specifies the requirements for the microclimate of the premises. As a result of the preparation of the thesis, a series of experiments and a comprehensive analysis were conducted to identify the factors that influence the effectiveness of publicly available anonymization algorithms. Provided by an experimental evaluation of the conditions in which one algorithm outperforms the others by a certain measure, depending on the input and privacy requirements.
ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ, СИМВОЛІВ, ОДИНИЦЬ, СКОРОЧЕНЬ І ТЕРМІНІВ 10 ВСТУП 11 РОЗДІЛ 1 АНОНІМІЗАЦІЯ. МОДЕЛІ, ЗАГРОЗИ, АТАКИ 13 1.1 Регламент захисту даних GDPR 13 1.2 Анонімізація 14 1.3 Атаки конфідеційності 16 1.3.1 Узгодження записів 16 1.3.2 Узгодження атрибутів 17 1.3.3 Атака мінімальності 18 1.4 Моделі конфідеційності 21 1.4.1 k-Анонімізація 21 1.4.2 ℓ -Різноманітність 22 1.4.3 Диференційна конфідеційність 23 РОЗДІЛ 2 МЕТОДИКА ПОРІВНЯННЯ АЛГОРИТМІВ K-АНОНІМІЗАЦІЇ 24 2.1 Методи анонімізації 24 2.1.1 Приховування 24 2.1.2 Узагальнення 24 2.2 Алгоритми k-анонімізації 27 2.2.1 Datafly алгоритм 28 2.2.2 Incognito алгоритм 30 2.2.3 Mondrian алгоритм 33 2.3 Набір даних 37 2.3.1 Реальний набір даних 37 2.3.2 Синтетичний набір даних 38 2.4 Методологія порівняння 40 2.4.1 Ефективність алгоритму 40 2.4.2 Корисність даних 41 2.4.2.1 Узагальнена втрата інформація GenILoss 42 2.4.2.2 Метрика чутливості DM 43 2.4.2.3 Показник розміру середнього класу еквівалентності CAV G 44 РОЗДІЛ 3 ЕКСПЕРИМЕНТАЛЬНА ЧАСТИНА 45 3.1 Навколишнє середовище 45 3.2 Налаштування експерименту 46 3.3 Експеримент 1: різна кількість QID 47 3.3.1 Час анонімізації 47 3.3.2 Споживання пам'яті. 49 3.3.3 Узагальнена втрата інформації (GenILoss). 51 3.3.4 Метрика чутливості (DM). 54 3.3.5 Середній розмір класу еквівалентності CAV G 56 3.3.6 Результати порівняння алгоритмів для експерименту 1 57 3.4 Експеримент 2: різні значення k в k -анонімізації 58 3.4.1 Час анонімізації 58 3.4.2 Споживання пам'яті. 60 3.4.3 Узагальнена втрата інформації (GenILoss). 62 3.4.4 Метрика чутливості (DM). 64 3.4.5 Середній розмір класу еквівалентності (CAV G). 66 3.4.6 Результати порівняння алгоритмів для експерименту 2 68 3.5 Експеримент 3: Різноманітний розмір набору даних 68 3.5.1 Час анонімізації 68 3.5.2. Споживання пам'яті 69 3.5.3 Результати порівняння алгоритмів для експерименту 3 70 3.6 Порівняльний аналіз алгоритмів k-анонімізації 71 РОЗДІЛ 4 СПЕЦІАЛЬНА ЧАСТИНА 74 4.1 Вибір набору даних 74 4.2 COCOA: Генератор синтетичний даних 75 4.3 Генератори атрибутів 77 РОЗДІЛ 5 ОБҐРУНТУВАННЯ ЕКОНОМІЧНОЇ ЕФЕКТИВНОСТІ 79 5.1 Розрахунок норм часу на виконання науково-дослідної роботи 79 5.2 Визначення витрат на оплату праці та відрахувань на соціальні заходи 80 5.3 Розрахунок матеріальних витрат 82 5.4 Розрахунок витрат на електроенергію 83 5.5 Розрахунок суми амортизаційних відрахувань 84 5.6 Обчислення накладних витрат 85 5.7 Складання кошторису витрат та визначення собівартості науково-дослідницької роботи 85 5.8 Розрахунок ціни науково-дослідної роботи 86 5.9 Визначення економічної ефективності і терміну окупності капітальних вкладень 86 РОЗДІЛ 6 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 88 6.1 Охорона праці 88 6.2 Фактори, що впливають на функціональний стан користувачів комп’ютерів 92 РОЗДІЛ 7 ЕКОЛОГІЯ 96 7.1 Методи узагальнення екологічної інформації. 96 7.2 Вимоги до мікроклімату, вмісту аероіонів і шкідливих хімічних речовин у повітрі приміщень експлуатації моніторів і ПЕОМ. 99 ВИСНОВКИ 101 БІБЛІОГРАФІЯ 102 ДОДАТКИ 107