Що таке Big Data Engineering і як розвиватися у цій сфері

Я вже майже три роки працюю як Big Data Engineer. Година від годині доповідаю на технічних конференціях/мітапах в Україні та за кордоном і нерідко замислююся, як там представлятися. Якщо скажу, що працюю Big Data Engineer, більшість людей або не зрозуміє, чим я займаюсь, або буде плутати з іншими спеціальностями — Data Scientist, Data Analyst. За останні кілька років помітила, що рідше потрапляю в такі ситуації за кордоном, ніж в Україні. Отож спробуймо розібратись, у чому суть професії Big Data Engineer, які його типові завдання, плюси й мінуси професії, шляхи її опанування та особистий досвід розвитку. Ця стаття буде цікава тим, хто вперше чує про Big Data Engineer, тім, хто знає про існування цієї посади, але не розуміє, у чому суть, і тим, хто цікавиться Big Data й бажає перейти в цю сферу. Що таке Big Data Engineering Є багато визначень, що таке Big Data Engineering , і всі вони крутяться навколо даних і маніпуляцій над ними.

Опубліковано: 27/05/20 @ 11:20
Розділ Різне Читати далі...

7 викликів для бізнес-аналітика при виявленні вимог

Стаття написана у співавторстві з Мері Ротарь , Co-Founder IAMPM. Мій загальний досвід в ролі бізнес-аналітика — це 6 років в продуктових і аутсорсингових ІТ-компаніях. Той рідкісний випадок, коли відразу починаєш з бізнес-аналізу, а не зі суміжною спеціальністю, як найчастіше буває. У мене економічна освіта. Коли стояв вибір між фінансами і економічною кібернетикою, я вибрала кібернетику. Після інституту мені запропонували попрацювати аналітиком-консультантом з впровадження 1С-систем. Пізніше працювала PM, потім знову повернулася в бізнес-аналіз. І ось в DataArt я вже три роки. Сім викликів, про які я розповідаю сьогодні, — це мій досвід: те, що сама переживала в роботі і з чим вчилася справлятися. На етапі виявлення вимог закладається фундамент майбутнього продукту, і від якості роботи БА буде залежати, наскільки надійним вийде основу. Тому в першу чергу важливо дізнатися, чи дійсно те, що озвучує замовник, збігається з реальною потребою бізнесу.

Опубліковано: 25/05/20 @ 10:00
Розділ Різне Читати далі...

Go дайджест #14: що буде в Go 1.15, Apple і Go

У випуску: соместный проект Apple і Google Go, як мова помогет розробляти софт для боротьби з COVID-19, результати Go Developer Survey 2019 . Новини Спільний проект Google і Apple по боротьбі з COVID-19 написаний на Go , а в цьому випуску хлопці з Generic Talks розбирали його за деталькам. . Що нас чекає в Go 1.15 на слайдах від Деніела Марті, і ще одна стаття з детальним розбором деяких новинок. Результати Go Developer Survey 2019 Свіже інтерв'ю з Робом Пайком Як зменшити розмір бінарників , жертвуючи можливістю порівняння типів, від Дейва Чейні. Caddy 2 ось і реліз! Анонс GoWayFest 4.0 goway.io — 4-а конференція в Білорусі, повністю присвячена мові Go, переходить в онлайн і пройде 11-12 липня. Серед спікерів цього року: ? — розкриє таємницю того, як важливий неймінг для вашої кодової бази. ? — допоможе прискорити процес «від зміни коду до запуску процесу» для додатків Go. ? з докладним описом впровадження ефективної VM в Go.

Опубліковано: 23/05/20 @ 12:23
Розділ Різне Читати далі...

День вишиванки 2020: як ІТ-фахівці святкують на карантині

Цьогорічний День вишиванки українці відзначають в умовах карантину. Проте це не привід відмовитися від святкування. Редакція DOU зібрала фото і відео як ІТ-компаній, так і ІТ-фахівців, які вбирались у вишиті сорочки в останній четвер травня. Abto Software





Agiliway





AMC Bridge





ANODA Software Development Agency




Appus Studio Більшість співробітників перебуває та відзначає свято вдома. Але дехто вранці вибрався до пам " ятників національним діячам мистецтва.


Дивувати Commerce Bakotech Скористались нагодою та одягнули сьогодні вишиті сорочки.

Опубліковано: 22/05/20 @ 10:00
Розділ Різне Читати далі...

10 інструментів для полегшення роботи з Flutter

Продовжуючи тематику корисних інструментів для роботи з Flutter , хочу поділитися з вами тими, які щодня допомагають мені робити роботу швидше. 1. FVM FVM — абревіатура від Flutter Version Manager. Аналогічний інструмент ви могли зустрічати в роботі з Node.js — NVM . FVM дозволяє гнучко переключатися між версіями Flutter. Підтримує завантаження як конкретних версій Flutter, так і каналів Master, Dev, Beta, Stable. Оскільки Flutter «молодий, що динамічно розвивається фреймворк»™, список багів в ньому тасується з великою швидкістю. Релізи відбуваються часто, як видно з цього джерела . Хоча у Flutter релізи відбуваються щоквартально, гарантій, як зазвичай, немає — можуть і затримати. Бувають ситуації, що критичний для бізнесу баг, якщо і полагодять досить оперативно, то в релізну гілку він потрапить не на наступний день. У цьому випадку FVM допомагає мені швидко завантажити оновлення і переключитися на іншу версію Flutter, перевірити конкретний фікс.

Опубліковано: 20/05/20 @ 10:00
Розділ Різне Читати далі...

Розвинений IT-ринок і спокій. 6 причин жити і працювати в Миколаєві для IT-спеціаліста

Миколаїв — моє друге рідне місто, живу тут вже 16 років. Сам я родом зі Скадовська Херсонської області, але приїхав до Миколаєва на навчання і вступив в Чорноморський національний університет ім. Петра Могили. А після випуску залишився тут жити. Чому не повернувся в Скадовськ або не переїхав в місто-мільйонник? А тому, що Миколаїв — відмінний місто для початківців в ІТ-сфері, досить великий, а ще рай для тих, хто не любить суєти. У цій статті я хотів би перерахувати 6 причин, чому Миколаїв комфортне місто для IT-фахівця, а також поділитися своїми враженнями від життя тут. 1. Хороші можливості для початківців фахівців У Миколаєві багато можливостей, щоб почати кар'єру в ІТ з нуля. У нас в місті знаходиться ЧНУ ім. Петра Могили, який входить в трійку кращих університетів з ІТ-спеціальностями 2019 року в рейтингу DOU .

Опубліковано: 18/05/20 @ 10:00
Розділ Різне Читати далі...

Як не PM нафакапить на новому проекті

Стаття написана у співавторстві з Мері Ротарь , Co-Founder IAMPM. Привіт, я Павло Устинов, зараз працюю PMO в Solar Digital. З 15 років роботи в IT-сфері останні 7 керую проектами. За цей час вже навчився бачити обставини, які з великою ймовірністю завалять як мінімум дедлайн, а то й поставлять під питання доцільність подальшого співробітництва з замовником. У статті поділюся спостереженнями, як уникнути факапов і не здійснювати базових управлінських помилок. Поради і кейси з статті однозначно допоможуть junior PM заздалегідь «підстелити соломку», щоб не набити всі шишки на першому ж проекті. Досвідчені РМ'и теж, думаю, знайдуть для себе щось корисне: завжди цікаво дізнатися, як справляються з труднощами колеги. Який проект вважати успішним У проджект-менеджменті успіх управління проектом передбачає, що всі обмеження — Cost, Scope, Time, Quality — виконані в обумовлених обсягах і строках.

Опубліковано: 15/05/20 @ 07:00
Розділ Різне Читати далі...

Essential Factors to Consider When Writing an Essay

Essential Factors to Consider When Writing an Essay Writing a composition ought to be made possible for a student in order to encourage more students to pick the alternative. There are a few aspects that a student should consider in writing a composition to assist him/her in this regard. To begin with, they ought to come to a decision whether or not they want to compose a class newspaper or maybe not. Students should choose to compose his/her paper based on the type of your writer. If a student wishes to give an intelligent and skilled opinion then he/she needs to not choose a different type of writing. Hence, students should decide on the topic of the paper and do it. The next step is to pick on the theme and tone of the document. The next thing to writing an essay is to prepare a topic. Many students don't know about how the topic should be highly relevant to this main topic of the essay. In other words, it should deliver a real picture of the niche of the newspaper.

Опубліковано: 13/05/20 @ 10:37
Розділ Різне Читати далі...

Порівнюємо два формати серіалізації даних: Protobuf vs JSON

Привіт, мене звати Ярослав. Я займаюся розробкою в компанії Evrius . У цій статті ми порівняємо два формати серіалізації даних та ознайомимося з інструментами, які оптимізують її виконання. Інформація буде цікавою гоферам, які використовують серіалізацію для збереження та передачі даних. Ця стаття є продовженням задачі, яку я розв'язків язував в офісі (тут ностальгійка, бо зараз працюю дистанційно). Приклади коду доступні в репозиторії . Історичні рішення, які треба переписати На практиці це здається пробачимо: з'єднання явилася завдання, її виконали швидко й легко, використовуючи стандартні інструменти, і всі задоволені. А з часом, хай за рік, змінились умови, збільшився трафік тощо, і ті красиве рішення, що було спочатку, треба переписати. Знайомо? JSON to Protobuf У моєму робочому проєкті в одному з мікросервісів є операція, яка на кожен запит від користувачів зберігає JSON в key-value базу даних на три години.

Опубліковано: 13/05/20 @ 10:00
Розділ Різне Читати далі...

It is time for you waiting to quit and begin to work difficult to increase your publishing that is educational.

Writing an essay is a very big and complex work that desires someone's undivided attention. When college article writing becomes a concern, you're always encouraged to request assist at numerous on line composition composing providers. It's still feasible to compose a superb university admissions article if you're a lousy writer. Composing an essay isn't just assembling the different info and perhaps not only assembling the practical info from the many sources to utilize it in your work. Oahu is the chief cause why article writing support must be selected carefully to be able to get customized papers. Our cheap customized essay writing service may be beneficial for every student who will not have any time or want to cope with documents. Worry no more in case youn't comprehend how to compose an article. You compose your school essay and you're the only individual who can figure out when it is completed.

Опубліковано: 12/05/20 @ 03:29
Розділ Різне Читати далі...

User Acceptance Testing: як організувати процес менеджеру

Уявімо собі, що ви ведете проект по розробці програмного продукту і вже підійшли до етапу, коли мінімальний скоуп завершено, реліз-кандидат стабілізовано і настав час релізу. На цьому етапі необхідний додатковий крок, на якому ви ще раз перевірити систему разом з представниками бізнесу і вирішите, чи готова вона до выливке в продакшн. Цей етап називається User Acceptance Testing. Нижче поговоримо про те, для чого він потрібен, як до нього готуватися і що менеджер проекту повинен зробити для його проведення. Відразу обмовлюся, що мова йде про застосування практики UAT в аутсорсингу. Кейс продуктової компанії тут не розглядається. Для чого проводити UAT Крок додаткової перевірки системи на такому пізньому етапі може здатися зайвим: швидше за все, ваш клієнт вже мав безліч можливостей подивитися на систему і «помацати» її в тестовій середовищі. Бачив демо і висловив фідбек, який ви разом з командою успішно реалізували в наступних спринтах.

Опубліковано: 12/05/20 @ 10:00
Розділ Різне Читати далі...

Як нас накрутили конкуренти в Яндексі і що з цього вийшло

Новий пацієнт, накрутка і просадка 20 березня зайшов на просування новий пацієнт з кодовою назвою "Канада". Ми тільки підготувалися до активного просування і пройшли всі узгодження правок з клієнтом, як 2 квітня (два тижні від старту робіт) його позиції в Яндексі різко просіли. За два дні до цього в Я. Метриці був різкий разовий сплеск ботопереходов з Яндекса. Можливо, попередні підрядники так вирішили привітати нас з 1 квітня. Чи то були конкуренти, не суть. Важливо те, що їхній жарт удався і ми отримали просадку трафіку на 50%, а з 230 пріоритетних запитів в Топі Яндекса залишилося штук 50. Атака тривала 31 березня -2 квітня, різні запити, різні посадочні. Відразу після осідання ми написали Платону, але (як і очікувалося) були послані "розвивати свій сайт". Опрацювання інших гіпотез Так прийнято в нашій команді, що якщо немає стовідсоткових або офіційних доказів головної гіпотези, то повинні опрацьовуватися й інші варіанти.

Опубліковано: 12/05/20 @ 09:45
Розділ Різне Читати далі...

Как нас накрутили конкуренты в Яндексе и что из этого вышло

Новый пациент, накрутка и просадка 20 марта зашел на продвижение новый пациент с кодовым названием “Канада”. Мы только подготовились к активному продвижению и прошли все согласования правок с клиентом, как 2 апреля (две недели от старта работ) его позиции в Яндексе резко просели.  За два дня до этого в Я.Метрике был резкий разовый всплеск ботопереходов из Яндекса.  Возможно, предыдущие подрядчики так решили поздравить нас с 1 апреля. Или то были конкуренты, не суть. Важно то, что их шутка удалась и мы получили просадку трафика на 50%, а из 230 приоритетных запросов в ТОПе Яндекса осталось штук 50. Атака длилась 31 марта -2 апреля, разные запросы, разные посадочные. Сразу после просадки мы написали Платону, но (как и ожидалось) были посланы “развивать свой сайт”.  Проработка других гипотез Так принято в нашей команде,  что если нет стопроцентных или официальных доказательств главной гипотезы, то должны прорабатываться и другие варианты.

Опубліковано: 12/05/20 @ 09:45
Розділ Різне Читати далі...

C++ дайджест #27: Continuous Integration

Привіт, мої любі сішники! У цьому випуску пропоную розглянути CI. Почнімо? :) CI Що таке Continuous Integration: A Simple Guide to Understanding Continuous Integration (CI) ; Павло Філонов — Continuous Integration для C++ . Інструменти: 10 Best Continuous Integration Tools For 2020 ; Як застосовувати у проекті: Безперервна інтеграція (CI) для GitHub проектів на С/C++ з CMake-складанням (Travis CI та AppVeyor); Continuous Integration in C++ (Jenkins); Continuous integration with Travis CI ; Continuous Integration of C/C++ Apps for IoT Devices ; Continuous Integration for C/C++ Projects with Jenkins and Conan ; Використання Docker для складання та запуску проекту на C++ ; C++ development with Docker containers in Visual Studio Code . Modern C++ C++20 atomic_ref Nifty Fold Expression Tricks Notes on C++ SFINAE, Modern C++ and C++20 Concepts Корисні посилання Результати опитування "CppDevSurvey 2020" .

Опубліковано: 09/05/20 @ 10:00
Розділ Різне Читати далі...

Застосуємо можливості відеокарти у вашій Java-програмі

Сучасні відеокарти мають вбудований графічний процесор, який може виробляє не властиві для центрального процесора паралельні обчислення, знімаючи їх з нього. Графічний процесор, він же GPU (Graphical Processing Unit) — це програмований пристрій, яке можна задіяти у вашій програмі, щоб одержати істотне підвищення продуктивності для специфічних завдань, як-то відображення графіки, і загальних обчислень (GPGPU — General-purpose computing on graphics processing units ), які застосовуються у задачах: комп'ютерного зору, розпізнавання мови, машинного навчання і так далі. Можливості застосування графіки і обчислень обмежуються хіба що вашою фантазією. Як правило, можливості GPU використовують у програмах, написаних на С/C++. Стандартна бібліотека платформи Java не містить API для безпосередньої роботи з графічним прискорювачем, однак це не означає, що його не можна використовувати.

Опубліковано: 08/05/20 @ 10:00
Розділ Різне Читати далі...

Самооцінка програміста: три правильних і три хибних спосібі скласти собі ціну

Рано чи пізно це таки трапляється. Тімлід призначає зустріч, на якій сором'язливо виставляє перед тобою папірчики з ліпленням «Performance improvement plan». Або команди представляють нового техліда, і це зненацька не ти. Або СЕО ненароком кидає в курилці: «Певно, все ж треба було найняти професіонала на позицію СТО». А ти до цього конкретного моменту вважав, що ти і є професіонал! Або навпаки, після довгих, виснажливих років у «шарашкіній» конторі, коли незважаючи на те, що ти «ні в чому не розбираєшся» і «ні на що не здатен», ти таки виходиш на ринок праці. І там чомусь виявляється, що компанії готові тобі платити більше чи не у п'ять разів. А деякі задачі, котрі ти вирішував шкірного дня, в нормальному світі вважаються рівнем архітектора. І це попри твою незмінну плашку «джуніор», яку ти вважав цілком заслуженою, враховуючи постійну нищівну критику від начальства. Такі моменти завжди приходять, як грім на голову, і підготуватися до них неможливо.

Опубліковано: 07/05/20 @ 10:00
Розділ Різне Читати далі...

Infrastructure as Code: базові принципи vs інструменти, що еволюціонують

Якщо ви тільки починаєте працювати з інструментами для Infrastructure as Code або думаєте, як інтегрувати його у ваш CI/CD-пайплайн — це стаття для вас. Ми з'єднання ясуємо, як побудувати процес автоматизації інфраструктури та втілити Infrastructure as Code. Стаття дає базовий огляд Infrastructure as Code як концепції і фокусується на методології і принципи її впровадження в щоденній розробці та деплойменті. Дисклеймер: ця стаття НЕ є серйозною документацією щодо конкретних інструментів і технологій. Що таке інфраструктура Інфраструктура — це ресурси, які потрібні для підтримки коду. Водночас дехто може уявити серверні стійки, світчі та зміїне кубло кабелів... Але це вчорашній день. Сьогодні 99% проєктів живе в «хмарах». Тобто ресурси — це віртуальні машини, контейнери, load balancers. Отже, усі хмарні ресурси — це інше програмне забезпечення, яке виконується на комп'ютерній комп'ютерах нашого хмарного провайдера.

Опубліковано: 06/05/20 @ 10:04
Розділ Різне Читати далі...

Понад 57 млн грн. Як IT-компанії та спеціалісти допомагають боротися з епідемією COVID-19

З перших днів карантину IT-компанії відреагували на ситуацію: виділяли кошти для благодійних фондів або самостійно з'єднання ясовували потреби лікарень, купували й передавали необхідні засоби та обладнання. Значно частину цих внесків пожертвували самі спеціалісти. Ми розпитали IT-компанії та найбільші IT-спільноти, що вони робили для протидії COVID-19, куди й на що спрямували кошти. Результати діяльності найбільших ІТ-спільнот Kharkiv IT Cluster Наразі харківська IT-спільнота в межах проєкту IT4Life зібрала понад 6 млн грн. Кисневі траси Харківський ІТ-кластер будує кисневі траси у лікарнях. Це збільшить кількість ліжко-місць з підведеним вологим киснем у реанімаційних відділеннях. За висновками лікарів-експертів, серед яких відомі в Харкові лікарі Андрій Пєньков, Олександр Золотарьов, Олег Яковенко, своєчасно наданий вологий кисень (навіть на нетривалий час — 2-3 доби) дає змогу запобігти ускладненням при захворюванні на COVID-19.

Опубліковано: 04/05/20 @ 10:00
Розділ Різне Читати далі...

gRPC-автогенерація Front-end-у

Привіт, мене звати Ярослав. Я працюю розробником у компанії Evrius . У цій статті розглянємо автогенерацію клієнт-серверної взаємодії на основі добре відомого прикладу, що зацікавить веброзробників. Маленький ліричний відступ Це вже п'ятдесят п'ята моя стаття на DOU, і, звісно, кожну статтю після публікації я надсилав подивитися друзям і колегам, щоб отримати зворотний зв'язок. Здебільшого статті друзям подобалися, але й частку критики вдалося здобути: так дізнався, що статті «сухі». І справді, статті схожі на мій код (так само мало коментарів) або на інструкцію, як доїхати від Києва до Львова й назад на велосипеді (знаю лише одного велотуриста, що так може). Ця стаття теж буде інструкцією, та цього разу писатиму більше пояснень і думок. Ще одна відмінність від уже написаних статей у тому, що раніше я розглядав завдання, які вже розв'язків язав, тому процес написання складався з підготовки прикладів коду й подальшого написання статті на основі вже готових прикладів.

Опубліковано: 01/05/20 @ 10:00
Розділ Різне Читати далі...

"Ми можемо бути не лише масажистами". Як люди з порушеннями зору вчаться робити сайти доступними

Від редакції: цю статтю ми готували у березні, до початку карантину. Протягом двох місяців у львівському SoftServe вчилася група студентів за новим для їхньої IT Academy напрямком. Тут готували до ятьох професіоналів з Accessibility Testing. Журналісти DOU побували на одному занятті та дізналися, які саме знання отримують майбутні тестувальники, в чому особливість Accessibility Testing і навіщо готувати таких фахівців. Шахіст У приміщенні SoftServe IT Academy от-от розпочнеться заняття. Коридором швидко крокує хлопець і випадково зачіпає плечем двері. Це — Владислав Колпаков, один зі студентів курсом Accessibility Testing, що стартував в академії два місяці тому. У руках хлопець тримає тростину, а темні окуляри не знімає навіть у приміщенні. Влад почав втрачати зір ще в дитинстві. Однак це не завадило йому закінчити філософський факультет Львівського університету ім. Франка та досягти майстерності у шахах.

Опубліковано: 30/04/20 @ 10:00
Розділ Різне Читати далі...

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175