Перші кроки в NLP: розглядаємо Python-бібліотеку NLTK в реальному завданні

Усім привіт! Звати мене Андрій, і я 8 років працюю в оцінці майна, в жодній ІТ-компанії не працював, але люблю програмувати. Як хобі я почав готувати власний проєкт — систему для зручного й ефективного відображення оголошень з продажу нерухомості в Україні з різноманітних загальнодоступних джерел. У результаті проєкт «виріс» до доволі великих розмірів і включає систему збору й попередньої обробки оголошень, систему знаходження їхніх геокоординат, систему класифікації оголошень за певними типами й невеликий користувацький інтерфейс, написаний на Django . А в цій статті я спробую детально розповісти про реалізацію однієї з його частин, а саме класифікацію оголошень з продажу земельних ділянок в Україні за допомогою методів NLP. Спочатку під час роботи над проєктом я поставивши перед собою ціль ознайомитися з різноманітними бібліотеками Python на реальному завданні.

Опубліковано: 04/03/20 @ 11:00
Розділ Безпека Читати далі...

Підвищення податків vs здоровий глузд, або За податками бритвою Оккама


Всім привіт, мене звати Володимир Кожан. Я програміст (звучить як анонімний алкоголік, правда?) тому не є фахівцем ні в економіці, ні в політиці, ні навіть у фінансах. Що я можу, так це працювати з інформацією і гуглити. А ще, оскільки придумую алгоритми (робота така), вмію думати — абстрагуватися і проводити уявні експерименти. Ось і проведу уявний експеримент: що буде, якщо програмістам (і всім іншим) р-р-раз — і підвищити податки. Для експериментування будемо використовувати принцип бритви Оккама . З усіх можливих гіпотез відкинемо найменш вірогідні, поки не залишиться одна. Приклад: з вазочки в кухні зникли цукерки. Є наступні припущення: цукерки забрали інопланетяни, вкрав домовик, поцупила собака і останнє — з'їв малий ласун зі слідами шоколаду на щоках, який каже «це не я!» і висуває попередні гіпотези. Незважаючи на презумпцію невинуватості, ми беремо останню гіпотезу, і вона, швидше за все, буде істинною.

Опубліковано: 28/02/20 @ 08:00
Розділ Безпека Читати далі...

Зростання органічного трафіку для мережі медичних клінік з 162,5 тис. до 2,5 млн відвідувань за рік роботи

Клієнт Багатопрофільна медична мережа клінік в Києві, що надає послуги дорослим і дітям. Наше завдання Основна задача, поставлена перед нами, — збільшення пошукового не брендового трафіку.
У листопаді 2018 року ми приступили до роботи над проектом. Клієнтом додатково був наданий список пріоритетних медичних напрямків для роботи: гінекологія, кардіологія, педіатрія, хірургія, онкологія, швидка допомога, стаціонар зі списком послуг по лікуванню захворювань і топ процедур в розрізі кожного перерахованого напрямку. У червні-серпні 2019 року в роботу були взяті ще 5 нові напрямки клініки: страхування, стоматологія, вертебрологія, патронажна служба, діагностика. Аналіз ніші та конкурентів Роботи на проекті ми почали з аналізу конкурентів по кожному медичному напрямі. У пошуковій видачі зіткнулися з конкуренцією різного типу: Онлайн-сервіси пошуку лікаря і запису пацієнтів на прийом (наприклад, doc.ua, likarni.com, 103.ua); Інформаційні сайти (наприклад, wikipedia.org who.

Опубліковано: 03/02/20 @ 12:36
Розділ Безпека Пошуковики Читати далі...

Від волонтерства на Майдані до держслужби в Одесі. Як програмістка Люба Шипович намагається змінювати Україну

Люба Шипович — успішний ІТ-фахівець, колишня СТО нью-йоркської компанії. У 2015 році продала її та приєдналася до реформаторської команди Міхеїла Саакашвілі в ОДА. Наразі Люба є позаштатним радником прем'єр-міністра. Про ті, чому успішна девелопер вирішила відмовитись від кар'єр кур'єри задля допомоги Батьківщині, Люба Шипович розповідає спеціально для DOU. З України я не шукала вакансій: взяла останню зарплатню і переїхала до США За фахом я магістр комп'ютерній комп'ютерних наук: закінчила Києво-Могилянську академію у 2007 році. Це був період після Помаранчевої революції, коли всі наші надії та сподівання йшли на спад. Загалом, у ті часи Могилянку називали «ВНЗ імігрантів»: йдеш в Могилянку — значити, наближаєшся до Борисполя. Я активно придивлялась до Нової Зеландії та Канади: завдяки спеціальним програмам ці варіанти були найпростішими для ІТ-фахівця. Та ще раніше почала подаватися на грін-карту в США: може, пощастить.

Опубліковано: 15/01/20 @ 11:00
Розділ Безпека Читати далі...

Портрет перформанс-інженера

Мене звати Андрій і вже чотири роки я займаюсь перформанс-тестуванням та оптимізацією. Кар'єр єру починав як Java-розробник, альо дуже швидко перейшов на темну сторону нефункціонального тестування. Мав справу з різноманітними продуктами, переважно у сфері e-commerce, працював із різними стеками (від .NET та Java до Node.js та Python) і тулами (від JMeter та Gatling до HP Load Runner). Зараз займаюся перформанс-тестуванням бекенду та оптимізацією клієнтської частини продукту в компанії AB Soft (Одеса). У багатьох сформувався стереотип, що тестування продуктивності — це звичайне тестування, просто з більшою кількістю користувачів, а це означає, що підходи до його реалізації не відрізняються. Але це не так: різниться і інструментарій, і процес загалом. У цій статті зруйную стереотипи щодо тестування продуктивності та розповім, яким насправді ховається під цією спеціалізацією. Дисклеймер.

Опубліковано: 13/12/19 @ 11:00
Розділ Безпека Читати далі...

Безпека в інтернеті, або TrustedTypes як новий спосіб захисту від XSS

У цій статті я спробую вас переконати, що небезпека XSS, незважаючи на всі сучасні фреймворки, як і раніше існує. Також ми розглянемо основні способи захисту. Основну увагу приділимо нового революційного підходу — DOM TrustedTypes, який, незважаючи на те що ще знаходиться в розробці, обіцяє підняти безпеку браузерів на новий рівень. Безпека в інтернеті У далекому 2008 році я закінчив університет магістром в області інформаційної безпеки. На жаль, нічого цікавого за фахом на той момент не знайшлося, і я пішов працювати в світ веб-розробки. Маючи серйозну теоретичну базу, я завжди уявляв захист інформації на рівні криптографічних алгоритмів, технічних пристроїв і процесів. Але коли я заглибився в веб-розробку, зрозумів, що світ інтернету розвивається дуже швидко, а от культура безпеки серйозно відстає. Це було у всьому. Ніхто не приділяв уваги аналізу вразливостей. Цим грішили навіть великі компанії. Діри безпеки можна було знайти в порталах з мільйонами активних користувачів.

Опубліковано: 06/12/19 @ 11:00
Розділ Безпека Читати далі...

Поради сеньйорів: як прокачати знання junior security specialist

Поради сеньйорів — постійна рубрика, в якій досвідчені фахівці діляться практичними порадами з джуниорами — загальні лайфхаки по навчанню, які книги та ресурси читати, які навички освоювати і багато іншого. У цьому випуску говоримо про Information Security і кібербезпеки. Вадим Чакрян , Lead of Information Security Team в DataArt 10+ років в області InfoSec В першу чергу необхідно визначитися, в який бік цікаво розвиватися як мінімум в найближчому майбутньому. Сфера інформаційної безпеки схожа на медицину в плані великої кількості напрямків, кожне з яких вимагає своїх знань, умінь і особистісних якостей. Я б радив спочатку визначитися з тим, в якій команді ви хочете бути — атакуючих (offense) чи захищають (defense). Ті, хто знаходяться в команді атакуючих, думають про те, як проникнути в систему, як атакувати елементи інфраструктури, фізичні ресурси і людей (я маю на увазі соціальну інженерію).

Опубліковано: 04/12/19 @ 08:10
Розділ Безпека Блоги Читати далі...

OS Daemonology: види, переваги, підводні камені

Демони, агенти, хелпери — та хто вони такі?! Мене звати Володимир. Я займаюся macOS-розробкою вже близько 6 років. За цей час працював «від і до» — від дизайну віконець і кастомних кнопок до системного програмування, секьюріті і написання Kernel-модулів. У цій статті я хочу детально розповісти про «системні» і допоміжних процесах в macOS, які, між іншим, може використовувати у своїй практиці кожен. Стаття буде корисна будь технічно спрямованих на фахівцям; всім, хто хоче розуміти, як працюють програми і сама ОС (причому не тільки macOS, але й інші *OS) «під капотом»; і звичайно, тим, хто хоче знати, як і коли використовувати тих чи інших демонів при розробці своїх програм. Що ми бачимо і в чому правда? Як звичайний користувач бачить операційну систему зі свого боку? Просто як набір віконних додатків з барвистим дизайном і приємною анімацією. При цьому очевидно, що для роботи цих програм, так і всієї системи повинно бути щось ще.

Опубліковано: 29/10/19 @ 11:00
Розділ Безпека Читати далі...

Криза перевиробництва джунов

[Про автора: Іван Клешнін , веб-програміст зі стажем 12 років. Приватний підприємець, робота пов'язана зі сферою рекрутингу та навчання. Професійно займається менторством, веде кілька блогів] Ілюстрація Анастасії Коптевої Один із учнів запитав мене про відсоток рекрутерів, які працюють з джунами. Не знайшовши відповіді в пошуковиках, я провів опитування серед знайомих рекрутерів. З 80+ відповіли: ~70% повідомили, що не працюють з джунами.
~30% сказали, що працюють, але... ...уточнили, що працевлаштування відбуваються рідко. Тут проявляється різниця між проходженням інтерв'ю і працевлаштуванням , про яку має сенс поговорити окремо. Занадто багато хто помилково ототожнюють перше і друге... З 70% «відмовників» багато відзначили, що змінили б свою думку, якщо б у джуна був досвід комерційної роботи. Це те саме «пляшкове горлечко», про який багато пишуть: не беруть на роботу без досвіду і незрозуміло, як отримати досвід без роботи.

Опубліковано: 28/10/19 @ 08:00
Розділ Безпека Блоги Читати далі...

6 помилок в просуванні продукту, які краще не допускати

У минулій статті я розповів, чому, на мій погляд, не треба наймати маркетолога в свій новий продукт як можна швидше. В цей раз я хотів би зупинитися на тому, які помилки найчастіше допускають стартапи і що з ними робити. Image Source 1. Не проводити інтерв'ю з клієнтами Тут є дві крайності. Можна будувати продукт так, як відчуваєш і бачиш його сам. А можна у всіх прислухатися до клієнтів. Як ви здогадуєтеся, істина десь між цими двома варіантами. Дійсно, згідно з даними CBInsights , перша причина смерті продуктів — відсутність ринку. Тобто не існує такої проблеми, яку компанія хоче вирішити своїм продуктом. На щастя, для того щоб уникнути такої ситуації, не обов'язково навіть говорити з клієнтами. Коли я проходив співбесіду в 500 startups з одним зі своїх старих продуктів. Це був продукт для пошуку аномального падіння метрики в розрізі сегментів. Звичайно ж, я ретельно готувався, прописував відповіді на всілякі питання і був готовий відразу почати піч на пару хвилин.

Опубліковано: 17/10/19 @ 10:00
Розділ Безпека Читати далі...

Шпаргалка з кібербезпеки для розробників

Мене звуть Микола Мозговий, я старший розробник і ментор в Sigma Software. Зараз займаюся розробкою хмарного бекенду для кліматичних систем. Питання кібербезпеки має бути предметом особливої уваги не лише експертів, але й для пересічних розробників. Однак не кожен проект може дозволити собі окремого фахівця з безпеки, тому дуже ймовірно, що нести цей тягар доведеться вам. Для таких випадків непогано мати нагадування чи шпаргалку, тому я склав список питань, яким потрібно приділити увагу. Цей список і не короткий, і не є вичерпним, але, принаймні, він є цілком зрозумілим і здійсненним. Повинен зізнатися: на поданий нижче матеріал мене надихнув один дуже хороший курс, який я проходив кілька років тому і який рекомендую всім, кого цікавить питання InfoSec/Cybersecurity. Це курс Software Security від Університету штату Меріленд, вільно доступний на Coursera.

Опубліковано: 11/10/19 @ 10:00
Розділ Безпека Читати далі...

Information Security дайджест #15: DC8044 Blackout, мега-витік в СБРФ, інтерв'ю Мухи

00h > Інтро Привіт! Здорово б почати цей дайджест з добірки тематичного музла, як ми починали минулий . Під музичку адже кльово заходить? Тому пропонуємо вам, друзі, отличнейшую добірку з гучного заходу Blackout, яке днями провів київський чаптер Defcon. Плейлист івенту доступний в Возі , на Ютубі , Санудклауд і навіть Дизер . Респекти Паші за підбір треків, а Легіону за реалізацію на популярних платформах. Ключ на старт, поїхали. 01h > Гаряче DC8044 провели великий контентний івент в Києві. Ком'юніті розрослося майже під тисячу осіб і формат митапов став трохи затісний. Коротше. Програма була такою , фотки з заходу можна подивитися тут , а видосов не буде, бо київський Дефкон принципово їх не записує і не стрім. Доповіді були вогненні: спеціально виділити якийсь один досить важко. Розповідали про атаки на віндовс системи з оркестрацией через CobaltStrike.

Опубліковано: 05/10/19 @ 12:00
Розділ Безпека Інтерв'ю Читати далі...

Консервація проблем замість реформ. Що не так з ініціативою Кабміну

[Про автора: Максим Іщенко — засновник української спільноти розробників DOU.ua ] Минулого тижня відбулася зустріч нової команди Кабміну та представників великих ІТ-компаній, де нам представили модель для розвитку ІТ-галузі. Тема зачепила багатьох — майже 1000 коментарів буквально за вихідні. Моя проблема із запропонованою моделлю в тому, що це не «стратегія» і не «розвиток», а, швидше, консервація статус-кво. Так, вона вирішує короткострокові задачі Кабміну щодо підвищення податкових зборів в обмін на «легалізацію» використання ФОП для великих ІТ-компаній. І так, ІТ-галузь такий варіант безумовно переживе. Як пережила маски-шоу, початок війни на Донбасі і «міцних господарників» до цього. Але чи варто? У цій колонці я хочу запропонувати альтернативний погляд на проблему. Джуниоры не вирішать проблему дефіциту кадрів На ДОУ публікується близько 500 вакансій в місяць для джуніорів, які збирають десь 8000 відгуків.

Опубліковано: 09/09/19 @ 07:08
Розділ Безпека Читати далі...

Переїзд в Люблін: про роботу в ІТ, спорт і розваги

Привіт! Мене звати Ярослав Трохименко, я — Senior Java Developer. У цій статті хочу розповісти про життя і роботу в Польщі, а точніше — Любліні. Люблін насичений натхненням Історія переїзду У Люблін я переїжджав з Києва. Приблизно 7 років тому, будучи ще студентом, я влаштувався в DataArt Java-практикантом. Коли я закінчив університет, компанія якраз відкрила центр розробки в Любліні і запропонувала бажаючим спробувати щастя в Польщі. Я вже був Middle Java Developer, в Україні мене нічого особливо не тримало, і я подумав: чому б і ні? Запитав думку менеджера, він сказав, що жодних проблем для проекту в цьому не бачить. Мені допомогли записатися на співбесіду для оформлення візи, через два тижні підійшла моя черга. Інтерв'ю тривало день, ще півтора тижні я чекав підтвердження. Загалом, через місяць після того, як я вперше задумався про можливість переїзду, я взяв квиток, зібрав рюкзак і поїхав. Все сталося досить спонтанно, але спочатку я не планував затримуватися в Любліні надовго.

Опубліковано: 26/08/19 @ 07:00
Розділ Безпека Читати далі...

Як провести тестування на безпеку: керівництво для Manual QA

Ця стаття націлена на підростаюче покоління QA і розробників, яким цікаво дізнатися щось про уразливості: з чого почати, якими інструментами можна користуватися початківцю в цій справі (практичні поради). У матеріалі буде викладено те, що я хотів би прочитати на початку своєї кар'єри Security QA. Вступ Коли я був Manual QA, мені завжди здавалося, що шукати уразливості дуже важко, що цим можуть займатися тільки ті люди, які вміють програмувати. Тому я вибрав спочатку шлях автоматизатора, так як часто QA розвиваються саме в цьому напрямку. Але після більш ніж півтора роки на посаді автомейшена мені стало нудно... так-Так, стало нудно, так як мені нецікаво було весь час писати код і не спілкуватися з командою девелоперів, продактами та іншими членами команди, як я робив це, коли був мануальщиком. Недовго думаючи, в якому напрямку мені розвиватися... Точніше, на це вплинуло кілька атак ловців вразливостей на наш проект.

Опубліковано: 06/08/19 @ 10:00
Розділ Безпека Блоги Читати далі...

Lead Software Developer з Монреаля — про роботу на YouPorn, головних уроках переїзду за кордон і те, як любов привела в IT

Костянтин Артемов працює в компанії MindGeek в канадському Монреалі на позиції Lead Software Developer. У нього 10 розробників в безпосередньому підпорядкуванні і 21 — спільна команда. Хлопці розробляють і підтримують два високонавантажених сайту з загальною кількістю відвідувань приблизно 20 мільйонів чоловік в день. Артемов безпосередньо відповідальний за один з найпопулярніших у світі порносайтів YouPorn і подібний йому Tube8. Як говорить сам Костянтин, бажання поступати в Харківський університет радіоелектроніки було не до кінця усвідомленим. Комп'ютери подобалися, як і багатьом дітям, робити що-то на BASIC йому було цікаво зі школи, але бажання працювати в цій сфері не було. Цей шлях для Костянтина почався з університету і любові. У 2013 році він з дружиною іммігрував до Канади, але не по робочому релокейту, а тому, що просто хотів кращого життя для сім'ї.

Опубліковано: 15/07/19 @ 07:51
Розділ Безпека Читати далі...

Поради сеньйорів: як прокачати знання junior HR/Recruiter

Поради сеньйорів — постійна рубрика, в якій досвідчені фахівці діляться практичними порадами з джуниорами — загальні лайфхаки по навчанню, які книги та ресурси читати, які навички освоювати і багато іншого. У цьому випуску говоримо про HR/рекрутингу. Віка Придатко , Founder VP Team 18 років в рекрутингу, 12 років у ІТ-рекрутингу Отже, хороший рекрутер — перш за все (!) небайдужий. Тому що саме з байдужості народжуються маячні листування і неадекватні пропозиції вакансій. Пише грамотно. Жахливо, звичайно, таке включати в критерії, але реалії такі. Володіє світоглядом. З ним цікаво поговорити не тільки на теми рекрутингу. Читає якісну літературу, робить висновки. Читати його фейсбук/примітки/блог — одне задоволення. Корисно і цікаво. На його сторінці немає тупеньких відео, неперевірених перепостів та тестів «яке ти тварина». Знає ринок і людей на ньому, не пропонує вакансію Python-девелопера Максу Іщенко. Ввічливий з кандидатом будь-якого рівня синьерити, а не тільки з синьером.

Опубліковано: 10/07/19 @ 07:00
Розділ Безпека Блоги Читати далі...

Туторіал по розгортанню Rails-додатків на Amazon за допомогою Docker. Частина 2

Всім привіт! У цій частині ми продовжуємо наш туторіал по розгортанню Rails-додатки на AWS з допомогою Docker. Нагадаю, що в попередній частині туториала ми: розглянули переваги Docker для розгортання додатків; запустили наш Spree-додаток і всі залежні сервіси на локальній машині. Яку проблему вирішуємо Після перевірки коректності роботи програми в локальному оточенні, необхідно розгорнути ідентичну інфраструктуру в хмарі. Цьому завданню й присвячена друга частина нашого туториала. Отже, приступимо до роботи! Рішення: AWS ECS ECS запускає ваші контейнери в кластері примірників Amazon EC2 з попередньо встановленим Docker-му. ECS керує установкою контейнерів, масштабуванням, моніторингом та управлінням ними через API і Консоль управління AWS. Ви можете розмістити і запустити Docker контейнер програми на EC2 вручну. Але ви позбавите себе наступних речей: Безпека.

Опубліковано: 13/06/19 @ 11:44
Розділ Безпека Читати далі...

Крос-культурна комунікація за Хофстеде: дані замість здогадок

Мене звуть Юрій, і з 2017 року я працюю в компанії HYS Enterprise Scrum-майстром. Мої типові завдання мають на увазі в тому числі фасилітацію різноманітних процесів зустрічей між представниками різних культур і ментальностей. Одного разу я втомився бруднити блокнот чорнилом і вирішив систематизувати свої спостереження і нотатки, але «винахід велосипеда» відклалося завдяки пошуку Google і працям Герта Хофстеде, які з тих пір стали гарною підмогою в моїй роботі. Матеріал може бути корисний тимлидам, проектним менеджерам, проповідникам і практикам Agile-підходів, сейлзам і всім, хто хоче прокачати свої комунікаційні навички, грунтуючись на даних. Сьогодні дивний день: пробок було менше звичайного, чергу до кавомашині теж відмінили — і ось ти в переговорні наодинці з З з тієї сторони. Між вами 30 мс пінгу і незручне мовчання: ти прийшов на стендап на 3 хвилини раніше, і треба про щось поговорити, поки команда не зібралася. Ем-м-м...

Опубліковано: 12/06/19 @ 10:01
Розділ Безпека Читати далі...

Виведення сайту по продажі торгового обладнання в топ 3

Клієнт Компанія спеціалізується на проектуванні, виготовленні і монтажі стелажів і торгового устаткування. Наше завдання Вивести максимум пріоритетних запитів в топ-3. Вихідні дані, проблеми проекту Регіон: Україна
Пріоритетна пошукова система Google
Початок робіт: 2 червня 2017
На сайті були «заспамленние» однаковими фразами мета-теги. Тексти — не оптимізовані і частково неуникальны. Код сайту містив суттєві помилки, були налаштовані не всі необхідні редиректи, технічні сторінки не закриті від індексації, контент дублювався.
Мобільна версія сайту неправильно відображалася при скануванні пошуковими ботами.
Посилальний профіль був дуже слабким: великий відсоток неякісних донорів, поганий анкор-лист.
У топ-3 було до 5% цільових запитів, зростання органічного трафіку не було. Внутрішня оптимізація На першому етапі робіт був проведений повний технічний аудит сайту.

Опубліковано: 10/06/19 @ 06:30
Розділ Безпека Пошуковики Читати далі...

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17