ИИ в обычных сферах рынка. С чего начать?

/
/ ИИ в обычных сферах рынка. С чего начать?
Автор статьи - Виталий Колпаков
Специалист по проектам "Департамента интеграции" компании "ОЛЛИ ИТ"

Данная статья посвящена внедрению ИИ в самые обычные сферы деятельности человека. Я постараюсь избежать новостей внедрения ИИ глобальными игроками только у себя в инфраструктуре. Также я раскрою некоторые технические требования, для внедрения ИИ у себя.

Простым языком - я буду пытаться применить ИИ к тому, что есть в каждом городе: магазины, цеха, медицинские центры и т.д. Попутно с этим, я приведу примеры того, что уже есть непосредственно в РФ, чтобы показать, что практически любая компания может внедрить технологии ИИ уже завтра, а может даже и сегодня, получив от этого выгоду, качественно обходя своих конкурентов. Все таки эта статья посвящена именно владельцам малого и среднего бизнеса, поэтому я буду описывать ситуацию с точки зрения применения «любым желающим».

Если Вам не интересно читать предысторию и некоторые технические выкладки - листайте статью к теме «КЕЙСЫ», ради которой она и задумывалась.


ВВЕДЕНИЕ

Если посмотреть выдачи поисковых систем по теме ИИ, то за редким исключением мы получим примерно следующую картинку.

Как видно из скриншотов, выдачи поисковика (Google/VC) и дополнительно материалов конференции AI Jorney - все это связанно со стартапами и глобальными корпорациями, плюс окутано аурой недоступности обычному «пользователю».

И у этого конечно же есть логическое обоснования:

ИИ в обычных сферах рынка. С чего начать?
Это, пожалуй, основные причины из-за которых технологии ML не внедряются в рядовые компании. Хотя уже есть достаточное количество готовых кейсов и программное обеспечение, которое решает устоявшиеся задачи, связанных с компьютерным зрением или ML. К примеру: Trassir или Macroscope (мы занимаемся их поставкой). Так же существуют и объективные причины со стороны малого и среднего бизнеса, почему нейросети пока еще идут к ним.

Игнорирование этих проблем не убережет от прихода глобальных игроков (ПРИМЕР 1) (что и в обычном варианте является плохим знаком) или появления подрывных стартапов в сфере (ПРИМЕР 2). Поэтому я попытаюсь описать минимальный machine learning starter pack для первых шагов к внедрению ИИ у себя в бизнесе.

График показывает потерю рабочих мест из-за компьютеризации. Но стоит понимать, что за рабочими местами стоят традиционные компании, часть из которых уйдет с рынка.

График показывает потерю рабочих мест из-за компьютеризации. Но стоит понимать, что за рабочими местами стоят традиционные компании, часть из которых уйдет с рынка.

Поэтому смысл этой статьи показать, что хоть внедрение ИИ этой сложный и долгий процесс, но окупается с троицей.


ТЕХНИЧЕСКИЕ АСПЕКТЫ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ

Нейронные сети показывают исключительную эффективность в работе с совершенно разными данными – изображениями, звуками, видео, символами, но для того, чтобы получить приемлемую нейросеть, которая выдает достоверный результат, должна пройти множество итераций ее обучения. Эффективность обучения нейросети зависит от мощности оборудования, на котором она обучается. От мощности оборудования зависит скорость самого обучения, следовательно и кол-во затраченных средств. Итак:

CPU: Непосредственно в обучении CPU не используется, однако для поддержки работы большого количества GPU/мощного GPU нужен мощный процессор.

GPU: На работе GPU завязано все обучение нейронной сети. Мощная видеокарта способна обработать больше пакетов данных из Датасета.

DDR: Большое кол-во оперативной памяти способно отправлять Датасеты в GPU без сжатия.

M.2: На диске будут храниться все Датасеты. Диск с низкой пропускной способностью станет узким горлышком для все системы

В ссылке находятся примеры потребляемой нейросетью мощностей рабочей станции: https://github.com/albanie/convnet-burden#object-detection-architectures

ИИ в обычных сферах рынка. С чего начать?

Подобные показатели не по зубам CPU. Самая средняя видеокарта может обойти мощный серверный процессор с запасом.

Нормализованные исходные данные производительности графических процессоров и TPU. Чем выше, тем лучше. RTX 2080 Ti примерно в два раза быстрее GTX 1080 Ti: 0,77 против 0,4.

Нормализованные исходные данные производительности графических процессоров и TPU. Чем выше, тем лучше. RTX 2080 Ti примерно в два раза быстрее GTX 1080 Ti: 0,77 против 0,4.


Существуют общие рекомендации при выборе карты для ML, а именно:

Лучший GPU в целом: Quatro RTX A6000.

Рентабельно, но дорого: RTX 2070.

Средний вариант: GTX Titan (Pascal), GTX 1060 (6GB), GTX 1050 Ti (4GB).

Бюджетный вариант: GTX Titan (Pascal), или GTX 1060 (6 ГБ), или GTX 1050 Ti (4 ГБ).

Самый бюджетный вариант: GTX 1050 Ti (4 ГБ); CPU (прототипирование) + AWS / TPU (обучение);

Для работы с компьютерным зрением и машинным переводом: Quatro RTX A6000.


КЕЙСЫ

Существуют общие рекомендации при выборе карты для ML, а именно:

Лучший GPU в целом: Quatro RTX A6000.

Рентабельно, но дорого: RTX 2070.

Средний вариант: GTX Titan (Pascal), GTX 1060 (6GB), GTX 1050 Ti (4GB).

Бюджетный вариант: GTX Titan (Pascal), или GTX 1060 (6 ГБ), или GTX 1050 Ti (4 ГБ).

Самый бюджетный вариант: GTX 1050 Ti (4 ГБ); CPU (прототипирование) + AWS / TPU (обучение);

Для работы с компьютерным зрением и машинным переводом: Quatro RTX A6000.


КЕЙСЫ

ИИ в обычных сферах рынка. С чего начать?

Думаю не нужно объяснять, что задачи исключительно маркетинговые. Проецируя задачи на ИИ, нам нужно обучить приходящий видеопоток (камеры, которые стоят в магазине) распознавать людей, их лица, треки ходьбы по магазину и т.д.

Чтобы технически подготовиться к этой задачи хватит и обычного ПК, в котором есть малая мощная видеокарта (она и будет учить нейросеть).

Для сети магазинов (3 здания) хватит следующей конфигурации ПК (можете проконсультироваться с нашими специалистами, они выберут идеально подходящую конфигурацию).

CPU: Ryzen 9 3900X

GPU: RTX 2070

DDR: Vengeance RGB Pro 32gb ram

M.2: 970 EVO NVMe M.2 500gb-1TB

ИИ в обычных сферах рынка. С чего начать?

Еще нужны камеры с поддержкой IP, но в остальном этого достаточно, чтобы начать внедрять либо готовое ПО (о нем мы будем говорить в будущих статьях), либо написать свою нейронную сеть… Естественно у любого директора магазина НЕТ навыков написания подобных вещей, поэтому обратимся к бирже фриланса для реализации задачи.

На рынке услуг начинают появляться специалисты, которые берутся за такие задачи.

Либо, если вы не ищете легких путей есть статья: https://vc.ru/selectel/41002-instrukciya-sozdanie-neyronnoy-seti-bez-navykov-programmirovaniya . Вникайте в суть вещей самостоятельно.

Хотя, подобные вопросы уже поднимались на Хабре: https://qna.habr.com/q/233065

В сети уже есть достаточное кол-во Датасетов для обучения https://habr.com/ru/company/mailru/blog/339496/

И само обучение может занять до 2 недель, в зависимости от задачи, мощности ПК и корректности Датасета. Эксперт ML может дать более точный ответ на этот вопрос.

Т.к. нейронная сеть выполняет исключительно маркетинговые операции - это напрямую связано с выручкой. Точность целевой аудитории и «теплота» прилавков коррелирует с прибылью компании. https://habr.com/ru/post/455878/


Практика
https://retail-loyalty.org/news/gfk-nachinaet-sotrudnichestve-s-kompaniey-v-oblasti-kompyuternogo-zreniya-dlya-riteyla/

https://gazetabiznes.ru/v-moskva-siti-otkrylsya-magazin-bez-kass-i-prodavcov/


Пример #2 Медицинский центр

В рамках медицинских услуг есть большое количество кейсов делающих более точную постановку диагноза, следовательно и более точное лечение. Неправильный диагноз усложняет лечение и, как бы это цинично ни звучало, ухудшает репутацию медицинского учреждения.

На данный момент есть достаточно много Best-practice применения ML в клиниках.

ИИ в обычных сферах рынка. С чего начать?

ПРОБЛЕМЫ СФЕРЫ

Основной проблемой данного направления является цена ошибки. Это может быть упущенное время/ осложнения или даже человеческая жизнь. Поэтому нужно правильно позиционировать ИИ такого рода. Они всего лишь помогают врачам сделать более правильное решения, а не снимают с него ответственность.


ВНЕДРЕНИЕ

Медицинские данные не привязаны к геолокации. Т.е. картина течения болезней будет одинаковой в Мадриде, Лос-Анджелесе или Омске. Это означает, что можно пользоваться открытыми Датасетами, было бы желание. Далее - нужна машина, на которой будет проводиться обучение нейросети. Надо понимать, что цена ошибки выше, чем в предыдущем примере, значит, нам нужно больше мощностей для прогонки огромного количества Датасетов.

Хорошей конфигурацией будет DELL сервер с картами Quatro:

Хорошей конфигурацией будет:

CPU: Ryzen 9 3900X

GPU: Quatro RTX A6000

DDR: Vengeance RGB Pro 32gb ram

M.2: 970 EVO NVMe M.2 500gb-1TB

Идеальной:

CPU: Ryzen 9 3900X

GPU: 2xQuatro RTX A6000

DDR: Vengeance RGB Pro 64gb ram

M.2: 970 EVO NVMe M.2 1TB

Еще более ответственно нужно подойти к поиску специалистов в данной области, но это уже на совести HR.

СКОЛЬКО ВРЕМЕНИ ЗАЙМЕТ ОБУЧЕНИЕ?

В зависимости от конфигурации сервера/кол-ва Датасетов/болезни, ну и конечно же от мастерства специалиста ML.


ПРАКТИКА

https://www.nakanune.ru/news/2020/06/23/22576875/


Пример #3 Цех-Фабрика

Брак продукции является родовой проблемой любого производственного предприятия. Сегодня уже есть кейсы распознавания дефектной продукции на конвейере. Нельзя сказать, что реализация данного кейса является простой задачей, потому как каждое предприятие уникально как по техпроцессу, так и по продукции, которую оно изготавливает. Следовательно, и нет Датасетов, которые помогут обучить модель. В данном случает придется обучать ее с нуля, на основе тех видеоданных, что уже есть в базе, а также ежедневно производятся.

Для завода с десятком камер на производственной линии хватит следующей конфигурации сервера для обучения.

ИИ в обычных сферах рынка. С чего начать?

Dell PowerEdge R840

CPU: 2x Intel Xeon Gold 6248

GPU: 4 x NVIDIA Quadro RTX 6000 (5000) 24 GB

DDR: DDR4 512gb

M.2: 970 EVO NVMe M.2 20TB

ИИ в обычных сферах рынка. С чего начать?

Обучение подобных сетей может занять месяцы из-за недостатка данных.

На российском рынке уже появляются первые представители.

Практика

https://www.mallenom.ru/vnedrenia/pmz/metallurgy2/


Пример #4 Агрокомпания

Финальный пример посвящен агрокомпаниям. Так уж сложилось исторически, что РФ всегда занимает высокие мировые позиции по части агропроизводства (но традиционного). Однако уже сейчас появляются компании пионеры, которые внедрили средства аналитики урожая и отслеживания и сортировку продукции.

ИИ в обычных сферах рынка. С чего начать?

Проблемы сферы

Проблема качества финальной продукции стоит еще острее, чем в серийном производстве, но кроме этого добавляется проблема хранения и перевозки. Товар в большинстве случаев является скоропортящимся, а значит время здесь играет ключевую роль.

Основные задачи агропрома:

Хорошей сборкой сервера здесь будет решение на основе Dell PowerEdge серии R940

Dell PowerEdge R940

CPU: 2x Intel Xeon Gold 6248

GPU: 8 x NVIDIA Quadro RTX 6000 24 GB

DDR: DDR4 512gb

M.2: 970 EVO NVMe M.2 20TB

Поиск порчи продукции https://actascientific.com/ASAG/pdf/ASAG-03-0437.pdf

Поиск порчи продукции https://actascientific.com/ASAG/pdf/ASAG-03-0437.pdf

ИИ в обычных сферах рынка. С чего начать?

Иностранная практика

https://www.iflexion.com/blog/machine-learning-agriculture

ИНТЕРЕСНЫЕ МАТЕРИАЛЫ В IT-СФЕРЕ
СМОТРЕТЬ ВСЕ
Реальная цена оптимизации IT-расходов

Часть 1: Герои оптимизации IT расходов

СТАТИСТИКА УСПЕШНОСТИ ВНЕДРЕНИЙ

Автор статьи - Виталий Колпаков 
Специалист по проектам "Департамента интеграции".
Превью YouTube 1280x720 пикс.jpeg

Согласно опубликованным данным, средняя стоимость завершенных проектов в сфере информационных технологий в 2014 году составила 189% от первоначальных оценок (CHAOS Manifesto 2014: Value versus Success&the Orthogonals/ The Standish Group International 2014).



Источник: http://iosrjournals.org/iosr-jce/papers/Vol16-issue2/Version- 12/F0162122940.pdf?roistat_visit=210366

Мало что изменилось в 2019-2020. Любая оптимизация подразумевает под собой изменения инфраструктуры маленькие или большие (модернизация). Данный цикл статей будет посвящен как раз модернизациям IT-инфраструктуры. Эти статьи не будут выходить за рамки темы IT–инжиниринга, но в свою очередь всесторонне опишут практически каждую из «систем» любой компании . Возможно ты найдешь множество интересных статей в нашем блоге olly.ru/blog.
Сегодня речь пойдет о самом главном- сердце любого бизнеса - ДЕНЬГАХ, а конкретнее о затратах на IT внутри компании.
Как и все остальное в компании, IT-инфраструктура требует затрат. В большинстве компаний IT занимает первые места по расходам. После организации труда, только информационные системы и технологии вносят ощутимый вклад в производительность и прибыльность компаний.

ДЕЙСТВУЮЩИЕ ЛИЦА

ВЛАДЕЛЕЦ – не одно и тоже, что и CEO- тот кто создал компанию, старается максимально сэкономить на каждом пункте затрат, без потери функционала. Прямыми оппонентами Владельца являются CEO и CIO т.к. рынок требует постоянных изменений для удержания позиций, простой экономии недостаточно.

CEO (Управляющий директор) – любая модернизация должна давать эффект, выраженный в фин. показателях. В разрезе IT, CEO может находиться с CIO в постоянном диалоге о целесообразности внедрения той или иной системы. Успешность или провал внедрения подтверждается CFO.

CIO (ИТ-директор) – поддержание работоспособности без простоев – динамичная задача. Компания постоянно растет и изменяется. Огромный арсенал появляющихся сервисов и служб могут решить те же самые задачи, меньшими силами. CIO должен быть готов к изменениям. Архитектура компании должна быть готова к изменениям.

CFO (Финансовый директор) - на долю CFO выпала задача подводить итоги и давать однозначную оценку всему, что происходит в компании. 

Показатели затрат:

Масштаб расходов компании может быть кардинально разным. Но все компании объединяет виды расходов, а именно капитальные (CAPEX) и операционные (OPEX). Расшифруем более подробно, что за ними стоит.

CAPEX

· Обновление и модернизация оборудования
· Программное обеспечение
· Запасные детали
· Инструменты
· Курсы и обучающие материалы IT персонала

OPEX

· Обслуживающий персонал (зарплата, отчисления в фонды, медстраховка и т. п.)
· Электричество, в том числе и на обслуживающие системы (пример вентиляция)
· ПО и сервисы (по подписке)
· Аутсорс
· Проценты кредитного или лизингового оборудования

У тех и у других свои преимущества и недостатки.

CAPEX

Плюсы:
· Очевидным плюсом для всех является правило – «купил и забыл»
Минусы:
· Обслуживание и настройка ложится на плечи покупателя
· ЛВС и коммуникации

OPEX

Плюсы: 

 · Очевидным плюсом является гибкость организации. У вас появился крупный проект и нужно нарастить штат, докупаешь нужное количество и лицензий и идешь в бой. Непредвиденные обстоятельства ужали бюджет проекта, оперативно сокращаешь штат и кол-во лицензий. 

· Фин. Директора любят этот показатель за его предсказуемость.

Минусы:
· Не всегда стоимость сервисов и подписок выгоднее приобретения того же ПО, особенно в расчете на несколько лет.
 
ЧТО СТОИТ ЗА ОПТИМИЗАЦИЕЙ IT РАСХОДОВ

ОПТИМИЗАЦИЯ не подразумевает собой только вычеркивание пунктов затрат. Для оптимизации нам нужно сменить тип затрат. Другими словами, какие-то затраты станут CAPEX, какие-то OPEX.Не всегда стоимость сервисов и подписок выгоднее приобретения того же ПО, особенно в расчете на несколько лет.


К сожалению, нельзя просто сменить часть ПО, уволить персонал и отдать все на аутсорс, а мощности перебросить в «облако». Издержек не избежать (переобучение персонала, неминуемые ошибки и простои, взаимодействие этого приложения со всеми остальными, недостающий функционал и т.д.) Выходит, то, что изначально предназначалось для изменения чисто финансовых показателей, теперь выходит даже за рамки ИТ характеристик. В конечном итоге успешной может считаться оптимизация, в которой данные характеристики не ухудшились.

· Функциональные возможности IT- инфраструктуры
· Скорость работы информационных систем
· Скорость сервисов и служб на рабочем месте пользователя
· Отказоустойчивость узлов системы

Только при неизменности этих параметров можно говорить, что внедрение или оптимизация удались. С высокой долей вероятности мы получим не то, что хотели. В последнее время для всеобъемлющей оптимизации требуется помощь отдельного специалиста. В наиболее передовых компаниях есть специальная должность- Директор по цифровым технологиям (CDO) Однако большинство организаций прибегают к помощи IT-интеграторов.

ПОЧЕМУ ИНТЕГРАТОР
  
Абсолютно любой CIO не обладает широтой знаний о существующих системах. Немногие CIO знают как правильно внедрить системы «без потерь».19% компаний США имеют позицию CDO.


Источник: https://preview.thenewsmarket.com/Previews/PWC/DocumentAssets/476557.pdf 

Количество новых продуктов растет не менее чем на 10% в год. Более 70% из них- стартапы.
  
У ИТ- директора фактически нет времени и осведомленности о выходящих продуктах, которые могут решить головную боль конкретного сегмента компаний. Этой информацией может обладать только специалист. Подробную информацию вы можете отыскать у нас на сайте.

ТРЕНДЫ РАЗВИТИЯ IT или ОЧЕВИДНЫЕ ПРОБЛЕМЫ

Решений и приложений On Premises становится все меньше. Пионерами серьезного продвижения этой системы были Microsoft с выходом их продукта Office 365. Далее появились Adobe, Cisco и тд. На сегодняшний момент практически все вендоры имеют в своем портфеле решений продукты по подписке.

Конкретно на российском рынке уже более 5 лет бушует тренд импортозамещения, это сокращает объем продуктов и сервисов, т.к. «замещается» далеко не все, что произведено за границей.


В следующей статье вы узнаете о продуктах аналитики деятельности сотрудников и способах увеличения производительности без потери лояльности сотрудников.


А что тут у нас?







Читать подробнее