Контроль ситуации на дороге
В западных странах компьютерное зрение несколько лет используется для оценки дорожных ситуаций: пробок, загруженности полос. Анализируются целые сцены и ситуации, связанные с чтением дорожных знаков и скоростью их распознавания. Когда к таким системам подключаются технологии машинного обучения, результаты становятся более впечатляющими. Датчики на автомобиле «видят», когда к нему приближаются посторонние предметы, и контролируют ситуацию, не допуская столкновения. Например, в экстренной ситуации, если водитель попытается сменить полосу, но не включит поворотный сигнал, автомобиль продолжит ехать на прежней полосе.
Как учится компьютер распознавать
К примеру, необходимо научить компьютер находить изображения светофоров. Начинать следует с составления обучающей выборки, которая представляет собой коллекцию картинок. Выборка должна соответствовать ряду характеристик: быть довольно большой (обучение на 2-3 примерах не гарантирует надежный результат), репрезентативной (то есть отражающей природу данных, с которыми предстоит работа) и содержащей изображения как с присутствием, так и с отсутствием искомого элемента (понадобятся картинки и со светофором, и без него).
После составления и загрузки выборки начинается, собственно, машинное обучение. Система анализирует изображения в цифровом виде, определяя, какие признаки указывают на наличие данного элемента – светофора. После обучения осуществляется проверка компьютерного зрения с привлечением новых примеров. Если все прошло успешно, то можно констатировать, что компьютер научился замечать светофор и способен отыскать его на любой картинке.
Процесс обучения человека и машины отличается. Если мы оперируем визуальными образами, то компьютер получает информацию в цифровом виде. Для него картинка представляет собой набор пикселей, каждый из которых обладает значением яркости и цветности. Чтобы машина «поняла», что изображено, необходимо задействовать специальные алгоритмы.
Вначале на картинке определяются границы между предполагаемыми объектами. Для этого используются разные методы, в том числе алгоритм Difference of Gaussians (DoG, разность гауссиан). В этом случае исходная картинка несколько раз подвергается размытию по Гауссу, причем всякий раз берутся разные фильтры. Далее полученные результаты сопоставляются, чтобы выявить самые контрастные фрагменты, которые чаще всего оказываются границами между объектами.
После этого значимые места рисунка преобразуются в числовую форму. На выходе получается дескриптор – запись графического изображения в цифровом виде. Именно благодаря сравнению дескрипторов и происходит идентификация картинки с ее аналогом. Для создания дескрипторов, которыми оперирует компьютерное зрение, применяются различные алгоритмы—SIFT, SURF, HOG и другие.
Дескриптор изображения выражается большим рядом чисел, и если использовать полную запись, то сопоставление цифровых форм потребует значительных программных ресурсов. Поэтому для ускорения вычислений дескрипторы делятся на кластеры – группы. Эта операция носит называние кластеризация.
Дарим скидку от 60% на курсы от GeekBrains до 14 января
Уже через 9 месяцев сможете устроиться на работу с доходом от 150 000 рублей
Забронировать скидку
После кластеризации основная работа переносится на кластерный уровень, и этот переход от дескриптора к кластерам именуется квантованием. Сам же номер кластера обозначается как квантованный дескриптор. Квантование существенно ускоряет обработку данных.
Обращаясь к имеющимся в его распоряжении квантованным дескрипторам, компьютер распознает объекты и получает возможность сравнивать изображения. В описанном выше примере машина определяет, какие кластеры являются признаком присутствия заданного объекта – светофора.
После того как ключевые маркеры обнаружены, дальнейшая идентификация изображений не будет представлять для компьютерного зрения каких-либо проблем. Точно так же происходит поиск дубликатов на основании кластеров загруженной картинки.
Как учится компьютер распознавать
Данный подход к обработке изображения является отнюдь не единственным, есть и другие технологии компьютерного зрения, использующие тот или иной алгоритм функционирования системы. К примеру, распознавание возможно путем применения нейронных сетей. Они выводят классифицирующие признаки графических объектов в ходе обучения. Есть специализированные методы для работы с отдельными разновидностями изображений, скажем, для чтения штрихкодов.
Как работает компьютерное зрение?
До появления компьютерного зрения, чтобы создать программу, распознающую конкретное изображение, человеку приходилось часами вручную работать с ногами. Во-первых, необходимо сопоставить базу данных похожих изображений.
Затем эти изображения необходимо будет вручную проанализировать, измерить и аннотировать соответствующими данными, которые, по мнению исследователя, могут идентифицировать рассматриваемый объект (например, цвет, размеры и форма). Только после этого можно было использовать программное обеспечение для прогнозов.
С другой стороны, компьютерное зрение автоматизирует весь этот процесс с помощью подхода машинного обучения, известного как глубокое обучение. Глубокое обучение использует многослойную нейронную сеть с сотнями потенциальных слоев. В случае изображений это обычно сверточная нейронная сеть (CNN).
Подробное объяснение того, как работают нейронные сети и глубокое обучение, выходит далеко за рамки этой статьи. В основном в нейронную сеть поступают большие объемы данных. Нейронная сеть многократно анализирует данные, пока не сможет сформировать точные прогнозы относительно них.
В случае CNN, используемой для задачи компьютерного зрения, нейронная сеть обрабатывает данные через несколько этапов. Во-первых, он сворачивает изображение на несколько частей (отдельные пиксели или группы пикселей, которые помечены заранее).
Затем он делает прогнозы о том, что находится в разных частях изображения (например, о резких краях или определенных объектах). Он неоднократно проверяет точность этих прогнозов и каждый раз немного изменяет части алгоритма, пока он не станет очень точным.
Компьютеры теперь настолько мощны, что могут анализировать изображение намного быстрее, чем человеческий мозг, особенно после того, как они научились распознавать определенные закономерности. Таким образом, легко увидеть, как алгоритм глубокого обучения может превзойти человеческие возможности.
Как работает компьютерное зрение
Технология позволяет компьютерам выполнять разнообразные задачи.
- Сегментация изображений (разделяет картинку на части и изучает каждую) и распознавание образов (находит повторы визуальных стимулов между изображениями).
- Классификация объектов (сортирует объекты, обнаруженные на изображении), отслеживание объектов (находит и отслеживает движущиеся объекты на видео) и обнаружение объектов (ищет и идентифицирует конкретные объекты на изображении).
- Распознавание лиц — усовершенствованная форма обнаружения объектов, которая может находить и идентифицировать человеческие лица.
Как упоминалось выше, компьютерное зрение — подраздел машинного обучения, и оно аналогичным образом использует нейросети, чтобы сортировать огромные объемы данных, пока не поймет, на что смотрит.
Расскажи, как цифровая трансформация изменила твой бизнес
Конкретный пример использования компьютерного зрения — задача на разделение изображений мороженого и пиццы с пепперони. Система искусственного интеллекта получает множество фотографий с этими продуктами. Затем компьютер пропускает изображения через несколько уровней обработки, из которых состоит нейросеть, чтобы шаг за шагом отличить мороженое от пиццы.
Первые уровни оценивают базовые свойства, например линии или края между светлыми и темными частями изображений. Последующие уровни изучают более сложные детали — формы или даже грани.
Это работает, поскольку системы компьютерного зрения интерпретирует изображения или видео как группы пикселей, каждому из которых присвоено цветовое значение. Эти метки используются как входные данные, которые перерабатывает система при перемещении изображения по уровням нейросети.
Торговля на примере российского ритейла
Здесь с компьютерным зрением сталкивались многие, хотя и не всегда догадывались об этом. Например, в сети магазинов «Перекресток» были успешно протестированы технологии распознавания фото- и видеопотоков. Они делают товары на полках более доступными и помогают контролировать длину очередей на кассах в пиковые нагрузки. За основу взята российская разработка Intelligence Retail, которая анализирует правильность выкладки товаров и подсчитывает количество людей в очереди. Для распознавания товаров система учитывает их форму, размеры, упаковку, логотипы и надписи на ней. В среднем на обработку одного стеллажа уходит до 30 секунд. Обычные сотрудники магазинов не могут похвастаться подобной скоростью, хотя точность работы идентичная — примерно 93%.
Компания X5 Retail Group, которая владеет торговыми сетями «Пятерочка», «Перекресток» и «Карусель», использует компьютерное зрение, маячки типа iBeacon и камеры, которые умеют распознавать образы, для анализа навигации посетителей в магазинах. Они помогают находить часто посещаемые зоны и составлять так называемые «тепловые карты». Вооружившись этой информацией, можно точнее делать выкладку, проектировать новые зоны и предлагать покупателям товары, которые нужно продавать быстрее.
Другие российские сети используют компьютерное зрение для того, чтобы «узнавать» клиентов в лицо на кассах во время совершения покупки. Таким же образом можно узнавать воров и мошенников, которых ранее занесли в черный список магазина. Еще одно интересное применение машинного зрения — подсчет посетителей. Эта информация помогает получать данные о конверсии, или сколько посетителей превратилось в реальных покупателей магазина.
Сбербанк получил патент на умный холодильник и теперь может запретить ввоз аналогичных устройств в Россию +2
- 06.05.19 07:12
•
marks
•
#450656
•
Хабрахабр
•
•
6100
Будущее здесь, Гаджеты, Интернет вещей, Патентование
Рекомендация: подборка платных и бесплатных курсов дизайна интерьера — https://katalog-kursov.ru/
В ноябре 2018 года Сбербанк подал в Федеральную службу по интеллектуальной собственности заявку на интеллектуальный холодильник. Роспатент зарегистрировал этот патент 26 марта 2019 года.
В заявке говорится о холодильнике, который оборудован датчиками и камерами, позволяющими владельцу наблюдать за состоянием и количеством продуктов, сроком их годности при помощи мобильного приложения или web-интерфейса. Кроме того, пользователь может принимать решения о покупке определенных категорий продуктов питания или настроить заказ в автоматическом режиме.
С другими устройствами холодильник может связываться по WiFi либо сотовой связи (2G или 3G).
Автор изобретения — Алексей Ерошкин, технический директор лаборатории интернета вещей Сбербанка. «Ведомости» связались с компанией и ее представитель подтвердил, что в организации действительно есть лаборатория интернета вещей, сотрудники которой работают над большим количеством проектов. Возможно, умный холодильник — один из них.
Работа холодильника основывается на сборе информации, передаваемых умными датчиками веса и камерами. Датчики определяют вес полок и продуктов на них, а также заполненность контейнера. При необходимости могут быть добавлены датчики газа для определения испорченных продуктов.
Что касается камер, то их должно быть больше двух, размещаются они в боковой панели изнутри и в верхней панели. Камеры фотографируют продукты и при помощи компьютерного зрения показывают название товаров из базы образов товаров. База может быть как собственной, так и заимствованной у третьих лиц.
Пользователь через мобильное приложение может настраивать нижний предел количества продуктов. К примеру, человек в сутки потребляет 200 г молока, установив нижнюю границу в 250 г. Когда вес продукта опускается ниже заданной границы, пользователь получает оповещение о необходимости купить молоко. Кроме того, холодильник способен предупреждать об истечении срока годности продукта. В приложении можно настроить продувку холодильника в том случае, если что-то испортилось.
Сбербанк запатентовал не изобретение, а «полезную модель». Такой документ проще и быстрее получить (на оформление уходит около полугода вместо пары лет). Патент на «полезную модель» представляет собой не описание уникального изобретения, а технического улучшения. Об этом говорит руководитель практики медиа и технологий юридической фирмы CMS Константин Бочкарев. Патент на полезную модель действует около 10 лет (срок действия на изобретение составляет около 20 лет). Теоретически держатель такого патента может запретить ввоз, продажу и производство холодильников с аналогичными характеристиками в России без разрешения Сбербанка. Правда, существует возможность обойти ограничения, используя модифицированную технологию — например, другие датчики.
В России умные холодильники предлагают LG, Samsung, Liebherr, Bosch и другие компании. Минимальная стоимость таких устройств составляет 40 000 — 50 000 рублей. Функциональность умных систем включает беспроводную связь, удаленную настройку температуры, ручной контроль наличия продуктов. Пользователь может вносить продукты в приложение или удалять их оттуда. В моделях стоимостью в 200 000 и дороже есть дисплей и встроенные камеры, позволяющие просмотреть удаленно содержимое полок. По данным «М.видео-Эльдорадо» в 2018 году спрос на умные холодильники увеличился в 4-5 раз.
По мнению председателя технического комитета «Кибер-физические системы» при Росстандарте Никиты Уткина, интернет вещей дает корпорациям возможность знать, чем живут их клиенты. А это, в свою очередь — огромные возможности для аналитики потребительского поведения, что может быть интересно многим компаниям на российском рынке, не только Сбербанку.
К сожалению, не доступен сервер mySQL
Линейная фильтрация изображений
Важный класс преобразования изображений — это линейные фильтры. С их помощью решаются задачи поиска границ, уголков, удаления шумов.
Скользящее среднее — свертка
Проще всего объяснить, что такое линейная фильтрация, на примере. Пусть требуется подсчитать среднее в окне 3 × 3 для каждого пикселя. Вычисление среднего можно записать так:
Переписав формулу в следующем виде, можно получить выражение для свертки:
где f — это изображение (двухмерная функция, характеризующая картинку), k, l — координаты пикселя, f — яркость пикселя, h — ядро свертки (матрица 3 × 3, состоящая из единиц).
Если ядро свертки — матрица, то свертка — это скользящее среднее. В OpenCV произвести такую свертку можно следующим образом:
Картинка при этом становится более размытой. Также размытие изображения можно получать при помощи свертки с гауссовской функцией.
Фото до применения скользящего среднего, после и после применения гауссовского размытия
Детекция границ
Свертки также можно применять для детекции границ. С помощью сверток, как на картинке ниже, можно получить вертикальные и горизонтальные границы изображения. Если объединить результаты этих двух сверток, можно получить все границы.
Свертки для получения границ: слева — горизонтальных, справа — вертикальных Границы изображения, полученные с помощью применения свертки. Слева — горизонтальные, в середине — вертикальные, справа — все границы, полученные объединением результатов двух сверток
Такие ядра являются частью преобразования Превитта, их использование — это самый простой способ найти границы изображения.
На самом деле существует много способов определения границ. Каждый из них применяется в разных условиях, и, в зависимости от задачи, необходимо использовать тот или иной способ.
Корреляция
Другой пример линейного преобразования — это корреляция. Она очень похожа на свертку, но записывается немного в другом виде:
В отличие от свертки корреляция используется, чтобы показать меру похожести двух изображений. Это может быть использовано для поиска объектов. Например, требуется найти лицо футболиста.
На рисунке слева показан результат применения корреляции для поиска лица. Белое пятно — это место, где оно найдено. Корреляцию можно использовать с различными параметрами: нормировать, применять ее различные вариации.
Получается, что корреляция — это очень простой способ поиска объектов на изображении, если имеется их точные копии.
Не секрет, что ИИ проник во многие сферы жизни. Однако мы до сих пор не всегда понимаем, когда взаимодействуем с ним, и какие методы он использует. Как правило, в инструментах, связанных с фото или видео, применяется компьютерное зрение.
Компьютерное зрение — это область ИИ, в частности, машинного обучения. Если ИИ позволяет машинам «думать», то компьютерное зрение помогает им «видеть». В техническом плане это позволяет распознавать, понимать и реагировать на визуальную информацию, например, фото или видео.
За последние годы компьютерное зрение стало основным драйвером ИИ. Технология широко используется во многих сферах, в том числе производстве, онлайн-торговле, сельском хозяйстве, автомобилестроении и медицине.
История компьютерного зрения в целом повторяет историю ИИ: медленный старт, полный технических препятствий, за ним — взрывной рост, подкрепленный огромными объемами данных, после — быстрое распространение, и, наконец, озабоченность по поводу предвзятости и использования технологии. Разберемся, как оно работает, как используется, с какими проблемами справляется и какие ему еще предстоит решить.
Предвзятость и проблемы компьютерного зрения
Доступность ImageNet одновременно помогла и нанесла ущерб столь влиятельной сегодня технологии. Это иллюстрирует популярную фразу в области дата-сайенс и ИИ: «мусор на входе, мусор на выходе».
Стремясь быстрее воспользоваться набором данных, исследователи не задумывались, откуда появились изображения, кто их разметил, почему они размечены таким образом, каких изображений или меток не хватает, и как это отразится на работе, не говоря уже о влиянии на сообщество и жизни людей. Лишь в 2019 году было выявлено, как много предвзятости и некорректных меток присутствует в датасете.
Исследователь ИИ Кейт Кроуфорд в своей книге «Атлас ИИ» отмечает, что внутри ImageNet встречались довольно оскорбительные и вредные категории, содержащие дискриминацию по полу, расе, возрасту или физическим возможностям. Сейчас уже ведется работа над тем, чтобы исключить предвзятость из датасета. Его критикуют и за нарушение приватности, поскольку люди, чьи снимки были включены, не давали согласие на использование и разметку фото.
Фото в тексте: marvent / Shutterstock
Предвзятость данных и алгоритмов — одна из ключевых проблем для ИИ в целом, но ее влияние особенно легко увидеть в некоторых приложениях, использующих компьютерное зрение.
Например, известно, что технология распознавания лиц позволяет неверно идентифицировать темнокожих, но ритейлеры все чаще используют ее в магазинах. Полиция США также широко ее применяет, что стало поводов для протестов и законодательного регулирования в нескольких городах и штатах.
Правила в целом являются новой проблемой для компьютерного зрения (и ИИ в целом). Ясно, что их будет больше (особенно если большая часть мира последует по пути Европейского союза), но пока точно неизвестно, как будут выглядеть такие правила. Поэтому исследователям и компаниям пока неясно, на что ориентироваться в данный момент.
Компьютерное зрение также сталкивается с некоторыми техническими проблемами. Его ограничивает оборудование, в том числе камеры и датчики. Кроме того, системы компьютерного зрения очень сложно масштабировать. И, как и все типы ИИ, они требуют огромных вычислительных мощностей (что дорого) и данных.
Как показывает вся история компьютерного зрения, хорошие данные, которые являются репрезентативными, беспристрастными и этично собранными, трудно найти — и невероятно утомительно размечать.
-
Asp не скачивается файл
-
Покер старс не обновляется на компьютер
-
Меркурий 185ф подключение к компьютеру
-
Сколько памяти занимает сайт
- Dr web мобильный режим
Тенденция 1: компьютерное зрение на грани
Edge — это новое облако. Термин « пограничные вычисления » относится к технологии, привязанной к тому месту, где генерируются данные, т. е. к границе архитектуры: она позволяет обрабатывать и анализировать данные там, где (или ближе к тому месту), где они собираются, а не в облаке или Дата центр. В проектах компьютерного зрения все больше и больше внедряются архитектуры граничных вычислений, потому что они решают проблемы доступности сети, пропускной способности и задержки. Даже облачные архитектуры часто необходимо развертывать на периферийных устройствах из-за конфиденциальности, надежности и производительности. Граничные вычисления особенно популярны для проектов, где требуется обработка данных в реальном времени. К таким проектам относятся беспилотные автомобили, дроны и т. д.
Пограничные вычисления набирают все большую популярность в сфере здравоохранения. В то время как большинство людей воспринимают зрение как должное, другие живут с ограниченным видением или вообще без него. Было проведено множество исследований по использованию компьютерного зрения для помощи слабовидящим. К счастью, достижения в области технологий позволяют нам сделать мир немного лучше для тех, кто не видит его через изображение в реальном времени. Точнее, компьютерное зрение может помочь:
- Идентифицировать объекты
- Найдите конкретный объект среди других
- Обнаружение препятствий
- С обнаружением знаков и навигацией
- Распознавать людей
- Делитесь информацией о людских скоплениях
Аналогичные варианты использования компьютерного зрения на периферии включают помощь людям с ограниченными физическими возможностями или защиту исчезающих видов . Разумеется, список вариантов использования граничных вычислений можно продолжать и продолжать.
В чем разница между машинным и компьютерным зрением
Машинное зрение часто путают с компьютерным зрением, подменяя эти два понятия. Оба используют захват и анализ изображений для выполнения задач со скоростью и точностью, недоступными человеческому глазу, но воспринимать машинное и компьютерное зрение как синонимы не совсем корректно.
Компьютерное зрение — это область компьютерных наук, которая занимается технологиями и инструментами, позволяющими компьютерам видеть то же, что и люди, и интерпретировать окружающий мир. Ярким примером применения компьютерного зрения являются электромобили Tesla: восемь камер обеспечивают 360-градусный обзор вокруг автомобиля на расстоянии до 250 метров.
Информация с них поступает в компьютер, который распознает на видео другие машины, «твердые» и «мягкие» объекты, дорожную разметку и т.д., используя данную информацию для прокладывания маршрутов и совершения маневров. Компьютерное зрение может анализировать не только изображения, но и графики, таблицы и прочие данные.
Машинное зрение — это часть компьютерного зрения, которое можно использовать отдельно, без необходимости быть частью более крупной машинной системы. Но система машинного зрения не работает без компьютера и специального программного обеспечения. Машинное зрение чаще всего, но не всегда, используется в производстве.
Учёные разработали дешёвые датчики годности продуктов
Короткая ссылка
5 июня 2019, 16:20
Арсений Скрынников
Группа учёных создала датчики определения свежести продуктов из мяса и рыбы. Устройство представляет собой небольшую бумажную наклейку со слоем активированного угля и микрочипом. Оно способно улавливать вызванные разложением газы и передавать информацию на смартфон. Разработчики считают, что подобные датчики смогут заменить указатели сроков годности.
- Gettyimages.ru
Учёные из Имперского колледжа Лондона (Великобритания) заявили, что созданные ими бумажно-угольные электрические датчики газа (paper-based electrical gas sensors, или PEGS) способны обнаруживать первые признаки разложения мяса или рыбы и передавать эту информацию на смартфон. Об этом они сообщают в статье, опубликованной в журнале ACS Sensors.
Покупатели и продавцы в большинстве случаев определяют свежесть продуктов по сроку хранения, по внешнему виду и по запаху — все эти способы несовершенны, уверяют британские учёные. По их словам, датчик PEGS наиболее точно может определить годность — он улавливает аммиак и его производные (такие, например, как газ триметиламин), выделяемые при разложении продуктов питания.
«Первые доступные»
Датчики PEGS обошлись разработчикам в два цента каждый. Они состоят из целлюлозы, пропитанной специальными «чернилами» с активированным углём, выполняющими роль электродов. Также в устройство вмонтирован небольшой чип для считывания данных электронными устройствами (аналогичные NFC-чипы защищают товары от краж в супермаркетах).
По итогам проведения лабораторных тестов выяснилось, что бумажные датчики справляются со своей задачей улавливания газов не хуже, чем дорогостоящее оборудование. Это делает их «первыми в истории доступными датчиками свежести», уверены разработчики. По их словам, PEGS со временем заменят указатели срока годности продуктов питания.
«Сроки годности придуманы для нашей безопасности, но из-за них иногда выбрасывается пригодная к употреблению пища. Они также неспособны защитить людей от отравлений, если продукт питания испортился до окончания срока годности из-за неправильного хранения», — говорит один из авторов работы, доктор Фират Гюдер.
Разработчики уверены, что у потребителей впервые появляется возможность безошибочно судить о безопасности продуктов в магазине. Они также считают, что для выхода на рынок и повсеместного распространения PEGS потребуется не больше трёх лет.
Экология и экономия
Кроме простоты и невысокой стоимости, учёные отмечают безопасность для окружающей среды сделанных из биоразлагаемых материалов датчиков. Но это не единственная экологическая задача, которую решили разработчики. Существующая технология определения срока годности не учитывает условия хранения и обработки продуктов, уверены создатели PEGS. Они утверждают, что большая часть просроченной пищи безопасна и съедобна. Таким образом, в случае перехода на PEGS сократится количество выбрасываемых продуктов.
Также по теме
Кислородное голодание: как пластиковый мусор влияет на полезные бактерии в Мировом океане
Загрязнение Мирового океана пластиком угрожает прохлорококковым водорослям — цианобактериям, которые вместе с другими микроводорослями…
В настоящее время PEGS предназначены для определения свежести изделий из мяса и рыбы. Учёные уверены, что и покупатели, и продавцы смогут сэкономить, если на рынке появится якобы просроченная, но на самом деле безопасная еда.
Авторы исследования уверяют, что массовое производство простых и дешёвых датчиков легко реализуется с помощью технологий трафаретной и рулонной печати. Также они считают, что функциональность PEGS может быть значительно расширена. Датчики могут использоваться в сельском хозяйстве для обнаружения вредных химикатов, для медицинской диагностики дыхания и выявления различных заболеваний.
В ближайшем будущем учёные планируют адаптировать датчики не только под разные продукты питания, но и для различных отраслей промышленности.
Ошибка в тексте? Выделите её и нажмите «Ctrl + Enter»