МУЛЬТИМЕДИА

 

 

 

Multimedia (M-media, MM, мультимедиа) - технологии, позволяющие с помощью компьютера интегрировать, обрабатывать и синхронно воспроизводить информацию в разичных формах представления:

  • визуальную,

  • акустическую,

  • тактильную,

  • обонятельную,

  • вкусовую....

Мультимедийный контент (MM-content) информационное наполнение (содержимое) Web-серверов, в котором сочетаются различных виды данных (текстовые, звуковые, графические....).

Линейное мультимедиа предполагает последовательный вывод информации исключающий влияние зрителя (пример: кино).

Нелинейное мультимедиа (гипермедиа) предполагает взаимодействие человека со средством отображения мультимедийных данных (интерактивность), определяющее последовательность и результативность вывода информации (пример: компьютерные игры).

 

 

 

 

 

 АУДИОВИЗУАЛЬНЫЕ ТЕХНОЛОГИИ

 

Технология TelePresence передает видеоизображения со сверхвысоким разрешением в реальных размерах, создавая полную иллюзию физического присутствия на виртуальной встрече.

TelePresence включена в игру CSI Crime Scene, которая развивается в виртуальном мире SecondLife и это одна из первых попыток создать для виртуального мира адекватный пользовательский интерфейс, .

 

Технология Мультирум (MultiRoom) — это распределение аудио-видео сигнала в любую точку помещения от многих источников: от DVD/BluRay проигрывателя, спутникового ресивера, Bнтернета, домофона и других устройств. MultiRoom позволяет независимо управлять системами Hi-Fi сразу в нескольких зонах жилого дома, при этом акустические устройства могут быть «тайными» (спрятаны в стену или в потолок).

 

Типовая система MultiRoom состоит из основного комплекта звуковоспроизводящей аппаратуры (источники сигналов, главный контроллер), расположенного в «главной комнате» (main room), и дополнительных, находящихся в других помещениях, — «субкомнатах» (subroom).  В системах MultiRoom управляем дистанционно  головной комплекс и оборудование каждой «субкомнаты».

Daylight - высокотехнологичное окно, которое  может изменить видимый пейзаж и  освещённость комнаты, рисует на "стекле" различные узоры. Если настроить Daylight на определённое время, то узор на окне будет постепенно "уходить", равномерно увеличивая количество входящего света. Можно настроить Daylight  на приятные слуху звуки природы. Вместе с тем Daylight остаётся и просто окном, за которым виден реальный пейзаж.Чтобы увеличить количество виртуальной растительности (и тени в комнате) надо встать лицом к окну и провести вдоль него рукой справа налево. Обратное движение  даёт эффект открывающихся жалюзи.

Современный уровень мультимедиа реализуется в сочетании мультимедийных проекторов с интерактивными досками.

Интерактивная доска - это огромный сенсорный экран, на котором с помощью маркера можно вызывать различные функции пользовательского интерфейса.

Мультимедиа-проектор, подключенный к интерактивной доске, позволяет работать в мультимедийной среде, сочетая классический тип презентации с демонстрацией информации из Интернета, компьютера, DVD-плеера, фото или  видеокамеры.

Интерактивные доски реализуют возможность анимации, записи лекции в реальном времени. Все записанное на доске хранятся в компьютере и могут быть последовательно восстановлены.

 

 

 

 

 

 ОБОНЯТЕЛЬНЫЕ ТЕХНОЛОГИИ

 

Запах — присутствие летучих веществ веществ, рассеянных в воздухе и обнаруживаемых рецепторами обоняния.

Обоняние — ощущение запаха. Человек без труда различает и запоминает до 1000 запахов, а  дегустатор способен различить до  17 000 запахов.

"Природные запахи невозможно воспроизвести на 100%. Однако современные методики позволяют во многих случаях воспроизвести запах очень точно. Например, ароматы розы и жасмина мы можем синтезировать с точностью более 99%. Но запахи тропических деревьев, состоящие из очень сложных веществ могут быть воспроизведены только на 90%".

Роман Кайзер - главный парфюмер Givaudar

 

Синтезатор запахов iSmell (от DigiScent) получил награду «За лучшую технологию 2000 года». В технологии Digital Scents Technology (DST), - цифровой код, полученный из Интернета, конвертировался iSmell в команды по смешиванию соответствующих ингредиентов, имеющих тот или иной запах.

Компания Trisenx вместе с NASA для симуляторов виртуальной реальности создало устройство передачи запахов по Интернету — Scent Dome. Из 40 исходных запахов (картриджи «Ароматы» и «Запахи еды» по 20 камер каждый)Scent Dome может создавать тысячи оттенков запаха.

Можно создавать различные сочетания ароматов и сохранять их в виде файлов с запахом (файл с расширением *.frg), передать их по сети, публиковать на сайте, скачивать из Сети и генерировать нужный аромат.

Программа показывает на экране иконки запахов и имена запахов, которые можно перетаскивать в колбу, с помощью ползунка выбрать концентрацию каждого запаха, установить  время сеанса.

 

Японская компания K Opticom разработала систему под названием Kaori scent Web, которая позволяет ощущать запахи при просмотре изображений в Сети. Специальные устройства, позволяющие создать такой эффект установлены в сети некоторых японских интернет-кафе, принадлежащих компании.
 

Mobile Fragrance Communication (мобильные ароматизированные коммуникации), сервис компании NTT позволяющей владельцам сотовых телефонов обмениваться запахами.

Владелец мобильника загружает со специального сайта или получает от другого абонента сотовой сети плей-лист, в котором содержатся анимация, аудиоданные и "рецепт" аромата. Далее через инфракрасный порт телефона информация о составляющих запаха передается на специальное компактное устройство, которое путем смешивание базовых ингредиентов генерирует нужный аромат. Таким образом, в мультимедийном сообщении пользователь может получить визуальные и аудиоданные, а также обонятельную информацию.

Got Milk? - ароматизированная наружная реклама коровьего молока в Сан-Франциско. Прохожие, оказавшиеся рядом со щитом, ощущают запах шоколадного печенья. "Нет ничего лучше, чем стакан холодного молока к только что испеченному праздничному печенью" - считают рекламодатели.

Генерируется запах специальными полосками, созданными нью-йоркской компанией Arcade Marketing по  технологии MagniScent.

03.11.2010 Анализ 25 часто используемых продуктов, снабжённых приятными ароматами (чистящие средства, смягчители ткани, дезодоранты, детские шампуни т.д) обнаружил в них 24 опасных и токсичных химиката и 11 канцерогенов. Некоторые опасны при любом уровне воздействия.

Анна Стейнеманн (Anne C. Steinemann, автор,  исследования, Professor University of Washington): В мире коммерции «натуральный» не значит «лишённый синтетических химических веществ». «Экологически чистый» не значит «безопасный для здоровья». В этом мире много парадоксов и сюрпризов.

Если бы эти вещества выходили из выхлопной трубы, их выбросы регулировались бы государственными органами. А если они находятся в мыле или освежителе воздуха, власти не беспокоятся.

Результаты исследования в журнале Environmental Impact Assessment Review.

15.02.2011

Получила экспериментальное подтверждение «вибрационную» теория обоняния биофизика Луки Турина (Luca Turin) из MIT (рецепторные белки выполняют функции биологического спектроскопа, соответствующий молекуле аромат кодируется её колебательной частотой, а физической основой запаха является эффект туннелирования электронов).

Принятая сейчас «стерическая» теория обоняния утверждает, что основным фактором, определяющим запах, служит форма молекулы. Эта теория имеет мощную экспериментальную поддержку, но не объясняет, почему схожие по форме молекулы отвечают за совершенно разные и легко узнаваемые запахи.

05.02.2013

oPhone, позволяющий обмениваться запахами и генерировать ароматы в ответ на различные события — проект группы студентов Гарвардского университета (США) под руководством проф Дэвида Эдвардса (David Edwards).

 

 

 

 

 ВКУСОВЫЕ ТЕХНОЛОГИИ

 

Вкус — ощущение, возникающее в полости рта при действии различных веществ на рецепторы вкуса (преимущественно на языке).

В сенсорном анализе выделяют несколько элементарныхх вкусов: солёный, кислый, сладкий, горький и „umami“ (вкус сушеной рыбы кацуво, капусты комбу и куриного бульона).

 

Наряду с цифровым кодом, определяющим запах, можно передавать цифровой код, обозначающий, в каком соотношении нужно смешивать вкусовые ингредиенты для получения того или иного вкуса.

 

Компания Trisenx разработала удивительную технологию донесения вкуса предметов, представленных на графических изображениях, до пользователей Интернета - UltraSENX.  

При помощи специального программного обеспечения и устройства, схожего со струйным принтером вкусовые ингредиенты на водной основе наносятся как на съедобный носитель (пресную лепешку), так и просто «распечатываться» на бумаге.

Редактор изображений от Trisenx уже сегодня позволяет создателям контента, обладая недюжинным вкусом, выбрать из всех "оттенков" самый естественный.

 

21.04.2009 Вкус Галактики

Международный коллектив астрономов нашел органические молекулы в газопылевом облаке Sagittarius B2 в центре Млечного Пути. Этилформиат (C2H5OCHOC) относится к классу эфиров, а n-пропилцианид (C3H7CN) - алкил цианидов. Первое соединение определяет вкус малины, а второе "ответственно" за запах рома.

 

 

 

 

 ТАКТИЛЬНЫЕ ТЕХНОЛОГИИ

 

Haptic (осязательный, тактильный) - обозначает одну из характеристик средств виртуальной реальности и средств для замены органов чувств.

Чувство осязания оказывается важнейшим и сложнейшим  для воссоздания компонентом  виртуальной среды, создающей полную иллюзию реальности и способную воздействовать на все органы чувств.

В работе над компьютерными симуляциями человека и окружающей его предметной среды  хаптика часто соединяется с кинестезией

Кинестезия (от. греч. "kinesis",  движение, и  esthesia,  чувство, восприятие) - область ощущений, связанных с мускулами, суставами, движениями и напряжениями мышечной ткани.

С 1990 г. при Массачусеттском Институте Технологии работает Лаборатория Человеческой и Машинной Хаптики (Тhe Laboratory for Human and Machine Haptics. Ее цель - изучение человеческих и построение машинных хаптик, а также развитие виртуальных и телеоперационных систем ваимодействия людей и машин. Сюда входят: биомеханика кожи, нейрофизиология, психофизика, моторно-информационный   контроль, манипуляционные стратегии и их компьютерные модели.

С 1999 г. издается электронный журнал по хаптике (Haptics-e. The Electronic Journal of Haptics Research.

К настоящему моменту популярны джойстики и подобные им игровые пульты с механической обратной связью, оказывающие сопротивление движениям руки в зависимости от происходящих на экране действий.

iFeel Mouse и iFeel MouseMan - осязательные мыши компании Logitech для массового рынка, "вздрагивающие", когда курсор натыкается на гипертекстовую ссылку на веб-странице или прокатывается по позициям падающего меню.

Компания Immersion , которая разработала технологию, лежащую в основе iFeel, делит продукты на три уровня "осязательного спектра". 1) генерируют "простой рокот" - слабую вибрацию, ощущаемую пальцами, как в случае с мышью iFeel. 2) используют вибрацию таким образом, что пользователь "чувствует" фактуру материала иммитируя ощущение вельветовой ткани или дорожек на грампластинке. 3) сочетают вибрацию с силовым воздействием. Медицинские, военные и авиа-космические тренинги используют это.

 В технологии Phantom используется движущаяся механическая рука. По мере того как пользователь двигает механической рукой устройства, курсор перемещается по экрану. Рука останавливается, как только курсор наталкивается на экране на «твердый» объект. Перемещение по поверхности объекта дает тактильную информацию о структуре поверхности, и пользователь легко и интуитивно чувствует все ее изгибы и неровности. Сильнее надавливая на объект на экране, можно даже изменить его форму.

С помощью Phantom можно «редактировать» скульптуры так же, как редактируют текст текстовым редактором.

Tangible 3D - система трехмерной визуализации, позволяющая не только видеть, но и осязать объем отображаемых объектов.

Тактильные ощущения передаются посредством перчатки для передачи механических воздействий на руку. 3D-дисплей  позволяет рассматривать воспроизводимое объемное изображение невооруженным глазом, без необходимости применения очков или каких-либо иных вспомогательных средств. Tangible 3D смогут обеспечить возможность рукопожатия между участниками деловой веб-конференции, или  позволить посетителям музеев потрогать экспонаты, причем без вреда для последних.

 

iPhone  обладает пользовательским интерфейсом  Multi-Touch.

Multi-Touch - это сенсорная система управления, игнорирующая случайные нажатия пальцем, но способная откликаться на сложные комбинации нажатий. Легко изменять масштаб изображений, делать пропуски, обрезку, редактировать с помощью пальцев.

Сенсорные экраны активно развиваются. Ряд компаний за последние несколько месяца представил дисплеи с ощущением нажатия нарисованных кнопок, распознаванием отпечатков пальцев, возможностью выполнять сразу несколько задач, пользуясь одним сенсором.

Сенсорный дисплей смартфона Anycall Haptic имеет систему тактильной обратной связи. При работе пользователь будет чувствовать вибрацию, имитирующую ощущения от реального нажатия на кнопку.

Anycall Haptic  может отвечать на действия пользователя 22 различными типами вибрации.

В  телефоне Aeon  сенсорный экран, при необходимости  отображает нужные кнопки или органы управления.

 

Surface - разработка Microsoft (май 2007), представляет собой компьютер в виде книжного столика, поверхность которого это одновременно и экран, и средство ввода.

Внутри Surface спрятаны  улавливающие прикосновения камеры. Изображение на поверхность стола выводится с помощью проектора.

Можно рисовать кисточкой или пальцами, причём сразу десятью. и стольким людям, сколько сумеет уместиться вокруг стола.

Кладём на Surface два телефона, и рядом с каждым из них моментально возникают его подробные технические характеристии. поддержки.

Ставим  фотокамеру (с поддержкой Bluetooth или Wi-Fi) на   поверхность, и на столе россыпью появляются отснятые фотографии и видеоролики.

Сортировка и масштабирование цифровых фото, просмотр карты, отправление электронной открытки много удобнее, чем  при помощи клавиатуры и мыши.

Найдя метку на бокале с вином, Surface отображает рядом с бокалом информацию о напитке и фото виноградников. Заказав газировки, можно поиграть с виртуальными пузырьками, которые Surface щедро напустит вокруг дна стакана.

 

29.10.2008 Microsoft Research доработала сенсорный стол Surface. Новое устройство, прототип которого называется SecondLight, умеет одновременно проецировать разные изображения на поверхность стола и на любые полупрозрачные материалы.

14.05.2008 Microsoft представила TouchWall – который, при помощи трех инфракрасных лазерных лучей распознавает прикосновения к экрану (1,8 x 1,2 м) в его различных точках.

Прикасаясь к экрану, можно перетаскивать изображенные на нем объекты, рисовать пальцем, уменьшать и растягивать изображенные на нем фотографии, видео, пролистывать текст и т.д. Изображение формируется расположенным позади экрана проектором. Если Surface стоит $10 000, то стоимость TouchWall составляет менее $1000.

Билл Гейтс: Каждая поверхность будет компьютером. TouchWall лишь демонстрирует интерфейс будущего: пользователь сможет взаимодействовать с техникой путем прикосновений и голоса, а мышки и клавиатуры останутся в прошлом.

17.08.2009 На SIGGRAPH 2009 представлен Non-contact Method for Producing Tactile Sensation Using Airborne Ultrasound (Бесконтактный метод создания тактильных ощущений за счёт ультразвука в воздушном потоке) в рамках проекта Touchable Holography (Осязаемая голография).

Для вывода голограммы используется специальный дисплей Provision Holo и вогнутое зеркало (формируют изображение в 30 см от дисплея). Для отслеживания перемещения рук применяются контроллеры Wiimote.

Создает тактильные ощущения устройство в форме шестиугольника с 324 ультразвуковыми излучателями, регулируя фазовую задержку и амплитуду которых можно фокусировать звуковое давление в любой точке над излучателями. Технология позволяет видеть несуществующие объекты, управлять ими и осязать их безо всяких перчаток, наклеек-меток и т.п. и будет использована в играх, моделировании, медицине, обучении.

 

10.12.2009 В человеческой коже обнаружена скрытая сенсорная система.

Фрэнк Райс (Frank Rice, Медицинский колледж Олбани): Считалось, что функции сети нервных окончаний, связанные с расположенными в коже кровеносными сосудами и потовыми железами, ограничиваются регулированием тока крови и потоотделения. Мы и не думали, что она может быть связана с осязанием. Но других чувствительных окончаний, которые могли бы передавать тактильную информацию, в коже пациентов просто не было.

Отчет: http://www.painjournalonline.com/article/S0304-3959(09)00526-0/abstract

03.09.2013

Disney Research разработал технологию ощущения трехмерных поверхностей на гладких экранах.

Пальцы ощущают препятствия на поверхности при ощупывании за счет того, что трение сжимает и растягивает кожу, наш мозг оперирует по большей части именно этим. Система Disney может искусственно, электрическими сигналами симулировать растягивание и сжатие кожи, обманывая мозг и заставляя его ощущать изгибы даже на абсолютно ровной поверхности. 

 

 

 

 

 ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ

 

Венцом развития мультимедиа стала виртуальная реальность.

Под виртуальной реальностью подразумевается создание с помощью ПК некоторого виртуального (кажущегося) мира, в который (с помощью специальных устройств - шлемов, очков, перчаток и костюмов) "помещается" пользователь и начинает активно "жить" по законам этого мира, принимая участие в происходящих в нем событиях и получая при этом достаточно полный комплекс ощущений.

Данные технологии широко используются в медицинских, научных и военных тренажерах, а также в играх.

02.03.2009 В Йоркском университете анонсирован Virtual Cocoon (Виртуальный кокон), которое позволит создавать неотличимую от действительности виртуальную реальность, воздействующую на все органы чувств. Virtual Cocoon представляет собой шар с "многофункциональным" креслом для пользователя. Внутренняя поверхность шара представляет собой дисплей.

Запах генерируется при помощи новой технологии Уорвикского университета. Осязательные ощущения имитируются специальными "тактильными устройствами". Вместо вкуса будет имитироваться текстура того, что должно находиться во рту пользователя. Сервера, управляющие виртуальной реальностью, расположены под полом. Стоимость - $3 000 000.

05.03.2009

В рамках проекта Towards Real Virtuality в течение 3-5 лет планируется выпустить виртуальный шлем, передающий информацию на все пять органов чувств человека и целиком погружающий его в виртуальную реальность.

Финансирует проект  правительство Великобритании и IBM.

Целью проекта - создание «реальной виртуальности», в которой человек не сможет узнать наверняка, находится ли он в реальном или вымышленном мире, с помощью шлема, который сможет возбуждать сразу же все органы чувств.

 

Майкл Макгиган (Michael McGuigan) из Брукхейвенской лаборатории рассчитал, что через несколько лет суперкомпьютеры мощностью 1000 терафлопс смогут пройти "графический тест Тьюринга", создав виртуальную реальность,  которую человек не в состоянии будет отличить от физического мира.

Термин "ВР" используется также в других значениях:

  • для обозначения Интернета, WWW, киберпространства

  • для обозначения программного обеспечения, позволяющего создавать с помощью языков моделирования виртуальной реальности (VRML-1 и VRML-2)  трехмерные "виртуальные миры" и просматривать их.