WWW.NEW.PDFM.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Собрание документов
 

«НОВЫЕ ИССЛЕДОВАНИЯ МАТЕРИАЛЫ КОНФЕРЕНЦИИ ПОД реД. е.В.ПеченкОВОй, М.В.ФаликМан Москва БукиВеди, ИППиП УДК 159.9 ББК 81.002 К57 К57 Коллективный Когнитивная наука в Москве: новые исследования. ...»

2017

КОГНИТИВНАЯ НАУКА В МОСКВЕ

НОВЫЕ ИССЛЕДОВАНИЯ

МАТЕРИАЛЫ

КОНФЕРЕНЦИИ

ПОД реД. е.В.ПеченкОВОй, М.В.ФаликМан

Москва

БукиВеди, ИППиП

УДК 159.9

ББК 81.002

К57

К57 Коллективный

Когнитивная наук

а в Москве: новые исследования. Материалы конференции 15 июня 2017 г .

Под ред. Е.В. Печенковой, М.В. Фаликман. – М.: ООО «Буки Веди», ИППиП. 2017 г. – 596 стр .

Электронная версия

ISBN 978-5-4465-1509-7

УДК 159.9 ББК 81.002 ISBN 978-5-4465-1509-7 Авторы статей, 2017 081m_litvinenko_new

АннотировАние мультикАнАльного корпусА:

мАнуАльные жесты А.О.Литвиненко*(1),Ю.В.Николаева(2),А.А.Кибрик(2,3) allal1978@gmail.com 1—ИнститутязыкознанияРАН,Москва;

2—МГУимениМ.В.Ломоносова,Москва Аннотация.

Работа посвящена аннотированию мануальных жестов и других движений руквмультиканальном(мультимодальном)дискурсенаматериалесоздаваемогорусскогокорпуса«Рассказыиразговорыогрушах».Задачасистемноговычленениякоммуникативнозначимыхжестовизпотокакинетическогоповедениянаоснованиикинетических параметров(усилие,скорость,траекторияит.д.)идискурсивныхфункцийреализуется в виде аннотационной схемы для среды ELAN, позволяющей аннотировать не только собственножестовыеединицы—жестовыецепочки,отдельныежестыиихфазы,—но итакиесущественныеэлементымануальногоповедения,какизмененияположенийрук ииспользованиеразличныхдвижений-адапторов,атакжеасинхронноедвижениерук .



ключевые слова: мультимодальный дискурс, корпус, мануальный жест, аннотация, аннотационнаясхема РаботавыполненаприфинансовойподдержкеРНФ(проект№14-18-03819) .

Данная работа выполнена в рамках коллективного проекта Института языкознания РАН, целью которого является исследование различных коммуникативных каналов, используемых в дискурсе, методами мультимодальнойлингвистики—направления,признающегопринципиальноеравноправие различных формальных средств, используемых в естественной коммуникации(см.,напр.,Gibbonet al.,2000;Kress,2002;Granstrmet al.,2002;Scollon, 2006;Кибрик,2010;Mulleret al.,2013).Врамкахпроектасоздаетсямультиканальный(мультимодальный)корпус«Рассказыиразговорыогрушах».Корпус основанназаписяхестественнойкоммуникациивгруппахизчетырехучастников, обсуждающих «Фильм о грушах» У.  Чейфа (см. Chafe ed., 1980; www .

linguistics.ucsb.edu/faculty/chafe/pearfilm.htm). Каждое обсуждение, или «запись», включает фрагменты монологов и общего разговора. Корпус состоит из24записейобщейдлительностьюоколо9часовиобъемомоколо100тыс .

словоупотреблений.Каждаязаписьпредставленавкорпусеввидекомп

–  –  –

медиафайлов(видео-иаудиофайлы,атакжеданныеайтрекинга)икомплекта аннотаций.Подробнеесм.www.multidiscourse.ru .

Доклад представляет расширенную версию разработанной в рамках проекта схемы аннотирования мануальных жестов, то есть коммуникативно значимых движений рук, сопровождающих речь. Первая задача, с которой сталкиваетсяисследовательприсплошноманнотированиивидеоматериала,— этосистемноеипоследовательноевычленениежестовкакзначимыхединициз всегопотокакинетическогоповедения.Этузадачуможнорешатькакнафункциональных(Kendon,2004;McNeill,2013),такинаформальныхоснованиях (Mulleret al.,2013).Авторынастоящейработыпредлагаютсочетатьформальныйифункциональныйподходы,опираясьпривыделениижестовкакнакинетическиепараметрыдвижений,такинаихфункционированиевдискурсивном контексте .

Кинетическоеповедениеговорящего,взятоевцелом,представляет собойкинетический фон,накоторомжествыделяетсякаквыраженное двигательное усилие, обладающее явной дискурсивной функцией: непосредственно связанноессодержаниемречи(иллюстративныежесты)илиобслуживающее процесс речепорождения (жесты, облегчающие ритмическую организацию речи,поискслов,апеллирующиексобеседникуит.д).Жестпредставляетсобой хорошо структурированное движение, которое может быть охарактеризованоспомощьюследующихпараметров:явноеусилие,четкаятраектория, высокаяамплитуда,заметноеускорение/замедление,хорошозаметныйритм (длямногократныхдвижений) .

Составляющими кинетического фона являются периоды неподвижности (ккоторымучастникидискурсамогутбыть(не)склоннывразнойстепени),типичныеположениярук,ккоторымговорящийвозвращаетсявовремякоммуникации («нейтральные положения»; задержку/остановку рук в нейтральном положении мыназываем позой рук), а также различныефизиологическимотивированные движения — адапторы (т.н. self-adaptors, см. Ekman, Friesen, 1969).Вкорпусевыделяютсяадапторыкакминимумдвухтипов:1-йтиппредставляет собой хорошо структурированные движения, обладающие практической целью, не связанной непосредственно с речью (поправить одежду, почесатьсяит.д.);2-йтип —этослабоилисовсемнеструктурированныедвижения,укоторыхневыявляетсянипрактическаяцель,ниявнаядискурсивная функция,непосредственносвязаннаясречью .

Предлагаемаярасширеннаяаннотационнаясхемавключаетразметкуследующихмануальныхкомпонентов:жесты(gestures)иихфазы(phases);измененияпозрук(posturechanges);адапторы(adaptors);жестовыецепочки(gesture chains). Жест является центральным понятием аннотационной схемы; жесты состоят из структурных элементов — фаз (см. Kendon, 1980, 2004; Ladewig, Bressem,2013).Главнаяфазажеста—мах(stroke);значениежестареализуется именновмахе.Этообязательнаяфаза,остальныеявляютсявторостепенными и могут отсутствовать. Подготовка (preparation) представляет собой переход к маху от нейтрального положения или от предыдущего жеста, а ретракция (retraction)—переходотмахакнейтральномуположению.Удержание(hold) имеетместо,когдарукаостанавливаетсявмаркированномположении .

А.О.Литвиненкоидр .

Основаниемдляделенияжестикуляционногопотоканажестыиихфазы служитизменениебазовыхпризнаков:скоростьинаправлениедвижения,амплитуда, траектория, ориентация и конфигурация руки, место производства .

Изменение двух и более из этих характеристик сигнализирует о вероятной границефаз.Значимоеизменениенесколькихпризнаковпозволяетговорить отом,чтопереднамидваразныхжеста .

Параллельно и независимо от жестов размечаются значимые измененияпозы рук;позарукопределяетсякакэталонноеположение,сохраняемое втечениенекоторогопериодавремени,ккоторомуговорящийрегулярновозвращается после совершения жестов. Третьим компонентом разметки являютсяадапторыразличныхтипов,размечаемыенезависимоиотжестов,иот положений рук. Наконец, последним компонентом являются жестовые цепочки — непрерывные комплексы, включающие, помимо собственно жестов, образующих«ядро»цепочки,примыкающуюкнимдругуюмануальнуюактивность(сменыположенияиадапторы) .

Схема ориентирована на ELAN — среду, позволяющую создавать многослойные покадровые аннотации медиафайлов (см. tla.mpi.nl/tools/tla-tools/ elan)ипредназначеннуюдляаннотированияразличныхвидовкоммуникативногоповедения.СхемареализуетсяввидешаблонадляELAN,включающего комплектслоевсразработаннымилингвистическимитипамиистандартными словарями. Слои для цепочек (mChain), смены положений (mPostureChange), адапторов (mAdaptor), жестов (mGesture), а также жестовых фаз для левой иправойруки(mLtPhasesиmRtPhases)являютсянезависимымиипривязаны непосредственноквременнойшкале.Группазависимыхслоев,привязанных к слою mGesture, позволяет подробно описывать характеристики жеста: его рукость(выполняетсялионправой,левойилиобеимируками),фазовуюструктуру, различные свойства (такие как наличие многократного маха, повторы иналожениясоседнихжестов,наложенияжестовиадапторовит.д.) .

Существенной частью схемы является независимое аннотирование правой и левой руки с сохранением всех видов рассинхронизации при движении, при этом описание жеста реализуется в виде единого слоя для обеих рисунок 1.ОбразецаннотированиявELAN Аннотированиемультиканальногокорпуса:мануальныежесты рук.Дляопределенияграницжестапритакойрассинхронизацииразработан особыйнаборправил,позволяющийдетальноучитыватьналоженияфазсоседнихжестов .

Процедура аннотирования начинается со сплошного просмотра материала, что позволяет определить для каждого коммуниканта типичные паттерныкинетическогоповедения,составляющиеегожестикуляционный портрет (ср. просодические портреты в Кибрик, 2009). Затем производится разметка без обращения к речи (с выключенным звуком), только на основании кинетических параметров движения. Это позволяет минимизировать влияние содержанияречинаинтерпретациюжестовиопределениеихграниц.Наконец, на последнемэтапеполученнаяразметкапроверяетсясподключениемречевогоииногоконтекста .

Применениеэтойсхемывкорпусепозволяетизучатьвзаимодействиемануальногокомпонентакоммуникациисдругими,детальноописыватьмногие сложные особенности мануальных движений и изучать индивидуальное варьирование кинетического поведения. Например, предварительные данные, основанныенаполностьюаннотированномподкорпусе(3записиобщейпродолжительностьюоколочаса),показали,что,хотявсеучастникиэтихзаписей идентифицировалисебякакправшей,утроихизнихвгруппеодноручныхжестов существенно преобладают леворучные (60 ). При предпочтении правой руки эта склонность реализуется в различной степени (от 60 до почти % 100 ). Расширение подкорпуса, добавление данных о доминирующей руке % вдвуручныхжестахисопоставлениесадапторамипозволитболеедетально исследовать связь рукости мануальных движений и когнитивных процессов, сопровождающихречь .

литература Кибрик А. А. Мультимодальнаялингвистика //Когнитивныеисследования /Подред .

Ю.И.Александровой,В.Д.Соловьева.М.:ИПРАН,2010.С.134 52. –1 Кибрик А. А. Просодическиепортретыговорящих //Рассказыосновидениях:корпусноеисследованиеустногорусскогодискурса.Москва:ЯСК,2009.С.478 87. –4 Ekman F., Friesen W. V. Therepertoireofnonverbalbehavior:Categories,origins,usage, andcoding //Semiotica.1969.Vol.1.No.1.P.49 8.doi:10.1515/9783110880021.57

–9 Gibbon D., Mertins I., Moore R. K. (Eds.). Handbook of multimodal and spoken dialogue systems:Resources,terminologyandproductevaluation /Berlin:Springer,2000 .

Granstrm B., House D., Karlsson I. (Eds.).Multimodalityinlanguageandspeechsystems / Dordrecht:Kluwer,2002 .

Kendon A. Gesticulation and speech: Two aspects of the process of utterance  // The relationship of verbal and nonverbal communication  / M.R.Key (Ed.). 1980. P.207 27 .

–2 doi:10.1515/9783110813098.207 Kendon A. Gesture:VisibleActionasUtterance.NY:CambridgeUniversityPress,2004 .

Kress G. Themultimodallandscapeofcommunication //MedienJournal.2002.Vol.4 .

P.4 9 .

–1 Ladewig S. H., Bressem J. A linguistic perspective on the notation of gesture phases  // Body—Language—Communication:AnInternationalHandbookonMultimodalityinHuman Interaction /C.Muller,A.Cienki,E.Fricke,S.H.Ladewig,D.McNeill,S.Teendorf(Eds.).Berlin:Mouton,2013.P.1060 078 .

–1

А.О.Литвиненкоидр .

McNeill D. Gestureasawindowontomindandbrain,andtherelationshiptothelinguisticrelativityandontogenesis //Body–Language–Communication:AnInternationalHandbookonMultimodalityinHumanInteraction /C.Muller,A.Cienki,E.Fricke,S.H.Ladewig, D.McNeill,S.Teendorf(Eds.).Berlin:Mouton,2013.P.28 4. –5 Mller C., Cienki A., Fricke E., Ladewig S. H., McNeill D., Teendorf S. (Eds.). Body — Language—Communication:AnInternationalHandbookonMultimodalityin HumanInteraction /Berlin:Mouton,2013 .

Scollon R. Multimodalityandthelanguageofpolitics //EncyclopediaofLanguage&Linguistics /K.Brown(Ed.).Elsevier,2006.P.386 87.doi:10.1016/b0-08-044854-2/00729-x

–3 The pear stories: Cognitive, cultural, and linguistic aspects of narrative production  / W.Chafe(Ed.).Norwood,NJ:Ablex,1980 .

Multichannel Corpus Annotation: Manual Gestures LitvinenkoA.O.*(1),NikolaevaJu.V.(1,2),KibrikA.A.(1,2) allal1978@gmail.com 1—InstituteofLinguisticsRAS,Moscow;

2—LomonosovMoscowStateUniversity,Moscow Abstract.Thepaperpresentsanannotationschemeandprocedureforhand/armmovement annotationinamultichanneldiscourse,basedonaRussiancorpusofthePearFilm(Chafe,

1980)discussions;thecorpusiscurrentlyunderconstruction(www.multidiscourse.ru).The strategiesofusingsuchkineticparametersaseffort,velocity,trajectoryandmovementdirection to separate communicatively significant gestures from the general kinetic background are discussed, with the results implemented as an ELAN annotation scheme. The proposedschemeincludesnotonlygestures,butmanualposturechangesandself-adaptors;italsotakesintoaccountsuchsignificantfeaturesasasynchronoushandmovements andgestureoverlaps.

Похожие работы:

«Научно-издательский центр "Социосфера" Российско-Армянский (Славянский) государственный университет Дагестанский государственный университет Пензенская государственная технологическая академия ТЕОРИЯ И ПРАКТИКА ГЕНДЕРН...»

«Федеральное государственное бюджетное образовательное учреждение высшего образования "Пятигорский государственный университет" Философские проблемы информационных технологий и киберпространства Электронный научный журнал №...»

«НОУ дополнительного профессионального образования "Экспертно-методический центр" Научно-издательский центр "Articulus-инфо" Научно-методический е-журнал "Наука и образование: новое время" Международные и Всероссийские научноwww.articulus-info.ru практические...»

«Информация о деятельности Частного учреждения социального обслуживания "Социальный центр – SOS Мурманск" Частное учреждение социального обслуживания "Социальный центр – SOS Мурманск" (далее ЧУСО...»

«Информационное письмо ТПС 1/2010 Заголовки • Юбилейная конференция в честь Генерального секретаря ТПС Ульфа Франке • Календарь ТПС: Лондон, Москва, Киев (при поддержке Ассоциации юристов Украины) • Последствия несоблюдения доарбитражного порядка урегулирования спора для возможности...»

«№5 (47) 2016 Часть 2 Май МЕЖДУНАРОДНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ЖУРНАЛ INTERNATIONAL RESEARCH JOURNAL ISSN 2303-9868 PRINT ISSN 2227-6017 ONLINE Екатеринбург МЕЖДУНАРОДНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ЖУРНАЛ INTERNATIONAL RESEARCH JOURNAL ISSN 2303-9868 PRINT ISSN 2227-6017 ONLINE Периодический теоретический и научно-практически...»

«XVII Всероссийская научная конференция студентов, аспирантов и молодых специалистов Геологи XXI века МАТЕРИАЛЫ г. Саратов, 6 – 7 апреля 2017 года Геологи XXI века / Саратов / 6-7 апреля 2017 г. САРАТОВСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТИМ. Н.Г. ЧЕРНЫШЕВСКОГО ГЕОЛОГИЧЕСКИЙ ФАК...»

«VI международная конференция молодых ученых и специалистов, ВНИИМК, 20 11 г. ИСХОДНЫЙ МАТЕРИАЛ С МАРКЕРНЫМИ МОРФОЛОГИЧЕСКИМИ ПРИЗНАКАМИ ДЛЯ СЕЛЕКЦИИ ЛЬНА МАСЛИЧНОГО Маслинская М.Е., Андроник Е.Л....»






 
2018 www.new.pdfm.ru - «Бесплатная электронная библиотека - собрание документов»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.