Контент-анализ экономической информации

Контент-анализ экономической информации

ВВЕДЕНИЕ

Через один год обозреватели и журналисты будут гадать, каким символом обозначить уходящий век. Уже предложено несколько названий: атомный век, электрический, космический, информационный. Думаю, на этот вопрос не может быть однозначного ответа, так как столетие – это не один миг, оставляющий только одно впечатление в сознании человеке. Это – путь эволюции всего человечества: от удовлетворения своих потребностей в пище и крове над головой, облегчения быта и труда до удовлетворения интеллектуальных потребностей каждого человека в знаниях, самовыражении, образовании. До недавнего времени возможности такого образования были ограничены наличием печатной литературы, близостью культурных и научных центров, скоростью чтения читателя. Но с появлением электронных средств коммуникации становится все больше способов получения информации. Достаточно иметь доступ в Internet, чтобы бесплатно получать оперативную информацию о происшествиях в мире, состояниях рынков, настроениях общественности.

Также существует много платных информационных агентств: Сибирское Информационное Агентство (СИА), АК&М, Прайм-ТАСС, РосБизнесКонсалтинг; из иностранных это прежде всего REUTERS, TeleForm, DowJonesTelerate, Bloomberg, CNN. Эти компании поставляют информацию в режиме "реального времени", то есть как только она становится известна репортерам агентства, вы получаете ее на ваш компьютер. Из-за большой сети бюро этих агентств поток информации в последнее время стал превышать адаптационные возможности человека: один даже специально подготовленный сотрудник не может отследить весь поток информации на интересующую его тему, настолько он велик. В связи с этим стала насущной задача создания такого метода автоматической обработки данных, который позволил бы без ущерба для целостности информации выделять только главные компоненты сообщения, то есть формировать "доминанту" текста. Одной из практических разработок, способных выполнять такую работу с текстом, является метод контент-анализа. Создание компьютерных программ на основе контент-анализа позволит автоматически резюмировать поток новостей, отфильтровывать основные – главные- новости по определенному пользователем контексту, будь то информация о политике, экономике, рынке акций или валюты, новых разработках в компьютерной сфере или другое. Отсюда и берет начало название метода: как пользователь задаст значимость контекста искомых понятий, так он и будет получать результат.

В рамках этого курсового проекта я рассмотрю историю проблемы обработки текстовой информации, опишу найденную мной методику проведения контент-анализа, а также приведу пример проведения контент-анализа, взятый мной из экономического журнала.

ИСТОРИЯ ПРОБЛЕМЫ

Одной из интенсивно развивающихся отраслей использования машиночитаемых письменных источников в целях хранения и обработки является применение семантических языков разметки текста. Первоначально понятие разметки текстов использовалось для описания ссылок и других отметок в тексте как инструкция для наборщика или машинистки по правилам печати и оформления. После того, как создание текстов было компьютеризировано, понятие разметки было расширено для обозначения всех кодов, вставленных в электронные тексты для управления форматированием, печатью и прочими видами обработки. В этом смысле разметка является кодировкой для ясного указания на то, как следует понимать текст. Удобство данного вида работы с электронными текстами состоит в том, что можно изменять коды без изменения источника. Язык разметки указывает правила кодирования документа, правила отличия знаков кода от знаков текста и что коды означают. Все языки разметки основаны на трех основных положениях.

Во-первых, на самом примитивном уровне все тексты без исключения состоят из линий символов. Например, из букв или байтов данных, пометок на страницах или графики. Они получили название "явления". По сути, это минимальная частица текста типа слова или точки, рассматриваемая вне зависимости от структурной или категориальной классификации. В базе данных из свободного текста "явления" представлены набором байтов для хранения и обработки.

Во-вторых, на следующем уровне абстракции всякий текст рассматривается как совокупность объектов различного свойства. Данные объекты появляются в тексте закономерно в определенном отношении к прочим объектам. Объекты могут включать друг друга, иметь связи или быть последовательно представлены. На этом уровне описания текст составлен из структурно определенных объектов, называющихся "элементами". Однако тексты не являются простой чередой слов или байтов. Они содержат примеры объектов, такие как параграфы, заголовки, имена, даты, представленные последовательностью "явлений". Все схемы разметки текстов, в большей или меньшей степени, направлены на описание этих компонентов. Рассмотрение схем указывает по крайней мере три важных аспекта текстовых объектов, которые нуждаются в распознании. Прежде всего, это "протяжение" - позиции в текстовом потоке, на которых формы объекта начинаются и заканчиваются; за ними следует "тип" - категория, которой предназначены формы объекта, после которой возникает "контекст" - связи текстовых объектов с формами другого объекта в документе.

Таким образом, и в-третьих, "тип документа" получается на основе грамматики, определяющей правила объединения классов текста. Подобным образом природа текста представляется как упорядоченная иерархия объектов содержания.

Различаются два основные типа языка разметки текстов: процедурный и описательный. Процедурный язык состоит из знаков, которые изначально ясно указывали на то, как размеченные элементы текста должны быть распечатаны. Документы, размеченные процедурным языком, обыкновенно имеют начальную секцию, заголовок, который иногда хранится в отдельном файле. Заголовок определяет характер знаков, допущенных для описания текста, и значки, указывающие на отличие знаков процедурного языка от текста источника- оригинала.

В подавляющем большинстве случаев используются значки {...}, \...\, <...>. Заголовки также могут содержать заданные пользователем условные символы, с помощью которых сложные последовательности знаков процедурного языка могут сокращаться для легкости использования. Подобная разметка текста требует специального программного обеспечения, которое изначально разрабатывалось для издательских целей.

Различие между процедурным и описательным языками заключается в том, что описательный язык определяет скорее элементы и характерные черты документа, чем процедуры обработки. Задачей этого языка является определение различных феноменов в тексте, например, параграфов, предложений, действующих лиц. Данное различие описательного и процедурного языков рассмотрено в работах специалистов в области лингвистики и компьютерных технологий, гипертекста, гипермедиа, глобальных компьютерных сетей.

Остановимся несколько более подробно на выдвинутой общей теории разметки текста. Всякий раз, когда автор пишет что-либо, он размечает текст. К разметке относится промежутки между словами, отмечающие их границы, запятые, отмечающие границы фраз или точки, отмечающие границы предложений.

Обыкновенно, автор постоянно использует два типа разметки текста в рукописи: пунктуационный и презентационный. Под рукописью будем понимать любой вид текста. Пунктуационный язык разметки текста, например, указывает на концы предложений с помощью пробела. Презентационный язык может содержать, для сравнения, нумерацию страниц рукописи. Приведенные два типа разметки текста не могут быть игнорированы из-за того, что на них построена вся система европейского письма, русского в частности.

Пунктуационный язык разметки текста состоит из набора средств, обеспечивающих первичную синтаксическую информацию о написанных высказываниях. Из-за относительной стабильности пунктуации она доступна для большинства читателей. Однако ее характеризуют сложность в использовании в зависимости от стилистических вариаций авторов. Социальное разнообразие пунктуации делает язык богаче, чем усложняет компьютерную обработку текста. Презентационный язык, по сравнению с пунктуационным, имеет подчиненный характер. С его помощью делается ясное представление текста. Он включает в себя горизонтальные и вертикальные границы текста, номера томов и страниц, цитат и примечаний, а также указания на концы страниц или специальные символы. Пунктуационный и презентационный языки относятся к разряду естественных. К разряду электронных языков разметки отнесены языки описания полнотекстовых баз данных, хранящих информацию в машиночитаемом виде: процедурный, описательный, референциальный и метаязык. Разработчики теории семантических языков делали ставку, прежде всего, на их создание и использование.

Упомянутый ранее процедурный язык в компьютерный системах обработки текстов заменил презентационный. Процедурный язык часто стал набором компьютерных команд, определяющих, каким образом следует форматировать текст в конкретных программах. Принцип использования описательного языка изложен выше.

Остановимся на референциальном языке. Он обращен к задаче замены пунктуации на ее описание, например "точка" вместо "." или "тире" вместо "-". Это может упростить процедуру компьютерную интерпретации текстов, отличающихся разнообразием пунктуации. Референциальный язык также использует библиотеки замен, хранимых в отдельном файле или другой компьютерной системе. Строго говоря, в этом он сближается с описательным языком. Наконец, метаязык предоставляет пользователю возможность контролировать и интерпретировать все языки обработки текстов.