Както всеки, който някога е имал връзка, ще ви каже, човешките емоции са сложна концепция. Това важи особено за търговците, които се опитват да разберат качествените ползи - стойността, която надхвърля основната функционалност - на техния продукт или услуга. Не е трудно да разберете какво прави вашият продукт, но знаете ли как се чувстват вашите потребители?



Бихте го направили, ако сте използвали анализ на настроението за социално изслушване, за да дестилирате нефилтрираните размишления на вашата целева аудитория в стратегически прозрения. Като всички налични социални данни в Twitter и категоризирането му за положителни, отрицателни или неутрални настроения е основно начинание и не се създават два метода равни. Ето защо HASHTAGS изгради хибридна система за анализ на настроенията, която съчетава двата основни подхода, списъци с правила и машинно обучение.



Списъци с правила

Един от най-простите начини за справяне с анализа на настроенията е чрез използване на създадени от човека правила или речници. При този подход системата разчита на списък с думи или фрази, които директно се свързват с конкретно настроение. Например всеки туит, който съдържа думата „петица“, може да бъде означен като положителен, докато туит, съдържащ „ужасен“, би бил отрицателен. Системи като тази са силно адаптивни и могат да бъдат разширени, за да включват хиляди правила за думи и фрази.

Недостатъкът е, че системите за правила се борят с туитове, които съответстват на противоречащи си правила, като например „Филмът не беше толкова ужасен, колкото очаквах“. Тук „ужасно“ може да бъде обозначено като отрицателно, докато „очаквано“ би било положително. Противоречивите правила обозначават Tweet като неутрален, докато някои човешки читатели биха го тълкували като леко положителен, а други като леко отрицателен.

Допълнително ограничение на системите, основани на правила, е разчитането на човешките усилия и разбиране. Езикът се развива бързо (особено в Twitter) и система, основана на правила, изисква някой да предоставя постоянен поток от нови термини и фрази. Актуализирането на система за настроения не винаги е основен приоритет и системата може бързо да остарее. Дори и с бдително наблюдение може да бъде трудно да се идентифицират променящите се езикови тенденции и да се определи кога трябва да се добавят нови правила.

ангел номер 24

Машинно обучение

Използват се по-усъвършенствани системи за анализ на настроенията Машинно обучение (ML) техники (понякога наричани още изкуствен интелект или Обработка на естествен език ). Машинното обучение е семейство от техники, които използват статистика и вероятност за идентифициране на сложни модели, които могат да се използват за етикетиране на елементи.

За разлика от системите, базирани на правила, системите за ML са достатъчно гъвкави, за да открият прилики, които не са очевидни веднага за човека. Разглеждайки много, много примери, системата научава модели, които обикновено са свързани с положителни, отрицателни или неутрални настроения.



Например, система за анализ на настроенията на ML може да установи, че Tweets, които съдържат думата „дъжд“ и завършват с един удивителен знак, са отрицателни, докато Tweets с „дъжд“ и две удивителни точки са положителни. Човек може да не забележи този модел или да разбере защо се получава, но системата за ML може да го използва, за да прави много точни прогнози.

Докато системите за машинно обучение могат да дадат отлични резултати, те имат някои недостатъци. Когато има много разнообразие в езика, може да е трудно системата за ML да пресее шума, за да избере модели. Когато съществуват силни модели, те могат да засенчат по-често срещаните модели и да накарат системата за ML да игнорира фините сигнали.

Sprout’s Approach

За да изградим нашата система за анализ на настроенията, ние проектирахме хибридна система, която съчетава най-доброто както от подходи, базирани на правила, така и от машинно обучение. Анализирахме десетки хиляди туитове, за да идентифицираме местата, където моделите ML се борят, и въведохме стратегии, основани на правила, за да преодолеем тези недостатъци.



Допълвайки статистическите модели с човешко разбиране, ние създадохме здрава система, която се представя добре в голямо разнообразие от настройки.

анализ на настроението на кълнове

Всичко за точността

На пръв поглед анализът на настроенията изглежда доста ясен - просто решете дали Tweet е положителен, отрицателен или неутрален. Човешкият език и емоциите обаче са сложни и откриването на настроения в Twitter отразява тази сложност.

Помислете за тези туитове. Дали са положителни, отрицателни или неутрални?

https://twitter.com/alex/status/917406154321420289

Може да се чувствате уверени в отговорите си, но има голяма вероятност не всеки да се съгласи с вас. Изследванията показват, че хората се съгласяват само с настроенията на Tweets 60-80% на времето.

Може да сте скептични. Ние също бяхме.

За да го изпробват, двама членове на нашия екип за наука за данни обозначиха точно същия набор от 1000 туитове като положителен, отрицателен или неутрален. Решихме, че „работим с Tweets всеки ден; вероятно ще имаме почти перфектно споразумение между нас двамата. '

Изчислихме резултатите и след това ги проверихме двойно и тройно. Изследването беше на място - договорихме се само за 73% от туитовете.

Предизвикателства в анализа на настроението

Изследванията (заедно с нашия малък експеримент) показват, че анализът на настроенията не е ясен. Защо е толкова сложно? Нека да разгледаме няколко от най-големите предизвикателства.

Контекст

Туитовете са малка снимка във времето. Докато някои са самостоятелни, Tweets често са част от текущ разговор или справочна информация, която има смисъл само ако познавате автора. Без тези улики може да е трудно да се интерпретират чувствата на автора.

Сарказъм

Откриването на сарказъм е друг вкус на контекстното предизвикателство. Без допълнителна информация системите за анализ на настроенията често бъркат буквалното значение на думите с начина, по който са предназначени. Сарказмът е активна област на академичните изследвания, така че може да видим системи в близко бъдеще, които да разбират ума.

Сравнения

Настроението също става сложно, когато Tweets правят сравнения. Ако провеждам пазарни проучвания за зеленчуци и някой туитове, „Морковите са по-добри от тиквата“, дали този Tweet е положителен или отрицателен? Зависи от вашата гледна точка. По същия начин някой може да пише в чуруликане: „Фирма А е по-добра от Компания Б“. Ако работя за компания А, този туит е положителен, но ако съм във фирма Б, той е отрицателен.

Emojis

Емоджиите са собствен език . Докато емоджитата изразяват доста очевидни настроения, други са по-малко универсални. Докато изграждахме нашата система за анализ на настроенията, ние разгледахме отблизо как хората използват емотикони, установявайки, че дори обикновените емоджи могат да предизвикат объркване. се използва почти еднакво в смисъл „толкова щастлив, че плача“ или „толкова тъжен, че плача“. Ако хората не могат да се споразумеят за значението на емоджи, нито системата за анализ на настроенията.

Определяне на неутрален

Дори „неутралните“ настроения не винаги са ясни. Помислете за ново заглавие за трагично събитие. Въпреки че всички бихме се съгласили, че събитието е ужасно, повечето заглавия на новините са предназначени да бъдат фактически, информативни изявления. Системите за анализ на настроението са предназначени да идентифицират емоцията на автора на съдържанието, а не отговора на читателя. Макар да изглежда странно да видим ужасни новини, обозначени като „неутрални“, то отразява намерението на автора да съобщи фактическа информация.

Системите за анализ на настроението също се различават по това колко е дефинирана неутралната. Някои смятат, че неутралната е обща категория за всеки туит, когато системата не може да реши между положително или отрицателно. В тези системи „неутрален“ е синоним на „не съм сигурен“. В действителност обаче има много туитове, които не изразяват емоции, като примера по-долу.

Нашата система изрично класифицира неемоционалните туитове като неутрални, вместо да използва неутрален като етикет по подразбиране за двусмислени туитове.

Оценка на анализа на настроението

С толкова много предизвикателства в анализа на настроенията, си струва да си направите домашното, преди да инвестирате в нов инструмент. Доставчиците се опитват да помогнат за преодоляване на сложността, като се фокусират върху статистически данни за точността на своя продукт. Точността обаче не винаги е сравнение между ябълки и ябълки. Ако планирате да използвате точността като измервателна пръчка, ето няколко неща, които трябва да попитате.

Отчетената точност по-голяма ли е от 80%?
Тъй като хората се съгласяват помежду си само в 60-80% от случаите, няма начин да създадете тестов набор от данни, за който всички да се съгласят, че съдържа „правилните“ етикети на настроението. Що се отнася до настроението, „правилно“ е субективно. С други думи, няма златен стандарт, който да се използва при тестване на точността.

12:22 смисъл

Горната граница на точността на системата за анализ на настроението винаги ще бъде съгласие на човешко ниво: около 80%. Ако доставчикът твърди повече от 80% точност, е добре да сте скептични. Настоящите изследвания показват, че дори 80% точност е малко вероятно; най-добрите експерти в областта обикновено постигат точност в средата до горната част на 60-те години.

Колко категории настроения се прогнозират?
Някои доставчици оценяват точността само на туитове, които са определени от оценителите като категорично положителни или отрицателни, с изключение на всички неутрални туитове. Много по-лесно е точността на системата да изглежда много висока при работа със силно емоционални туитове и само два възможни резултата (положителен или отрицателен).

В дивата природа обаче повечето туитове са неутрални или двусмислени. Когато дадена система се оценява на база само положителни и отрицателни, е невъзможно да се знае колко добре тя се справя с неутрални туитове - по-голямата част от това, което всъщност ще видите.

Какви видове туитове са включени в тестовия им набор?
Трябва да бъде изградена и тествана система за анализ на настроенията на Tweets, които са представителни за реалните условия. Някои системи за анализ на настроенията са създадени с помощта на специфични за домейна туитове, които са филтрирани и почистени, за да улеснят системата възможно най-лесно.

Например, доставчикът може да е намерил вече съществуващ набор от данни, който включва само силно емоционални туитове за авиокомпанията, с изключение на всякакви съобщения за спам или извън темата. Това би довело до висока точност, но само когато се използва в много подобни туитове. Ако работите в различен домейн или получавате чужди туитове извън темата или спам, ще видите много по-ниска точност.

Колко голям беше наборът от данни за тестване?
Системите за анализ на настроението трябва да бъдат оценени на няколко хиляди туитове, за да се измери ефективността на системата в много различни сценарии. Няма да получите истинска мярка за точност на системата, когато системата е тествана само на няколкостотин туитове.

Тук в Sprout, ние изградихме нашия модел върху колекция от 50 000 туита, извлечени от произволна извадка от Twitter. Тъй като нашите туитове не са специфични за даден домейн, нашата система за анализ на настроенията се представя добре в широк спектър от домейни.

Освен това правим отделни прогнози за положителни, отрицателни и неутрални категории; ние не просто прилагаме неутрално, когато други прогнози се провалят. Нашата точност беше тествана на 10 000 туитове, нито един от които не беше използван за изграждане на системата.

Вижте Sprout’s Sentiment Analysis Live with Listeners

Всички изследвания в света не могат да заместят оценката на системата от първа ръка. Изпробвайте новата ни система за анализ на настроенията в рамките на най-новия ни набор от инструменти за социално слушане, Слушатели и вижте как работи за вас. В крайна сметка най-добрият инструмент за социално слушане е този, който отговаря на вашите нужди и ви помага да получите по-голяма полза от социалното. Позволете ни да ви помогнем да започнете днес.

Споделете С Приятелите Си: