Với sự phổ biến nhanh chóng của công nghệ internet, mạng xã hội đã trở thành một nền tảng quan trọng để người dùng chia sẻ ý kiến và biểu đạt cảm xúc. Ngày càng nhiều người có thói quen viết nhận xét về các sự kiện nóng hoặc đánh giá sản phẩm trên các trang thương mại điện tử. Những văn bản này thường chứa đựng rất nhiều thông tin liên quan đến cảm xúc.

Việc nhận diện và phân tích cảm xúc từ các văn bản này không chỉ giúp nắm bắt chính xác xu hướng cảm xúc của người dùng mà còn hỗ trợ các nhà bán lẻ hiểu rõ hơn nhu cầu của khách hàng. Tuy nhiên, nghiên cứu hiện tại về nguyên nhân cảm xúc chủ yếu tập trung vào việc khai thác nguyên nhân của một cảm xúc được cho trước, điều này yêu cầu phải gán nhãn cảm xúc trong văn bản trước, gây khó khăn trong ứng dụng thực tế.

Để giải quyết vấn đề này, nhóm nghiên cứu của Xia Rui từ Đại học Công nghệ Nam Kinh đã giới thiệu nhiệm vụ nổ hũ 789 club trích xuất đôi nguyên nhân-tình cảm (Emotion-Cause Pair Extraction - ECPE), nhằm trích xuất tất cả các câu con thể hiện cảm xúc và lý do tương ứng trong văn bản chưa được gắn nhãn.

Giới thiệu Mô hình Nhiệm vụ

Trước tiên, định nghĩa nhiệm vụ là: Cho văn bản d=(c1,c2,…,cn), nhiệm vụ ECPE nhắm tới việc trích xuất tất cả các cặp {tình cảm, nguyên nhân} P=(…,(ce,cc),…) từ văn bản đó. Do định nghĩa này dựa trên cấp độ câu con, nên trong bài báo, ce và cc lần lượt đại diện cho câu con tình cảm và câu con nguyên nhân.

Để giảm thiểu vấn đề lan truyền lỗi của mô hình pipeline, bài báo này đề xuất một khung giải pháp dựa trên chuyển tiếp để trích xuất đôi nguyên nhân-tình cảm, coi đây như một nhiệm vụ duy nhất và tích hợp nó vào quá trình xây dựng đồ thị hướng tương tự như phân tích cú pháp. Mô hình này dần dần xây dựng và gắn nhãn các cạnh hướng từ chuỗi đầu vào từ trái sang phải, sử dụng các đặc trưng phi cục bộ phong phú để đánh giá các đoạn câu con. Kết quả thử nghiệm cho thấy phương pháp này cải thiện 6.7% so với mô hình tốt nhất hiện tại về giá trị F1.

Xây dựng Đồ thị Hướng

Giả sử đồ thị hướng được biểu diễn là G=(V,R). Trong đó V là tập các nút tương ứng với các câu con trong văn bản, và R là tập các cạnh hướng: R=V→V, đại diện mối quan hệ kết nối giữa các nút (câu con).

Trong ngữ cảnh nhiệm vụ ECPE, bài báo định nghĩa mối quan hệ kết nối như sau: Nút i và nút j được kết nối nếu l∈ln,lt, trong đó lt biểu thị rằng nút j là câu con tình cảm và nút i là nguyên nhân tương ứng; ln thì nói rằng nút j là câu con tình cảm nhưng nút i không phải là nguyên nhân tương ứng. Các nút khác không có liên hệ trực tiếp với kết quả cuối cùng sẽ không có kết nối. Hơn nữa, một câu con có thể vừa là tình cảm vừa là nguyên nhân tương ứng, vì vậy phép tự kết nối được cho phép.

Một mô hình phân tích dựa trên chuyển tiếp được đề xuất để xử lý vấn đề này. Mỗi trạng thái trong quá trình phân tích có thể được biểu diễn bằng một ngũ nguyên tố S=(σ,β,E,C,R), trong đó σ là một ngăn xếp để lưu trữ các câu con đã xử lý, β là một danh sách để lưu trữ các câu con chưa xử lý, E và C lần lượt là tập hợp các câu con tình cảm và nguyên nhân, và R là tập hợp các cạnh hướng được tạo ra trong quá trình phân tích.

Định nghĩa Hành động

Trong hệ thống chuyển tiếp, việc định nghĩa tập hợp hành động đóng vai trò quan trọng và thường phụ thuộc vào vấn đề cần giải quyết. Theo đặc điểm của nhiệm vụ ECPE, p88 nhà cái bài báo định nghĩa sáu loại hành động, như bảng dưới đây:

SH biểu thị việc đẩy phần tử đầu tiên của β lên đỉnh ngăn xếp σ. RA(lt) biểu thị việc tạo một cạnh hướng từ σ1 đến σ0 và gắn nhãn lt, đồng thời đẩy σ1 vào tập hợp C và sao chép σ0 vào tập hợp E. LAlt biểu thị việc tạo một cạnh hướng từ σ0 đến σ1 và gắn nhãn lt, sao chép σ1 vào tập hợp E và đẩy σ0 vào tập hợp C. RAln biểu thị việc tạo một cạnh hướng từ σ1 đến σ0 và gắn nhãn ln, nghĩa là σ1 không phải là nguyên nhân tương ứng của σ0, do đó chỉ sao chép σ0 vào tập hợp E. LAln biểu thị việc tạo một cạnh hướng từ σ0 đến σ1 và gắn nhãn ln, chỉ sao chép σ1 vào tập hợp E nhưng không đẩy σ0 ra khỏi ngăn xếp. CA biểu thị việc tạo một cạnh tự kết nối và gắn nhãn lt, nghĩa là sao chép σ0 vào cả hai tập hợp E và C.

Các hạn chế nhất định được áp dụng để đảm bảo tính hợp lệ của mỗi trạng thái trong quá trình phân tích. Ví dụ, các hành động RA và LA đòi hỏi ít nhất hai phần tử trong σ. Nếu hai phần tử trên cùng của σ đều là câu con tình cảm, hành động RAln sẽ được ưu tiên.

Do xung đột tiềm năng giữa hành động CA và các hành động khác, bài báo tách rời hành động CA và huấn luyện một bộ phân loại nhị phân riêng biệt để đưa ra quyết định. Quá trình phân tích bắt đầu bằng cách chọn hành động có xác suất cao nhất dựa trên mối quan hệ giữa hai phần tử trên cùng của σ tại mỗi bước thời gian t.

Biểu diễn Câu con

Bài báo sử dụng mô hình BERT để thu được biểu diễn của từng câu con. Đầu vào của mô hình bao gồm các thẻ đặc biệt [CLS] và [SEP], và biểu diễn cuối cùng của toàn bộ câu con được lấy từ biểu diễn của [CLS].

Biểu diễn Các Trạng thái Khác

Để nắm bắt mối liên hệ phụ thuộc lẫn nhau giữa các câu con, bài báo sử dụng LSTM để mô hình hóa chúng. Tại mỗi bước thời gian t, có ba phần cần mã hóa: σt, βt và At. Đặc trưng của σt được tạo ra bởi LSTM song chiều: st=LSTMs([…,σ1→,σ0→],[…,σ1←,σ0←]). Tương tự, bt=LSTMb([β0→,β1→,…],[β0←,β1←,…]).

Đối với lịch sử hành động, mỗi hành động được ánh xạ vào không gian mật độ thấp trước khi sử dụng LSTM đơn hướng để mã hóa: αt=LSTMa(…,at−2,at−1).

Đảo ngược Hành động

Dựa trên đặc điểm của nhiệm vụ ECPE, bài báo đề xuất kỹ thuật đảo ngược hành động. Ví dụ, trong trường hợp đọc từ trái sang phải, hành động tương ứng là RAln, nhưng nếu đổi hướng đọc từ phải sang trái, hành động sẽ bị đảo ngược thành LAlt. Điều này nhấn mạnh rằng st→ và st← cần được coi là các đặc trưng khác nhau thay vì chỉ đơn giản ghép nối chúng.

Kết quả Thử nghiệm

Phân tích Thí nghiệm Chính

Thử nghiệm được tiến hành trên tập dữ liệu EMNLP2016 về nguyên nhân cảm xúc. Kết quả cho thấy mô hình đề xuất vượt trội trong cả ba nhiệm vụ, đặc biệt cải thiện đáng kể giá trị F1 trong nhiệm vụ ECPE.

Phân tích Thí nghiệm Loại bỏ

Kết quả loại bỏ cho thấy tầm quan trọng của các phần khác nhau trong biểu diễn đặc trưng. Đặc biệt, việc sử dụng LSTM để nắm bắt mối liên hệ phụ thuộc giữa các câu con mang lại tác động lớn nhất đối với hiệu suất mô hình.

Phân tích Khả thi Phương pháp

Phân tích các ví dụ giả mạo cho thấy rằng mặc dù mô hình dựa trên chuyển tiếp không thể hoàn toàn bao phủ tất cả các trường hợp, nhưng nó vẫn đạt hiệu suất tối đa khoảng 98.5% về giá trị F1.

Hiệu quả của Đảo ngược Hành động

Phân tích lỗi cho thấy rằng việc đảo ngược hành động giúp tăng cường khả năng dự đoán của mô hình đối với các hành động ít gặp. Kết quả nhận diện LAlt được cải thiện từ 0% lên 58.8%.

Kết luận

Bài báo này đã đề xuất một phương pháp mới để trích xuất đôi nguyên nhân-tình cảm bằng cách chuyển đổi nhiệm vụ thành vấn đề xây dựng đồ thị hướng và sử dụng kiến trúc dựa trên chuyển tiếp. Kết quả thử nghiệm chứng minh tính ưu việt và độ ổn định của mô hình này trên tập dữ liệu chuẩn.