国产超级av在线,午夜精品一区二区在线观看的,国产日韩在线看

结合BERT语义融合和关键词特征提取的方面级情感分类研究

网络安全与数据治理

胡耀庭，韩雨桥，石宇航，高宣，彭玉青

河北工业大学人工智能与数据科学学院

摘要： 方面级情感分类旨在确定句子中给定方面词的情感极性。该任务先前提出的方法无法提取语义信息丰富的上下文初始表示向量，同时也不能精确地捕获局部关键特征的范围。因此，提出了一种结合BERT语义融合(BERTSF)和关键词特征提取（KFE）的方面级情感分类模型（KFE-BERTSF）。BERTSF通过门控融合函数融合BERT编码器的高层语义信息，以提取语义信息更加丰富的上下文初始表示向量。KFE通过动态阈值划分句子的局部上下文和非局部上下文，并利用句法距离掩码（SDMask）和距离感知注意力（ADA）提取两个区域的局部关键特征。基于三个数据集上的实验结果表明， KFE-BERTSF取得了比基准模型更好的成绩。

關鍵詞： 方面级情感分类 BERT编码器关键词特征局部上下文聚焦

中圖分類號：TP391文獻標識碼：ADOI:10.19358/j.issn.2097-1788.2024.11.006引用格式：胡耀庭，韓雨橋，石宇航，等.結合BERT語義融合和關鍵詞特征提取的方面級情感分類研究［J］.網絡安全與數據治理，2024，43（11）：29-36.

Combining BERT semantic fusion and keyword feature extraction for aspect-level sentiment classification

Hu Yaoting，Han Yuqiao，Shi Yuhang，Gao Xuan，Peng Yuqing

School of Artificial Intelligence, Hebei University of Technology

Abstract： Aspect-level sentiment classification aims to determine the sentiment polarity of a given aspect term in a sentence. Previous methods for this task fail to extract semantically rich initial contextual representation vectors and cannot precisely capture the range of local key features. Therefore, this paper proposes KFE-BERTSF, an aspect-level sentiment classification model that combines BERT semantic fusion (BERTSF) and keyword feature extraction (KFE). BERTSF integrates high-level semantic information from the BERT encoder using a gating fusion function to extract semantically richer initial contextual representation vectors. KFE divides the sentence into local and non-local contexts using dynamic thresholds, and employs syntax distance mask (SDMask) and distance-aware attention (ADA) to extract local key features from both regions. Experimental results on three datasets show that KFE-BERTSF outperforms benchmark models.

Key words : aspect-level sentiment classification; BERT encoder; keyword feature; local context focus

引言

方面級情感分類是情感分析任務的一個分支，旨在確定句子中特定方面詞的情感極性。給定句子“Lots of extra space but the keyboard is ridiculously small.”，方面級情感分類（ASC）的任務是對句子中給定的方面詞“space”和“keyboard”，應該可以得出對應的情感極性分別為積極和消極。

之前的研究通過將循環神將網絡（RNN）與注意力機制［1］進行結合，可以明顯提高此類任務的性能。但是注意力機制很容易受到噪聲的影響。局部上下文聚焦機制［2］（LCF）發現方面詞自身周圍的單詞對其情感極性的判別更加重要，通過使用LCF捕獲局部上下文，并使用動態距離掩碼（CDM）或動態距離加權（CDW）可以捕獲方面詞周圍的重要信息。同時，隨著預訓練模型BERT［3］的出現，對BERT結構做出針對性的調整也成為了研究方向。盡管上述方法已經取得了顯著的成績，但是仍然存在以下兩點問題。（1）未充分挖掘BERT語義信息。Ganesh等人［4］發現BERT自身高層的語義信息已經足夠豐富，如何更好地利用這些信息仍有待進一步研究。（2）局部關鍵特征提取不充分。在使用LCF的模型中使用固定閾值劃分局部上下文，其范圍不夠精確；同時在兩類上下文中使用的特征提取方法未能很好地提取局部關鍵信息。

為了解決上述問題，本文提出了一個全新的模型，通過結合BERT語義融合和關鍵詞特征提取進行方面級情感分類。一是提出BERT語義融合模塊，利用門控函數將BERT編碼器不同層的表示向量進行融合。二是提出關鍵字特征提取模塊，根據句子長度動態確定局部上下文和非局部上下文的范圍，并通過句法二次掩碼和距離感知注意力提取兩類上下文的關鍵特征。三是引入協同注意力模塊，將局部特征、全局特征和方面詞特征融合，得到融合局部信息和方面詞信息的全局特征。

本文的主要貢獻總結如下：

（1）將BERT編碼器的第9~12層通過針對性設計的門控函數進行語義融合，提取到了包含豐富語義的句子初始的上下文表示向量。

（2）提出了關鍵字特征提取模塊。該模塊通過句子長度動態確定局部上下文和非局部上下文，并用句法二次掩碼和距離感知注意力來分別提取對應區域的局部關鍵特征。

（3）設計了全新的協同注意力。通過使用注意力機制融合全局特征、局部特征和方面詞特征來獲得包含豐富語義信息的全新特征。

本文詳細內容請下載：

http://m.tom3567.com/resource/share/2000006226

作者信息：

胡耀庭，韓雨橋，石宇航，高宣，彭玉青

（河北工業大學人工智能與數據科學學院，天津300401）

Magazine.Subscription.jpg

原創聲明：此內容為AET網站原創，未經授權禁止轉載。

相關內容