语义角色标签的编码器模型
该存储库包含：
- 论文：翻译和标签！用于语义角色标签的编码器解码器方法（EMNLP 2019介绍）
- 作者：Angel Daza，Anette Frank
该代码在Allennlp工具包上运行。
要求
- Python 3.6
- Pytorch 1.0
- Allennlp 0.8.2
- Flair 0.4.3（用于谓词预测）
入门
设置环境
- 使用Anaconda创建
SRL-S2S环境
conda create -n SRL-S2S python=3.6
- 激活环境
source activate SRL-S2S
- 在环境中安装要求：
安装Pytorch 1.0（建议使用CUDA 8的GPU版本）：
conda install pytorch torchvision cuda80 -c pytorch
安装进一步的依赖…
bash scripts/install_requirements.sh
注意：在Mac OS X 10.14 [Mojave]上安装AllennLP时，有一些报告的问题（尤其是JSONNET模块错误）。如果安装失败，请运行以下命令：
xcode-select --install
open /Library/Developer/CommandLineTools/Packages/macOS_SDK_headers_for_macOS_10.14.pkg
然后再次运行install_requirlements脚本。如果问题持续存在，请尝试以下解决方法之一：
Allenai/Allennlp＃1938
Google/jsonnet＃573
简短教程
我们以玩具示例显示：
- 我们的模型可以阅读的预处理和构建数据集
- 训练模型
- 使用训练有素的模型预测新输出
预处理
所有模型都需要JSON文件作为输入。在pre-processing文件夹中，我们包括脚本CoNLL_to_JSON.py ，以按照conll-U数据格式将文件转换为合适的输入JSON数据集。
也可以使用Text_to_JSON.py脚本将任何文本文件转换为我们的JSON格式（包括并行机器翻译文件）。
最简单的情况是将conll文件转换为json，其中源序列是句子（仅词），而目标序列是标记的句子。构建一个单语数据集以进行培训：
python pre_processing/CoNLL_to_JSON.py \\
--source_file datasets/raw/CoNLL2009-ST-English-trial.txt \\
--output_file datasets/json/EN_conll09_trial.json \\
--dataset_type mono \\
--src_lang \"<EN>\" \\
--token_type CoNLL09
JSON文件中的每一行EN_conll09_trial.json看起来像这样：
{
\"seq_words\": [\"The\", \"economy\", \"\'s\", \"temperature\", \"will\", \"be\", \"taken\", \"from\", \"several\", \"vantage\", \"points\", \"this\", \"week\", \",\", \"with\", \"readings\", \"on\", \"trade\", \",\", \"output\", \",\", \"housing\", \"and\", \"inflation\", \".\"],
\"BIO\": [\"O\", \"O\", \"O\", \"B-A1\", \"B-AM-MOD\", \"O\", \"B-V\", \"B-A2\", \"O\", \"O\", \"O\", \"O\", \"B-AM-TMP\", \"O\", \"B-AM-ADV\", \"O\", \"O\", \"O\", \"O\", \"O\", \"O\", \"O\", \"O\", \"O\", \"O\"],
\"pred_sense\": [6, \"taken\", \"take.01\", \"VBN\"],
\"seq_tag_tokens\": [\"The\", \"economy\", \"\'s\", \"(#\", \"temperature\", \"A1)\", \"(#\", \"will\", \"AM-MOD)\", \"be\", \"(#\", \"taken\", \"V)\", \"(#\", \"from\", \"A2)\", \"several\", \"vantage\", \"points\", \"this\", \"(#\", \"week\", \"AM-TMP)\", \",\", \"(#\", \"with\", \"AM-ADV)\", \"readings\", \"on\", \"trade\", \",\", \"output\", \",\", \"housing\", \"and\", \"inflation\", \".\"],
\"src_lang\": \"<EN>\",
\"tgt_lang\": \"<EN-SRL>\",
\"seq_marked\": [\"The\", \"economy\", \"\'s\", \"temperature\", \"will\", \"be\", \"<PRED>\", \"taken\", \"from\", \"several\", \"vantage\", \"points\", \"this\", \"week\", \",\", \"with\", \"readings\", \"on\", \"trade\", \",\", \"output\", \",\", \"housing\", \"and\", \"inflation\", \".\"]
}
要构建一个跨语言数据集（例如，在目标侧的英语句子作为源和德语标记的序列）运行：
python pre_processing/CoNLL_to_JSON.py \\
--source_file datasets/raw/CrossLang_ENDE_EN_trial.txt \\
--target_file datasets/raw/CrossLang_ENDE_DE_trial.conll09 \\
--output_file datasets/json/En2DeSRL.json \\
--dataset_type cross \\
--src_lang \"<EN>\" \\
--tgt_lang \"<DE-SRL>\"
JSON文件En2DeSRL.json中的每一行都会像这样：
{
\"seq_words\": [\"We\", \"need\", \"to\", \"take\", \"this\", \"responsibility\", \"seriously\", \".\"],
\"BIO\": [\"O\", \"B-V\", \"O\", \"O\", \"O\", \"O\", \"O\", \"O\"],
\"pred_sense_origin\": [1, \"need\", \"need.01\", \"V\"],
\"pred_sense\": [1, \"m\\u00fcssen\", \"need.01\", \"VMFIN\"],
\"seq_tag_tokens\": [\"(#\", \"Wir\", \"A0)\", \"(#\", \"m\\u00fcssen\", \"V)\", \"diese\", \"Verantwortung\", \"ernst\", \"nehmen\", \".\"],
\"src_lang\": \"<EN>\",
\"tgt_lang\": \"<DE-SRL>\"
}
最后，要创建一个并行MT数据的JSON数据集文件（例如，具有英语 – 及格翻译的Europarl文件）可以运行：
python pre_processing/Text_to_JSON.py --path datasets/raw/ \\
--source_file mini_europarl-v7.de-en.en \\
--target_file mini_europarl-v7.de-en.de \\
--output datasets/json/MiniEuroparl.en_to_de.json \\
--src_key \"<EN>\" --tgt_key \"<DE>\"
脚本pre-processing/make_all_trial.py嵌入所有预处理选项和可用数据集类型。
训练模型
- 模型配置可在
training_config文件夹和子文件夹中找到。请注意，在此配置文件中，可以操纵模型超参数，并指向所需的数据集。 - 要训练模型，请选择一个实验配置文件（例如
training_config/test/en_copynet-srl-conll09.json），然后在主目录中运行以下命令：
allennlp train training_config/test/en_copynet-srl-conll09.json -s saved_models/example-srl-en/ --include-package src
- 结果和培训信息将存储在
saved_models/example-srl-en目录中。 - 注意：
training_config内部包含用于纸的实验的模型超参数，应以相同的方式进行培训。
使用训练有素的模型
将txt文件转换为json
在推理时，只需要提供一个file.txt ，每行一个句子。这样，我们可以使用天赋来预测句子内部的谓词，然后使用我们的模型来预测每个谓词的SRL标签。
首先，我们需要将输入转换为JSON格式并给出所需的目标语言（例如，如果我们想要标记为德语，我们应该指示tgt_key as）：
python pre_processing/Text_to_JSON.py --source_file datasets/raw/mini_europarl-v7.de-en.en \\
--output datasets/test/MiniEuroparl.PREDICT.json \\
--src_key \"<EN>\" --tgt_key \"<DE-SRL>\" \\
--predict_frames True \\
--sense_dict datasets/aux/En_De_TopSenses.tsv
得到预测
使用训练有素的模型进行预测（使用开发集中最佳BLEU得分的检查点）运行：
allennlp predict saved_models/example-srl-en/model.tar.gz datasets/test/MiniEuroparl.PREDICT.json \\
--output-file saved_models/example-srl-en/output_trial.json \\
--include-package src \\
--predictor seq2seq-srl
其中EN_conll09_trial_to_predict.json包含要预测的源序列。
请注意，提供这些文件只是为了提供工作流程的示例，因此使用这些设置的预测将是随机的！
再现结果
为了重现本文中的结果，有必要拥有CONLL-2005和CONLL-2009共享任务数据集的许可证：
- CONLL-2005共享任务，这是Penn Treebank数据集的一部分
- CONLL-2009共享任务：第1部分和第2部分是LDC目录的一部分
在这里，需要公开提供法语的SRL数据（需要注册）。
使用的机器翻译公司是：
- Europarl（英语 – 德国）
- 联合国（英语法国）
向我们的培训的跨语言SRL数据要求：
为多语种语义角色标签生成高质量的命题银行（Akbik等，2015）。
我们在此存储库的training_config文件夹中包括了每个实验设置（单语，多语言和跨语义）的配置文件。他们必须以与上一个教程相似的方式运行。
