知识卡片
词表编号必须与嵌入语义对应
预训练tokenizer输出的ID须对应模型预训练嵌入和输出词表的同一符号。BART与GPT-2即使存在相近字节词表,也不能不检查编号、特殊token和偏移就互换;需要兼容tokenizer或明确重映射并相应调整模型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 因果与大语言模型
原书出处 · 1 处
- · 查看原书依据
Let’s run the training procedure. First, we’ll set up our imports and our tokenizer. We’ll use Bart as the tokenizer for all of our models. Listing 13.7 Training the causal LLM import torch from sklearn.model_selection import train_test_split from torch.utils.data import Dataset from transformers import ( AutoModelForCausalLM, AutoModelForSeq2SeqLM, AutoTokenizer, DataCollatorForLanguageModeling, Seq2SeqTrainer, Seq2SeqTrainingArguments, Trainer, TrainingArguments) url = ("https://raw.githubusercontent.com/altdeep/" "causalML/master/book/chapter%2013/" "king-prince-kingdom-updated.csv") df = pd.read_csv(url) tokenizer = AutoTokenizer.from_pretrained("facebook/bart-base") #1