知识卡片
缓存对比损失换取有效大批次
缓存式训练可降低一次性保留全部计算图的内存压力,让更多样本共同参与对比。它改变训练执行方式,不自动修复错标签;是否更快和更准确仍取决于批内负例质量及实现开销。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 表示学习与嵌入
原书出处 · 1 处
- · 查看原书依据
Use CachedMultipleNegativesRankingLoss, available in Sentence Transformers, which allows you to use larger batch sizes, leading to better performance. Now that we have discussed all the ingredients needed for fine-tuning, let’s put it all together with the SentenceTransformerTrainer class: from datasets import load_dataset from sentence_transformers import SentenceTransformer, SentenceTransformerTrainer from sentence_transformers.losses import TripletLoss model = SentenceTransformer( "'all-mpnet-base-v2'") dataset = load_dataset("csv", data_files="negatives_dataset.csv") loss = TripletLoss(model) trainer = SentenceTransformerTrainer(