Loading...
LoRA
新加坡

LoRA

大型语言模型的低秩适配

标签:

微调文本到图像 (TTI) 模型正成为在现实场景中应用这些技术的一个越来越重要的方面。尽管TTI模型取得了进展,但微调仍然相对具有挑战性。像Dreambooth这样的微调框架对于像Stable Diffusion这样的模型来说已经变得非常流行,但它们仍然需要很高的进入门槛。最近,Hugging Face发布了一种称为低秩适应(LoRA)的技术实现,该技术大大简化了TTI模型的微调。这些实现与Hugging Face流行的扩散器库集成。

LoRA

LoRA(大型语言模型的低秩适应)最初由微软研究院在一篇论文中提出,重点是解决微调大型语言模型的挑战。这些模型(例如具有数十亿个参数的 GPT-3)适应特定任务或领域的成本非常高。LoRA 通过冻结预先训练的模型权重并在每个转换器块中引入可训练层来解决这个问题 (秩分解矩阵), 从而减少可训练参数的数量和 GPU 内存要求.这种方法消除了计算大多数模型权重梯度的需要,从而缩短了微调时间。

虽然最初为大型语言模型提出并在变压器块上演示, LoRA 也适用于其他环境, 例如稳定扩散微调.在这种情况下, LoRA 可以应用于将图像表示与描述它们的提示相关联的交叉注意力层.图中的黄色块负责构建图像和文本表示之间的关系,说明了这一概念。总体而言, 通过专注于大型语言模型的转换器注意力块, LoRA 实现了与完整模型微调相当的微调质量,同时需要更少的计算并更快地交付结果.

LoRA
图片来源:稳定扩散

以前,将 LoRA 可训练矩阵添加到模型深处, 例如在交叉注意力层, 需要人们以非常规和脆弱的方式破解扩散器的源代码.然而,稳定扩散技术已经证明,社区总是能找到创造性地调整模型的方法,这种操纵交叉注意力层的灵活性具有许多潜在的好处。例如,它可以促进采用xFormers等优化技术,而Prompt-to-Prompt等其他项目也可以从轻松访问这些层中受益。为了满足这一需求,为用户提供了一种访问这些层的通用方法,该方法自 12 月以来一直在测试中,并随着扩散器版本正式发布。

Hugging Face一直与稳定扩散团队合作,以支持Dreambooth和完全微调方法的扩散器中的LoRA训练。这些技术提供了几个好处,包括更快的培训和更低的计算要求。例如,可以在具有 2080 GB VRAM 的 11 Ti 上创建一个完整的微调模型,并且训练的权重要小得多,大约 3 MB 与 UNet 模型的原始大小相比,大约 <> MB 大一千倍。

LoRA和扩散器

LoRA被集成到扩散器框架中,作为可以在原版11GB GPU RAM上运行的微调脚本的一部分。以下代码说明了如何使用 LoRA 脚本来微调 Lambda Labs 神奇宝贝数据集的稳定扩散。

export MODEL_NAME="runwayml/stable-diffusion-v1-5"
export OUTPUT_DIR="/sddata/finetune/lora/pokemon"
export HUB_MODEL_ID="pokemon-lora"
export DATASET_NAME="lambdalabs/pokemon-blip-captions"

accelerate launch --mixed_precision="fp16"  train_text_to_image_lora.py \
  --pretrained_model_name_or_path=$MODEL_NAME \
  --dataset_name=$DATASET_NAME \
  --dataloader_num_workers=8 \
  --resolution=512 --center_crop --random_flip \
  --train_batch_size=1 \
  --gradient_accumulation_steps=4 \
  --max_train_steps=15000 \
  --learning_rate=1e-04 \
  --max_grad_norm=1 \
  --lr_scheduler="cosine" --lr_warmup_steps=0 \
  --output_dir=${OUTPUT_DIR} \
  --push_to_hub \
  --hub_model_id=${HUB_MODEL_ID} \
  --report_to=wandb \
  --checkpointing_steps=500 \
  --validation_prompt="Totoro" \
  --seed=1337

生成的模型生成的图像明显遵循口袋妖怪风格:

LoRA
图片来源:拥抱脸

LoRA与Dreambooth兼容,简化了数据科学社区的采用。然而, LoRA相对于原始的Dreambooth具有一些明显的优势:

·更快的培训。

·它只需要 5-10 张图像来推断样式。

·允许修改编码器,这可以提高微调过程的保真度。

除了Dreambooth之外,Hugging Face还探索了LoRA与其他微调技术的兼容性,例如文本反转或关键调整。

数据评估

LoRA浏览人数已经达到35,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:LoRA的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找LoRA的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于LoRA特别声明

本站Aigclist提供的LoRA都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由Aigclist实际控制,在2023年5月16日 下午1:51收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,Aigclist不承担任何责任。

相关导航

没有相关内容!

暂无评论

暂无评论...