• Activity Calendar
    Count the number of articles and author reviews over the last 10 months

    Loading...

    Radar Chart

    Loading...

    Release Chart

    Loading...

    Classification Chart

    Loading...

    Tag Chart

    Loading...

  • 时光机 新
    时光机
    搭建chatgpt api站死了两个子域名了chatgpt子域名被q+污染,gpt子域名被墙。。不能用这个常用的域名玩了Σ(っ °Д °;)っ,怕把我博客也给搞q
    April 13th, 2023 at 02:58 pm
    c语言感觉好多要自己造轮子,居然无foreach,in_arrary啥的
    September 11th, 2022 at 07:59 pm
    此条为私密说说,仅发布者可见
    July 12th, 2022 at 11:50 am
  • 文章
  • 时光机
xy3 在知识的海洋里熬遨游
  • Good morning,ever youthful,ever weeping

  • Home
  • Links
  • 归档
  • 树洞
  • 关于
  • Categories
    • 各类教程
      • 2unsloth
    • 74谈说天地
    • 学习笔记
      • 16c
      • 11c++
      • 13php
      • 5web
      • 5matlab
      • 4算法刷题
      • 6typecho
      • 12linux
      • 4windows
      • 0llm
      • 1论文复现
    • 12软件分享
    • 3源码分享
    • 3站点导航
  • Links
    • 海外vps服务器出租
    • LilRan 的博客
    • mxr
    • ch0ico
    • YANG
    • Candlest

Articles in the category of 论文复现

  1. Home
  2. 论文复现

unsloth+QWEN-3-4B+Base复现Learning Dynamics of LLM Finetuning的观测现象

本文分析了大型语言模型(LLM)微调中的学习动力学,提出了统一框架解释指令微调和偏好微调中的现象,包括幻觉增强、重复短语和“挤压效应”。通过对softmax层负梯度的影响,揭示了off-policy DPO中置信度下降的机制,并解释了on-policy DPO的优势。实验中观察到,模型在微调过程中对特定响应的概率变化,验证了“挤压效应”的存在,为提升模型对齐性能提供了理论基础和实践方法。

  • xy3
  • July 13, 2025
  • No comments
    • Popular articles
    • Latest comments
    • Random articles
    • 樱花动漫APP打包

      浏览次数: 8119
    • 博客重新搭建

      浏览次数: 7860
    • Handsome主题配套友情链接修改默认网站图标为对应站ico

      浏览次数: 5215
    • 宝塔7.7专业,企业开心版

      浏览次数: 5050
    • windows安装miniforge

      浏览次数: 4781
    • 崔 Q 药 商 官 网 《 认 准 官 网 a k a k 4 7 . c o m 》其 他 广 告 全 是 骗 子 ▁
      听活水网店最新地址订购认准网址akak47.com《注意其他全...
    • 崔 Q 药 商 官 网 《 认 准 官 网 a k a k 4 7 . c o m 》其 他 广 告 全 是 骗 子 ▁
      听活水网店最新地址订购认准网址akak47.com《注意其他全...
    • 崔 Q 药 商 官 网 《 认 准 官 网 a k a k 4 7 . c o m 》其 他 广 告 全 是 骗 子 ▁
      ","正品迷水货到付款官网网站入口三座","三仑子网上药店官网...
    • 崔 Q 药 商 官 网 《 认 准 官 网 a k a k 4 7 . c o m 》其 他 广 告 全 是 骗 子 ▁
      ","正品迷水货到付款官网网站入口三座","三仑子网上药店官网...
    • 崔 Q 药 商 官 网 《 认 准 官 网 a k a k 4 7 . c o m 》其 他 广 告 全 是 骗 子 ▁
      ","正品迷水货到付款官网网站入口三座","三仑子网上药店官网...
    • 2025高考作文来了,看看ai做的怎么样

      浏览次数: 1601
    • PUBG UGC相关

      浏览次数: 387
    • 多IP指定出口IP地址 如何指定云服务器源IP?

      浏览次数: 1426
    • 仿站小工具 V10.6

      浏览次数: 1776
    • C枚举,结构体,公用体的理解

      浏览次数: 1295
    Blog Info
    • 300Posts Num
    • 137Comments Num
    • 5 Y 168 DOperating Days
    • 1 Week AgoLast activity
    Tag cloud
    宝塔 linux shell php nginx 智简魔方 数据结构 typecho vps cdn 新手建站教程 代理 图床 反向代理 原神 vs ftp 仿站 phpmyadmin 美国vps vps线路 校园网 u盘 handsome dnspod 域名 bilibili genshin 学习 口语考试
    Article Directory
    Theme by handsome
    © 2026 All rights reserved. 时空云博客