都说大模型卷到头了?其实是你挤错了赛道。避开预训练红海,这5个方向单卡就能跑,出成果快。长上下文遗忘机制:输入越长,模型忘得越多,这个规律至今没人系统建模。LongBench 上做遗忘曲线,补上这个空白。推理时计算动态分配:简单词和复杂词花同样的算力,太浪费。设计动态推理框架,让算力花在刀刃上。小模型知识上限:不靠大模型喂数据,小模型自己能学到多少?GSM8K、MMLU 上做系统对比,找到小模型的极限。KV cache 压缩与复用:缓存占用越来越大,现有压缩方案还很初级。做出更好的压缩算法,工程和理论都能发文章。机器遗忘:用户要求删数据怎么办?让模型精准遗忘特定知识,隐私合规的刚需方向,文章还很少。我们已经在跑 baseline 了,评论区交流,框架和数据一起讨论。科研选题 paper人工智能 博士申请
