阅读量:0
系列目录
文章目录
一、我要做什么？
有什么数据集呢？
- 公开数据集：难度大，可以发好的论文，很多人在卷
- 自己的数据集：为了毕业，但是缺乏泛化能力，不容易发好的文章
- 找一些数据集（kaggle）自己标注？（1）需要有意义。（2）越偏越好，审稿人不会拿其他东西和你比较。（3）最适合水：物体检测和分割。原因：参考多，容易变化。
二、创新点
不要说什么transform不行了，太难。
- 不要动大框架。一些模型（论文）的backbone已经很好了，相当于承重墙，不要改动。可以把backbone提取出来的特征在neck部分进行拼接改动，引入一些局部特征提取和特征融合的模块。
- 论文一般就是，把一个简单的东西拆解成几个复杂的东西，凑共工作量。比如你去超市买一个1块钱的打火机，现在你要买5毛钱汽油，3毛钱塑料，2毛钱装置，然后自己拼接成一个打火机。
- 在head(输出层)，我们之前是直接输出一个句子当作结果，现在一个字一个字进行输出。
- 加模块，该模块：照着一些模板复制粘贴去套。所有要加的和要改的都有源码。做一个微调后就成为了自己的XXX模块，成为了自己的模块。
- 一篇几十页论文也就看几分钟，更多看图，把图做复杂会使审稿人认同你的论文，审稿人不一定能看懂论文和图，一般只会看图，图最重要。
三、实验
- 先找一个基础模型：Step1：先确定你的模型有效果，先跑一下源码看看有没有效果，深度学习的源码复现不一定真的有论文上的效果，如果没有效果，那这个源码就是废的。Step2：如果有效果就去DEBUG去理解源码。Step3：找相关领域的论文。Step4：再把别人的模块拿来看看好不好用。Step5：没有源码直接放弃。
- 消融实验：Step1：没有一定的事，有些模块不一定涨点。Step2：尽量找一些离谱的模块，别人越看不懂越没见过，你能圆过去就可以糊弄审稿人。Step3：做3-4个消融实验，一个消融实验对应一个点。
- 对比实验：找对自己差的模型就好了，凑工作量，此时找经典的模型。
Paper with code是一个开源论文平台，我们可以找到许多发表了科学论文的著作，并且这些论文都附带了相应的开源代码。我们直接访问并使用这些代码，从而验证或复现一些研究成果，同时进行进一步的实验或构建在该研究基础上的新工作。
网址：https://paperswithcode.com/
四、工具
- CV openmmlab：你做CV打算用什么去做你的实验呢？所有的CV模板都有，还提供所有预训练模型，有些论文公开了源码，没有公开权重，这时候需要把预训练模型加载上去。对比试验贼容易：人家把模型准备好了，把自己的数据放上去饥渴。
- NLP huggingface：后续可以自己再改源码。
