The paper-to-read from guotong1988

貌似本质就是聚类

model-centric 和 data-centric，两手抓

CTR类任务，特征越多其实需要更多的数据支撑，以学得更好的加权

很多工业界的算法问题是比科研不简单的。

NLP未来是解决多轮对话，感觉推荐系统未来解决 "多轮推荐"

人类不是宇宙最高文明，但比人类更高等的文明也没能发现人类，因为外星生物的脑容量也有限，或者物理上不存在支撑走出自己星系的物质。好比，人类脑容量有限，现在无法造出强人工智能，若干年后也不一定能。

人类不是宇宙最高文明，
但比人类更高等的文明也没能发现人类，因为外星生物的脑容量也有限，或者物理上不存在支撑走出自己星系的物质。
好比，人类脑容量有限，现在无法造出强人工智能，若干年后也不一定能。

Condition-GPT / Condition-BERT 有前途

吴恩达说的80%data+20%model，虽然是说的工业应用，其实也可以指导research：github.com/princeton-nlp/SimCSE

CTR任务里的数据采样是个更有意义的问题

what to research, except data-edit or data-load for LLM

LLM = large language model

Re-Label By Data Pattern Is All You Need

如果训练数据有三个特征，然后是根据这三个特征标注的target，那么新再加一个特征，要根据这四个特征重新标注一遍。

最近教孩子学加减法，感觉到基础的逻辑也是需要从零教的，而学生具备交流和观察的语言和视觉的能力。既然人类的脑容量有限，以后的人如果能造出强人工智能，为什么现在的人没可能？

最近教孩子学加减法，感觉到基础的逻辑也是需要从零教的，而学生具备交流和观察的语言和视觉的能力。
既然人类的脑容量有限，以后的人如果能造出强人工智能，为什么现在的人没可能？

neural network generalization = find the most similar data in training dataset

model generalization = find the most similar data in training dataset

AGI是计算机科学的明珠，但也大概率是500年内无望的事

For ChatGPT, human-feedback's goal is to fix the wrong data in policy-model's dataset. There is no essential difference between reinforce learning and supervised learning, here.

Human-Feedback的主要目标是修复Policy-Model的训练集里的错误数据，

这里用Reinforce-Learning的loss或者Supervised-Learning的loss没有本质区别。

为什么 computer vision 能做到让一幅人脸图动起来笑了，而NLP的 text style transfer 进展貌似一般？

GPT save the candidate to-label data into big model, so to simplify the labeling difficulty. The labeler originally need to write the whole answer by themselves.

GPT把候选的待标注训练数据一起存到大模型里了，也就降低了标注难度，
本来标注人员需要把完整答案自己写出来。

The exploration for control-data-feed / data-centric-method maybe can achieve higher level of AI applications.

如果一些简单的模型比如逻辑回归、加权求和，可以在java里训练就方便了

ChatGPT, The difference of using reward to guide policy vs using the dataset of reward to train policy?

ChatGPT, The difference of using reward to guide policy vs using the dataset of reward to train policy?

Actually, the good quality data is the final goal for both?

designed rules help nlp solve all.

pattern recognition

把pytorch翻译成tensorflow就可以搞起了

实现人工智能的一个目标是，让机器人代替人类走出太阳系（人类寿命有限），人类出不了太阳系，即使存在虫洞，也去不了，去不了虫洞，人类就出不了银河系。人类的脑容量是有限的，强人工智能可能永远无法实现，但足以支撑人类走出太阳系的人工智能可能实现。

实现人工智能的一个目标是，让机器人代替人类走出太阳系（人类寿命有限），人类出不了太阳系，即使存在虫洞，也去不了，去不了虫洞，人类就出不了银河系。
人类的脑容量是有限的，强人工智能可能永远无法实现，但足以支撑人类走出太阳系的人工智能可能实现。

对比了很多BERT类模型在相同数据下的预训练之后，结论就是 go data-centric research

Just translate the OpenAI blog to Chinese, you can write a lot of tech blog.

The way of reward-based method is the only way to next generation AI

数学其实想想也就是那么几个情况，加减乘除/微积分/概率论/线性代数/..

你永远可以相信规则过滤badcase

很好的推荐系统特征工程思路

A lot of models pre-process the data into plain text/knowledge for ChatGPT?

Reward-based learning method is some kind of Data-centric learning method.

为了避免标注人员提重复问题，标注规范的整理和记录很重要

ChatGPT's core function is to fuzzy-match all the texts in the world to a small set of texts.

data augment 潜力很大

Reward Is Enough. But it need too many engineering. So we should optimize the engineering of reward.

data-centric = weighted sum of data

拓宽知识和温故知新，真大可看看李宏毅的教学视频

SimCSE的代码一共这些

In fact there is no reward, there are only positive or negative data

Text-to-code. If code can run, then positive reward. If code can't run, then negative reward.

如果你不知道怎么推导，为什么不遍历所有的可能？

if you don't know how to deduce, why not try all possible ways?

guotong1988 / paper-to-read Goto Github PK

paper-to-read's Introduction

ICLR

ICML

NeurIPS

ACL

EMNLP

KDD

Related Links

paper-to-read's People

Contributors

Watchers

paper-to-read's Issues

Recommend Projects

Recommend Topics

Recommend Org