4paradigm/autox

AutoX is an efficient automl tool, which is mainly aimed at data mining tasks with tabular data.

English | 简体中文

AutoX是什么？

AutoX一个高效的自动化机器学习工具。 它的特点包括:

• 效果出色: AutoX在多个kaggle数据集上，效果显著优于其他解决方案(见效果对比)。
• 简单易用: AutoX的接口和sklearn类似，方便上手使用。
• 通用: 适用于分类和回归问题。
• 自动化: 无需人工干预，全自动的数据清洗、特征工程、模型调参等步骤。
• 灵活性: 各组件解耦合，能单独使用，对于自动机器学习效果不满意的地方，可以结合专家知识，AutoX提供灵活的接口。
• 比赛上分点总结：整理并公开历史比赛的上分点。

AutoX包含什么内容

• autox_competition: 主要针对于表格类型的数据挖掘竞赛
• autox_server: 用于上线部署的automl服务
• autox_interpreter: 机器学习可解释功能
• autox_nlp: 对文本列进行处理的自动化工具
• autox_recommend: 推荐系统的自动机器学习
• autox_video: 应用于视频分类任务的自动机器学习框架

加入社区

框架

autox_competition

autox_recommend

autox_video

如何为AutoX贡献

如何为AutoX贡献

目录

• AutoX是什么？
• AutoX包含什么内容
• 加入社区
• 目录
• 安装
• 如何为AutoX贡献
• 快速上手
• 效果对比
• TODO
• 错误排查

安装

github仓库安装

git clone https://github.com/4paradigm/autox.git
pip install ./autox

pip安装

## pip安装包可能更新不及时，建议用github安装方式安装最新版本
!pip install automl-x -i https://www.pypi.org/simple/

快速上手

• autox打比赛
• autox上线部署
• autox可解释
• 特征工程

社区案例

汽车销量预测

比赛案例

见demo文件夹

数据集下载链接：https://pan.baidu.com/s/1p38OuP8_FJp2P_wJwhdFiw?pwd=8mxf

效果对比

不同任务下的效果提升百分比

data_type	对比AutoGluon	对比H2o
binary classification	20.44%	2.98%
regression	37.54%	39.66%
time-series	28.40%	32.46%

详细数据集对比

data_type	single-or-multi	data_name	metric	AutoX	AutoGluon	H2o
binary classification	single-table	Springleaf	auc	0.78865	0.61141	0.78186
binary classification-nlp	single-table	stumbleupon	auc	0.87177	0.81025	0.79039
binary classification	single-table	santander	auc	0.89196	0.64643	0.88775
binary classification	multi-table	IEEE	accuracy	0.920809	0.724925	0.907818
regression	single-table	ventilator	mae	0.755	8.434	4.221
regression	single-table	Allstate Claims Severity	mae	1137.07885	1173.35917	1163.12014
regression	single-table	zhidemai	mse	1.0034	1.9466	1.1927
regression	single-table	Tabular Playground Series - Aug 2021	rmse	7.87731	10.3944	7.8895
regression	single-table	House Prices	rmse	0.13043	0.13104	0.13161
regression	single-table	Restaurant Revenue	rmse	2133204.32146	31913829.59876	28958013.69639
regression	multi-table	Elo Merchant Category Recommendation	rmse	3.72228	3.80801	22.88899
regression-ts	single-table	Demand Forecasting	smape	13.79241	25.39182	18.89678
regression-ts	multi-table	Walmart Recruiting	wmae	4660.99174	5024.16179	5128.31622
regression-ts	multi-table	Rossmann Store Sales	RMSPE	0.13850	0.20453	0.35757
regression-cv	single-table	PetFinder	rmse	20.1327	23.1732	21.0586

AutoX成就

企业支持

比赛获奖

• 2021阿里云基础设施供应链大赛-冠军方案
• kaggle-H&M个性化推荐-金牌方案
• AutoX获得CCF A类会议ACM Multimedia举办的视频分类任务冠军

TODO

功能开发完成后，发布相应的使用demo

• 多分类任务

若有其他希望AutoX支持的功能，欢迎提issue! 欢迎填写用户调研问卷，让AutoX变得更好!

错误排查

错误信息	解决办法

autox's Issues

AutoX_Recommend, 数据集处理: Retailrocket recommender system dataset

数据处理方法参考
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/MovieLens_data_process.ipynb
以及
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/Netflix-data-process.ipynb

内存优化问题

在kaggle环境中运行《值得买》数据集，发现16G内存会爆掉。初步分析是因为特征工程中暴力循环生成了出了大量衍生特征，可以考虑借鉴kaggle上的 memory reduce 代码思路进行内存优化

AutoX_Recommend, Item特征

代码结构可以参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/recall_and_rank/feature_engineer/user_feature_engineer.py

Stop Cheating us with Fake Stars!

AutoX_Recommend, 图像内容召回

代码结构可以参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/recall_and_rank/recalls/history_recall.py

AutoX_NLP/ nlp_feature.py, OOV问题优化

当前Word2Vec和Glove模型无法处理测试数据中未见过的词，需要对测试数据重新进行词表构建，对整体效果影响较大。
代码链接：https://github.com/4paradigm/AutoX/blob/master/autox/autox_nlp/feature_engineer/nlp_feature.py

Sample selection

I would like to ask if AutoX has any plans for sample selection?

Now many data sets are so large that the computing power of individuals and small companies cannot afford.

Can a part of the data be selected for training to approximate the effect of full data training?

时序预测支持小时级别的么？

AutoX_Recommend, Random graph walk

安装/installation

autox安装的时候是要提前安装深度学习框架keras嘛？是否支持pytorch或其他框架？

AutoX_Recommend, netflix数据集处理.

数据处理方法参考
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/MovieLens_data_process.ipynb

lightgbm.train bug(lightgbm==3.3.2.99)

Mac中 lightgbm==3.3.2.99， lightgbm.train不再包含verbose_eval和early_stopping_rounds接口，改用callbacks接口，调用lgb模型时会报错

File ~/miniforge3/envs/lx/lib/python3.9/site-packages/autox/autox_competition/models/regressor_ts.py:231, in LgbRegressionTs.fit(self, train, test, used_features, target, time_col, ts_unit, Early_Stopping_Rounds, N_round, Verbose, log1p, custom_metric, weight_for_mae)
    226     model = lgb.train(self.params_, trn_data, num_boost_round=self.N_round, valid_sets=[trn_data, val_data],
    227                       verbose_eval=self.Verbose,
    228                       early_stopping_rounds=self.Early_Stopping_Rounds,
    229                       feval=weighted_mae_lgb(weight=weight_for_mae))
    230 else:
--> 231     model = lgb.train(self.params_, trn_data, num_boost_round=self.N_round, valid_sets=[trn_data, val_data],
...
    233                     early_stopping_rounds=self.Early_Stopping_Rounds)
    234 val = model.predict(train.iloc[valid_idx][used_features])
    235 if log1p:

TypeError: train() got an unexpected keyword argument 'verbose_eval'

AutoX_Recommend, 数据集处理: Amazon product data

原始数据地址: http://jmcauley.ucsd.edu/data/amazon/
数据处理方法参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/MovieLens_data_process.ipynb
以及
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/Netflix-data-process.ipynb

autox_video: 增加在一些公开数据集上的效果，并以表格形式展示在readme中

pkl格式的模型有办法转成pmml格式的吗？

目前使用AutoXServer生成的模型是pkl格式的，有没有办法转为pmml格式？

AutoX_Recommend, 数据集处理: Restaurant Recommendations

原始数据地址: https://www.kaggle.com/datasets/teesoong/ml-challenge?select=checkins.csv
数据处理方法参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/MovieLens_data_process.ipynb
以及
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/Netflix-data-process.ipynb

autoX能否针对块状和间歇性需求的时间序列进行预测？

autoX能否针对块状和间歇性需求的时间序列进行预测？

autox_video: config文件参数更详细的说明。

AutoX_Recommend, 排序模型, Lightgbm binary

代码结构可以参考: https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/recall_and_rank/ranker/ranker.py

模型融合/ensemble

请问下autox怎么把模型融合的方式设置为stacking？

AutoX_Recommend, 数据集处理: kdd cup 2020

原始数据地址: https://tianchi.aliyun.com/competition/entrance/231785/introduction
数据处理方法参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/MovieLens_data_process.ipynb
以及
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/Netflix-data-process.ipynb

AutoX_Recommend, NLP内容召回

代码结构可以参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/recall_and_rank/recalls/history_recall.py

有没有加载模型部署应用的方法？

AutoX团队你们好，
如题有没有保存模型加载模型部署应用的方法？感谢！

autox_video: readme增加框架图

autox_video: readme完善，具体说明执行AutoTrain以及AutoTest会产生什么效果

请求增加一种新的

task1_baseline.ipynb

您是把一条数据中的实体拆分了吗？
一条数据对应一个实体？对应一个情感？

UserCF召回方法的实现

参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/recall_and_rank/recalls/itemcf_recall.py

autox_video: 列举后续可以优化的点

sohu baseline 的 DeBERTa不是还没中文版的吗，貌似效果很差

https://github.com/4paradigm/AutoX/blob/master/competition_baseline/biendata_sohu_2022/task1_baseline.ipynb

AutoX_Recommend, w2v内容召回

代码结构可以参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/recall_and_rank/recalls/history_recall.py

分组流行商品 召回方法的实现

代码结构可以参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/recall_and_rank/recalls/history_recall.py

是否考虑支持序列型特征

在推荐风控等场景里面 用户的行为序列特征十分重要，不知道是否考虑支持了

ItemCF召回方法的并行

AutoX_NLP/ nlp_feature.py, fasttext处理效率优化

当前使用fasttext进行特征提取的效率较慢，同等数据量下与BERT-tiny用时相当，可针对性优化。
代码链接：https://github.com/4paradigm/AutoX/blob/master/autox/autox_nlp/feature_engineer/nlp_feature.py

我想加入车队（二维码过期了）

可以再po一个二维码吗？

autox_video: readme增加目录

AutoX_Recommend, 负样本降采样

ModuleNotFoundError: No module named 'autox.autox_server'

git clone https://github.com/4paradigm/AutoX.git
pip install pytorch_tabnet
pip install ./AutoX
python
from autox import AutoX

ModuleNotFoundError: No module named 'autox.autox_server'

这个支持分类模型吗

AutoX_Recommend, 数据集处理: Amazon electronic product recommendation

原始数据地址: https://www.kaggle.com/datasets/prokaggler/amazon-electronic-product-recommendation
数据处理方法参考:
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/MovieLens_data_process.ipynb
以及
https://github.com/4paradigm/AutoX/blob/master/autox/autox_recommend/data_process/Netflix-data-process.ipynb

AutoX_NLP/ nlp_feature.py,glove环境适配

当前glove模型使用的是glove-python-binary包，对windows系统及mac系统安装较困难，可通过其他方式实现glove。
代码链接：https://github.com/4paradigm/AutoX/blob/master/autox/autox_nlp/feature_engineer/nlp_feature.py

多分类啥时候上线？

@poteman

Welcome update to OpenMMLab 2.0

Welcome update to OpenMMLab 2.0

I am Vansin, the technical operator of OpenMMLab. In September of last year, we announced the release of OpenMMLab 2.0 at the World Artificial Intelligence Conference in Shanghai. We invite you to upgrade your algorithm library to OpenMMLab 2.0 using MMEngine, which can be used for both research and commercial purposes. If you have any questions, please feel free to join us on the OpenMMLab Discord at https://discord.gg/amFNsyUBvm or add me on WeChat (van-sin) and I will invite you to the OpenMMLab WeChat group.

Here are the OpenMMLab 2.0 repos branches:

	OpenMMLab 1.0 branch	OpenMMLab 2.0 branch
MMEngine		0.x
MMCV	1.x	2.x
MMDetection	0.x 、1.x、2.x	3.x
MMAction2	0.x	1.x
MMClassification	0.x	1.x
MMSegmentation	0.x	1.x
MMDetection3D	0.x	1.x
MMEditing	0.x	1.x
MMPose	0.x	1.x
MMDeploy	0.x	1.x
MMTracking	0.x	1.x
MMOCR	0.x	1.x
MMRazor	0.x	1.x
MMSelfSup	0.x	1.x
MMRotate	1.x	1.x
MMYOLO		0.x

Attention: please create a new virtual environment for OpenMMLab 2.0.