xueliang787/search-engine-zerotohero

search-engine-zerotohero

从零开始学习企业级搜索引擎的搭建

关于本项目

推荐系统在众多应用中都有着举足轻重的地位，不管是短视频应用、电商应用、对话应用、内容搜索应用、社交应用，推荐都是一项必不可少的应用，在给用户提高效率的同时，也能给企业带来不错的收益。但是，市面上很少有成体系的搜索引擎的学习资料，国外的一些资料介绍的技术又相对比较老。这把很多想要学习的小伙伴挡在了门外。鉴于此，我和我的团队开发了这个项目，希望能够填补这块内容的空白，让想要学习搜索的人能够少走弯路的学会这项技术，并且能够把它应用到企业应用中。

如果觉得能够帮助你，请帮忙点一颗星星，非常感谢🙏

(back to top)

使用技术

这个部分列举了在本项目中使用的技术和插件。

• Hadoop
• Spark
• Hive
• HBase
• Zookeeper
• Tensorflow

(back to top)

快速开始

快速开始体验搜索引擎搭建过程。

1. 数据导入

   wget -P dataset/ http://aimaksen.bslience.cn/articles.json.zip
   unzip dataset/articles.json.zip -d dataset/
   # 把数据导入到 mongo中 
   mongoimport -h <host> -d zhihu -c articles --file dataset/articles.json --headerline --type json

2. 进行预训练请移步public/bert_wwm_pretrain/README.md中启动部分。

3. 特征工程建设请移步featurizer/README.md中启动部分。

(back to top)

开发地图

也可以查看 open issues 获取关于新特性的更多信息。

(back to top)

如何贡献

贡献可以让社区持续的成长，赋能给更多的人，让人和人、人和项目产生链接。如果你有好的想法，非常欢迎能够加入到开源的团队中。对此，我们非常感谢。

如果你有任何建议，能够使本项目变得更好，请 fork 本项目，并且创建一个 pull request。你也可以简单的打开一个 issue，并且打上 "enhancement" 的 tag。不要忘了给本项目一个 star， 再次感谢。

1. 克隆项目
2. 创建你的 Feature 分支 (git checkout -b feature/AmazingFeature)
3. 提交你的特性 (git commit -m 'Add some AmazingFeature')
4. 推送到分支上 (git push origin feature/AmazingFeature)
5. 开启一个 Pull Request

(back to top)

协议

MIT 协议. 查看 LICENSE.txt 获取更多信息。

(back to top)

联系

知乎 @张春阳 - [email protected]

Project Link: https://github.com/BSlience/search-engine-zerotohero/

(back to top)