linyumingbejing Goto Github PK

104job_crwal

airbnb

bc-java

Bouncy Castle Java Distribution (Mirror)

beegodevelop

booking

booking.com

使用Flask、MongoDB、Redis、Celery與Docker，定時向Booking.com爬取住房資訊，同時撰寫相關API，進行住房查詢，並且導入Swagger進行API的測試，加入Celery Flower和Grafana監測隊列任務與API效能，以及使用Logstash蒐集Nginx日誌。

connix

data.etl

datapipeline

使用Airflow爬取博客來與Booking.com的網站(Scrapy)，以及簡單的數據ETL，README有提示如何部署Airflow。

delta

django_demo

透過Django串接、調用各種數據庫。目前已使用Elasticsearch與MongoDB，並且根據各種不同搜尋條件開發相關API，以及使用其開源的分詞推薦模型(Elasticsearch)。

e-commerce

透過Django框架，打造小型購物車功能的網站。

git-demo

demo for the usage of github

githubactions

Just Test Github Actions

gogolook

googlereviews

kafka

模擬Kafka的Producer與Consumer的數據拋接，並且將Consumer消費異常的情況，透過Fluent-bit紀錄至Elasticsearch當中。README後半段則是閱讀〖唯一串流大數據處理平臺Apache Kafka〗書籍後，對Kafka的重點進行摘要。

login

myfirst

crawling

online-course-platform

使用Spring-boot、Mybatis-Plus、MySQL、Redis與Docker，練習打造線上教學平台，並且使用Swagger進行API的測試。

prometheus

pyspark

使用PySpark(2.4.5版本)，串接各種數據庫(Hbase、Elasticsearch、MongoDB與MySQL)，進行簡單的數據ETL，並且展現對PySpark語法的熟悉。

restaurant-web

spring-boot-jdbctemplate

spring-boot-jpa

spring-boot-mongodb

spring-boot-mybatis-plus

tripadvisorcrawl

透過Scrapy框架，爬取TripAdvisor的餐廳資訊。該專案為TripAdvisorPython的數據來源。

tripadvisorpython

透過Flask、Bootstrap、MySQL、Redis、Nginx與Docker，打造TripAdvisor的大型線上網站，並且加入常見的用戶(追蹤、評論、收藏)功能，以及導入Prometheus蒐集各項log指標，同時透過Grafana圖形化介面進行系統監控。

vue--