algosedd's People
algosedd's Issues
Jeden wykres z popularnością top N tagów
Nowy algorytm - najdłuższy wątek
Sprawdzić sposób wyboru najpopularniejszych tagów w pliku Tags.xml
Zamiana wykresu z ilością wpisów
Cały okres w którym robimy analizę powinien być podzielony na odcinki o szerokości równej okresowi agregacji. Ilość wpisów powinna być liczona w tych odcinkach dzięki czemu w okresach gdy tylko jeden tag ma wpisy inne tagi powinny mieć ilość wpisów równą 0.
Skonfigurować logowanie w oparciu o log4j.properties
Optymalizacja processingu pod kątem użycia Sparka
Sprawdzić czy z pliku 'Posts' da się wyciągnąć więcej danych
Rozwiązać problem z kodowaniem znaków specjalnych
Znaki specjalne w tagach np. w tagu c++
są enkodowane do postaci takiej jak w URL. Tagi nie są enkodowane i przez to nie można znaleźć wyników dla tagów.
Zamiana wykresu ze względną popularnością
Cały okres w którym robimy analizę powinien być podzielony na odcinki o szerokości równej okresowi agregacji. Względna popularność powinna być liczona w tych odcinkach dzięki czemu w okresach gdy jeden tag ma popularność 1 inne tagi powinny mieć popularność 0.
sbt
GCP - tworzenie wykresów i upload do storage
Napisać skrypt do tworzenia wykresów dla wszystkich tagów. Przykładowy flow skryptu
- ściąganie bucketu z wynikami w postaci plików csv
- tworzenie wykresów dla każdego tagu - zastanowić się czy w nazwach tworzonych plików dodać parametery tworzonych wykresów np y_max
- upload wykresów do storage
Upload można zrealizować jako sync katalogu na maszynie z bucketem.
Wprowadzić mavena w wersji wrapper
Zastanowić się czy można użyć D3.js do twrzenia wykresów
Przykładowa strona z wynikami mogłaby mieć postać chmury z nazwami tagów i po wyborze odpowiedniego tagu przechodzimy do wykresów dla tego tagu, Wielkość tagów w chmurze mogłaby odzwierciedlać ilość wpisów z tym tagiem. Wykres względnej popularności mógłby podkreślać odpowiednią krzywą z wynikami po najechamiu kursorem link .
Poprawić parametryzację wykresów
Zrobić porządek z aplikacjami podpiętymi do tego repo
Wczytywanie spakowanych plików StackExchange
Uruchamianie jobów sparkowych
Poprawić aktualny skrypt do submitowania jobów sparkowych tak, żeby można było submitować job dla już istniejącego bucketu outputowego tzn. bez towrzenia nowego bucketu wynikowego.
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.