antergos98/vapecrawl.ca

Source code of a website I ran between 2020 and 2021

Vapecrawl

Vapecrawl.ca is a Laravel 8 and Vue.js vape search engine.

Requirements

• Docker
• Unix environment or WSL2
• Node and npm installed locally

Initial setup

cp .env.example .env
docker run --rm -v $(pwd):/opt -w /opt laravelsail/php74-composer:latest composer install
./vendor/bin/sail build
./vendor/bin/sail up -d
./vendor/bin/sail artisan key:generate 
./vendor/bin/sail artisan migrate --seed
npm install
npm run dev

Start the project

./vendor/bin/sail up -d
npm run watch

Visit http://localhost

Useful commands

# Run npm watcher
./vendor/bin/sail npm run watch

# Run tests
./vendor/bin/sail test

Update Meilisearch on the server

1. Go on Ploi.io and stop the two daemons
2. SSH into the server and rm -rf ~/meilisearch/

    sudo rm -rf /usr/bin/meilisearch
    curl -L https://install.meilisearch.com | sh
    mv ./meilisearch /usr/bin/
    # Test if meilisearch is working
    meilisearch --version
    cd ~/vapecrawl.ca
    php artisan scout:import App\\Models\\Product
    cd ~/staging.vapecrawl.ca
    php artisan scout:import App\\Models\\Product

Restart the daemons on Ploi and test if search is still working on staging and prod

vapecrawl.ca's Issues

Improve scraping

Faire un meilleur code en PHP qui va pouvoir de scraper plus de site sans devoir refaire plein de code chaque fois que la techno est différente

Garder le setup pour caller des API vu que c'Est plus rapide que le scraping

Fix Prestashop and Volusion extractors

Add a scroll back to top button

Ajouter un genre de bouton de signalement sur les produits

Juste pour m'avertir si kk1 remarque des mauvaise info sur les produits comme le prix, dispo, etc

Disabler un vendor quand l'import chie pour lui

Pas vider la table produits direct quand on lance l'import

Ça serait peut-êre mieux de flusher les produits du vendors avant l'import comme ça y'aurais moins de perte live sur le site

Create vendors page

Mettre l'import de produit dans une job

Add missing sites

Create FAQ page

Laravel 8 upgrade

I can't upgrade to Laravel 8 because one of my package 'meilisearch/meilisearch-laravel-scout' doesn't requires guzzle 6 while laravel 8 requires at least guzzle 7.

Branch: laravel-8

See meilisearch/meilisearch-laravel-scout#43 and

meilisearch/meilisearch-php#76

Display compare at price

Add pagination?

Write tests

Fix VolusionImporter

Drop vue.js

Would be nice

Améliorer ProductCard

Trop d'espace vide à mon gout