Giter Site home page Giter Site logo

Comments (46)

developmentzonneplan avatar developmentzonneplan commented on August 19, 2024 3

Wij hebben de blokkade voor nu langzaam maar helemaal opgeheven.
Zo kunnen wij ook meten wat nu de status is.

Zoals fsaris ook al aan gaf, denken wij ook dat versie 0.0.20 (die 11 dagen online stond) het probleem is geweest.

Echter wij zien alleen maar requests binnenkomen op onze API die enigzins lijken op de requests zoals ze uit onze eigen zonneplan app komen. Dit maakt het debuggen voor ons ook moeilijk...

from home-assistant-zonneplan-one.

developmentzonneplan avatar developmentzonneplan commented on August 19, 2024 1

Wij hebben dit weekend een reeks IPs tijdelijk op de blacklist gezet.
En wij overwegen harde limiten te gaan zetten op het aantal requests op een dag.

Dat er gebruik wordt gemaakt van onze APIs vinden wij helemaal geen probleem, maar wij zagen sommige IPs meer dan 83.000 requests op 1 dag doen. En nog een hele reeks IPs meer dan 40.000 requests per dag (~27 per min).

Tja, dan gaat het ons wel wat te gek...
Echter wij zijn hier ook nog in overleg wat wij dan wel normaal vinden.

Ondertussen zouden wij de ontwikkelaar van deze intergratie willen vragen de code nog eens goed te controleren op wat er nu is fout gegaan. Want dan kunnen wij de IPs weer toegang geven tot onze servers.

from home-assistant-zonneplan-one.

developmentzonneplan avatar developmentzonneplan commented on August 19, 2024 1

Je zou weer access moeten hebben en we gaan jouw IP requests even monitoren @dacootmeister

from home-assistant-zonneplan-one.

dstollie avatar dstollie commented on August 19, 2024 1

Sinds 21 november zien we dat het aantal requests van deze plugin sky-high is gegaan. Onderstaande grafiek laat dat zien. Dit zijn de requests vanaf 1 specifiek IP die deze plugin gebruikt.
Screenshot 2023-12-04 at 12 10 18

In deze grafiek is te zien dat de vanaf 21 nov ongeveer 163 requests per 30 minuten van een specifiek endpoint aanroept. 30 nov is het iets gematigder geworden maar alsnog 50 requests van 1 uniek endpoint per 30 minuten.
Screenshot 2023-12-04 at 12 12 52 (1)

from home-assistant-zonneplan-one.

dstollie avatar dstollie commented on August 19, 2024 1

Op dit moment is het voor ons niet te zien welke versie van de plugin nu gebruikt wordt, zou mooi zijn als deze toegevoegd kunnen worden aan de headers @fsaris

from home-assistant-zonneplan-one.

dacootmeister avatar dacootmeister commented on August 19, 2024

Ik krijg, na afgelopen weekend geen verbindig meer te kunnen hebben gemaakt met mijn Zonneplan app, de melding failed_to_request_login wanneer ik mijn mailadres registreer in de plugin.
Graag wil ik wel de actuele prijzen en verbruikswaarden op te kunnen halen. Hoe dit te fixen @developmentzonneplan ?

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

developmentzonneplan avatar developmentzonneplan commented on August 19, 2024

Even voor de duidelijkheid, we hebben geen user accounts geblokkeerd.
Onze android of iphone app zou direct weer moeten werken als wifi wordt uitgezet en de verbinding via het mobiele netwerk naar ons gemaakt wordt.

from home-assistant-zonneplan-one.

dacootmeister avatar dacootmeister commented on August 19, 2024

hele reeks IPs meer dan 40.000 requests per dag (~27 per min). Tja, dan gaat het ons wel wat te gek...

Dat laatste klopt ook, kan middels mijn iphone weer de app gebruiken. De HACS integratie voor HA werkt echter niet (nu) wegens die blocking.

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

Er zal wel ergens een tijd van 1 seconde in staan of zo, dan kom je aan die 86000 requests, het is alleen zo dat ik dat niet zelf in stel of zo, gebruik deze code zoals veel meer mensen met HASS zullen doen, en waarom zal er dan bij mij vandaan meer requests komen.
Dat het via 4 G werkte wist ik.
waar kan ik je van af hier mee helpen.

from home-assistant-zonneplan-one.

developmentzonneplan avatar developmentzonneplan commented on August 19, 2024

Gebruiken jullie ook allemaal de laatste versie van deze intergratie ?
Misschien kun je je WAN IP even hier door geven (eerst 3 cijfers en laatste 3 cijfers) dan kunnen we je even deblokeren en zien hoe de laatste versie zich nu gedraagt.

from home-assistant-zonneplan-one.

dacootmeister avatar dacootmeister commented on August 19, 2024

Gebruiken jullie ook allemaal de laatste versie van deze intergratie ? Misschien kun je je WAN IP even hier door geven (eerst 3 cijfers en laatste 3 cijfers) dan kunnen we je even deblokeren en zien hoe de laatste versie zich nu gedraagt.

x.x.65.146

(iets meer dan de laatste 3)

from home-assistant-zonneplan-one.

dacootmeister avatar dacootmeister commented on August 19, 2024

Je zou weer access moeten hebben en we gaan jouw IP requests even monitoren @dacootmeister

werkt weer! :-)
image

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

developmentzonneplan avatar developmentzonneplan commented on August 19, 2024

@dacootmeister heb jij ook een update uitgevoerd sinds dit weekend ?
Want ook wij willen graag weten wat (en of er) een oplossing is.

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

developmentzonneplan avatar developmentzonneplan commented on August 19, 2024

@RemyWegman jij hebt ook weer access. Kun jij ons ook vertellen of jij deze intergartie ondertussen hebt geupdate naar de laatste versie ?

from home-assistant-zonneplan-one.

dacootmeister avatar dacootmeister commented on August 19, 2024

@dacootmeister heb jij ook een update uitgevoerd sinds dit weekend ? Want ook wij willen graag weten wat (en of er) een oplossing is.

welke update refereer je aan, van de HA Zonneplan plugin of HASS ?

Ik heb HASS geupdate op 1 december 2023 om 08:07 /Home Assistant (2023.12.0b0)
en de Zonneplan HACS integratie 5 dagen geleden naar v0.0.21

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

fsaris avatar fsaris commented on August 19, 2024

@developmentzonneplan

Dat er gebruik wordt gemaakt van onze APIs vinden wij helemaal geen probleem, maar wij zagen sommige IPs meer dan 83.000 requests op 1 dag doen. En nog een hele reeks IPs meer dan 40.000 requests per dag (~27 per min).

dat zijn er wel heel veel. kun je zien wat voor request dit zijn (welk endpoint)?

Interval staat op 300sec. en hij haalt dan accounts op + voor iedere connection afhankelijk van de contracten die we via accounts binnen hebben gekregen wordt een call naar pv_installation/charts/live, /electricity-delivered, /gas, /charge-points. En als er gas en/of electricity is nog 1 call naar /summary.

Kan/moet ik iets aan de headers van ieder request toevoegen zodat jullie zeker weten dat het deze integratie is en niet toevallig een issue met de app?

Misschien kun je me een dump sturen van jullie access log voor een van de IP's die zoveel requests doen? Misschien dat met dan iets opvalt mbt tot wat deze HA integratie doet.

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

developmentzonneplan avatar developmentzonneplan commented on August 19, 2024

Wij gaan helaas geen logs delen, maar we helpen graag daar waar we kunnen.
Zeker weten vanuit welke applicaties deze requests komen weten wij natuurlijk ook niet,
maar de reden dat er mensen nu in deze repos gaan klagen geeft een richting ;-)

Ook hebben we maar een heel klein groepje hoeven blokeren, het meerendeel van
waarschijnlijk deze intergratie heeft helemaal geen problemen en vertonen normaal gedrag.

from home-assistant-zonneplan-one.

IvoVermeer avatar IvoVermeer commented on August 19, 2024

Hi @developmentzonneplan

Ik gebruik ook de laatste versie van de integratie via HACS. Zouden jullie mij ook kunnen deblokkeren en mij laten weten als mijn IP veel requests veroorzaakt? Mijn IP is 192...62

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

dacootmeister avatar dacootmeister commented on August 19, 2024

Sinds 21 november zien we dat het aantal requests van deze plugin sky-high is gegaan. Onderstaande grafiek laat dat zien. Dit zijn de requests vanaf 1 specifiek IP die deze plugin gebruikt

In deze grafiek is te zien dat de vanaf 21 nov ongeveer 163 requests per 30 minuten van een specifiek endpoint aanroept. 30 nov is het iets gematigder geworden maar alsnog 50 requests van 1 uniek endpoint per 30 minuten. !

Wauw, dat is een hoop traffic :-| kun je mij laten weten of IK dat misschien, onbedoeld, ben? Ik heb rond die tijd een Ulanzi clock / AWTRIX Light heb geactiveerd die wat informatie met MQTT uit HA trekt. Het lijkt logisch mij dat dit geen API calls naar de zonneplan plugin triggert, maar zeker weet ik het niet

from home-assistant-zonneplan-one.

kababoom avatar kababoom commented on August 19, 2024

Hi @developmentzonneplan

Ik gebruik ook de laatste versie van de integratie via HACS. Zouden jullie mij ook kunnen deblokkeren en mij laten weten als mijn IP veel requests veroorzaakt? Mijn IP is 192...62

192 is een intern adres (private range), je moet je externe adres achterhalen met bijvoorbeeld whatsmyipaddress.com oid.

from home-assistant-zonneplan-one.

IvoVermeer avatar IvoVermeer commented on August 19, 2024

Hi @developmentzonneplan
Ik gebruik ook de laatste versie van de integratie via HACS. Zouden jullie mij ook kunnen deblokkeren en mij laten weten als mijn IP veel requests veroorzaakt? Mijn IP is 192...62

192 is een intern adres (private range), je moet je externe adres achterhalen met bijvoorbeeld whatsmyipaddress.com oid.

Het is toch echt mij public IP :) Mijn DNS A record op mijn domein leidt er naartoe en alles werkt. Schermprintje uit mijn Omada controller:
image

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

kababoom avatar kababoom commented on August 19, 2024

Hi @developmentzonneplan
Ik gebruik ook de laatste versie van de integratie via HACS. Zouden jullie mij ook kunnen deblokkeren en mij laten weten als mijn IP veel requests veroorzaakt? Mijn IP is 192...62

192 is een intern adres (private range), je moet je externe adres achterhalen met bijvoorbeeld whatsmyipaddress.com oid.

Het is toch echt mij public IP :) Mijn DNS A record op mijn domein leidt er naartoe en alles werkt. Schermprintje uit mijn Omada controller:

Ik was voorbarig, niet alle 192 is natuurlijk private..

from home-assistant-zonneplan-one.

IvoVermeer avatar IvoVermeer commented on August 19, 2024

@developmentzonneplan @fsaris Nog extra info: Ik heb mijn HA backups erop nageslagen. Tussen 20-11 03:00 en 21-11 03:00 is de integratie bijgewerkt van 0.0.19 naar 0.0.21b1. Op dit moment is 0.0.21 geïnstalleerd.

from home-assistant-zonneplan-one.

fsaris avatar fsaris commented on August 19, 2024

@IvoVermeer @RemyWegman @kababoom de 0.0.21b1 versie was de versie die teveel request deed

from home-assistant-zonneplan-one.

fsaris avatar fsaris commented on August 19, 2024

@RemyWegman

Welke dat wil je hebben en waar kan ik die vinden, in hass lijkt het er op dat er iedere 5 minuten een aanvraag gedaan word, kleine 300 vragen per dag, dat zal wel toelaatbaar zijn neem ik aan

Er gebeuren meerdere request iedere poll interval. Dus +/- 300 x per dag zo'n 5+ requests afhankelijk van welke contracten je allemaal hebt.

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

dacootmeister avatar dacootmeister commented on August 19, 2024

Wij hebben de blokkade voor nu langzaam maar helemaal opgeheven. Zo kunnen wij ook meten wat nu de status is.

Zoals fsaris ook al aan gaf, denken wij ook dat versie 0.0.20 (die 11 dagen online stond) het probleem is geweest.

Echter wij zien alleen maar requests binnenkomen op onze API die enigzins lijken op de requests zoals ze uit onze eigen zonneplan app komen. Dit maakt het debuggen voor ons ook moeilijk...

dan is het zeker handig om in de header te differentieren waar het verzoek vandaan komt, dus misschien nog een werkje voor @fsaris als voor @developmentzonneplan @dstollie :-)

zucht, je was me alweer voor @fsaris met #88

from home-assistant-zonneplan-one.

fsaris avatar fsaris commented on August 19, 2024

@dstollie

In deze grafiek is te zien dat de vanaf 21 nov ongeveer 163 requests per 30 minuten van een specifiek endpoint aanroept. 30 nov is het iets gematigder geworden maar alsnog 50 requests van 1 uniek endpoint per 30 minuten. Screenshot 2023-12-04 at 12 12 52 (1)

Kan het zijn dat de request voor die tijd gewoon vanaf de app kwamen? En dat de gebruiker pas op de 21nov deze integratie is gaan gebruiken? Of hoeveel request waren het voor die tijd?

from home-assistant-zonneplan-one.

rdgout avatar rdgout commented on August 19, 2024

De app is vrij zuinig met requests in vergelijking met deze integratie. Vandaar dat ik eerder aangaf dat het belangrijk gaat worden in de toekomst dat er geen onnodige requests gedaan worden. 😄

Alle informatie voor alle contracten ophalen is ook niet nodig namelijk, het zou juist andersom moeten werken, als je een
bepaalde sensor gebruikt dan moet hij pas die informatie ophalen.
En dan moet je eigenlijk ook nog het juiste adres ergens selecteren zodat hij altijd alleen maar voor dat adres die informatie ophaalt in plaats van alle informatie voor alle adressen.

Dat is voor ons vanuit de app kant heel onlogisch namelijk.

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

rdgout avatar rdgout commented on August 19, 2024

Je kan de data niet met een get uit de api opvragen dan? dus voor iedere sensor wordt er een request gedaan, bij mij een 64 entiteiten of zo, dit omdat ik de data van een andere Wegman ( mijn vader) ook binnen krijg. [image: image.png] Op di 5 dec 2023 om 09:02 schreef rdgout @.>:

De app is vrij zuinig met requests in vergelijking met deze integratie. Vandaar dat ik eerder aangaf dat het belangrijk gaat worden in de toekomst dat er geen onnodige requests gedaan worden. 😄 Alle informatie voor alle contracten ophalen is ook niet nodig namelijk, het zou juist andersom moeten werken, als je een bepaalde sensor gebruikt dan moet hij pas die informatie ophalen. En dan moet je eigenlijk ook nog het juiste adres ergens selecteren zodat hij altijd alleen maar voor dat adres die informatie ophaalt in plaats van alle informatie voor alle adressen. Dat is voor ons vanuit de app kant heel onlogisch namelijk. — Reply to this email directly, view it on GitHub <#87 (comment)>, or unsubscribe https://github.com/notifications/unsubscribe-auth/AD72WPNZVWCWHZJYNLVHXW3YH3IK3AVCNFSM6AAAAABAFSW7QWVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTQNBQGIYDKNJXGA . You are receiving this because you were mentioned.Message ID: @.
>
-- www.RemyWegmanServices.nl http://www.remywegmanservices.nl/ ========================================================== Het Gulik 13 KVK nr. 59240024 7251CS VORDEN Mobiel: +31 6 33 66 24 48 BTW ID NL001639607B26 ==========================================================

De API is gemaakt voor de app en niet voor de integratie. Dat de integratie hier gebruik van kan maken is momenteel een mooi voordeel voor HA gebruikers.
Het zou mooi zijn om te horen van gebruikers van de integratie hoe jullie deze gebruiken. Kijken jullie wel naar data van andere adressen? Als dit stelselmatig niet gebeurt kan het namelijk handig zijn als @fsaris hier iets voor maakt zodat er niet continue data wordt opgehaald voor adressen die niet gebruikt worden.

from home-assistant-zonneplan-one.

IvoVermeer avatar IvoVermeer commented on August 19, 2024

Je kan de data niet met een get uit de api opvragen dan? dus voor iedere sensor wordt er een request gedaan, bij mij een 64 entiteiten of zo, dit omdat ik de data van een andere Wegman ( mijn vader) ook binnen krijg. [image: image.png] Op di 5 dec 2023 om 09:02 schreef rdgout @.>:

De app is vrij zuinig met requests in vergelijking met deze integratie. Vandaar dat ik eerder aangaf dat het belangrijk gaat worden in de toekomst dat er geen onnodige requests gedaan worden. 😄 Alle informatie voor alle contracten ophalen is ook niet nodig namelijk, het zou juist andersom moeten werken, als je een bepaalde sensor gebruikt dan moet hij pas die informatie ophalen. En dan moet je eigenlijk ook nog het juiste adres ergens selecteren zodat hij altijd alleen maar voor dat adres die informatie ophaalt in plaats van alle informatie voor alle adressen. Dat is voor ons vanuit de app kant heel onlogisch namelijk. — Reply to this email directly, view it on GitHub <#87 (comment)>, or unsubscribe https://github.com/notifications/unsubscribe-auth/AD72WPNZVWCWHZJYNLVHXW3YH3IK3AVCNFSM6AAAAABAFSW7QWVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTQNBQGIYDKNJXGA . You are receiving this because you were mentioned.Message ID: _
@**
.**_>
-- www.RemyWegmanServices.nl http://www.remywegmanservices.nl/ ========================================================== Het Gulik 13 KVK nr. 59240024 7251CS VORDEN Mobiel: +31 6 33 66 24 48 BTW ID NL001639607B26 ==========================================================

De API is gemaakt voor de app en niet voor de integratie. Dat de integratie hier gebruik van kan maken is momenteel een mooi voordeel voor HA gebruikers. Het zou mooi zijn om te horen van gebruikers van de integratie hoe jullie deze gebruiken. Kijken jullie wel naar data van andere adressen? Als dit stelselmatig niet gebeurt kan het namelijk handig zijn als @fsaris hier iets voor maakt zodat er niet continue data wordt opgehaald voor adressen die niet gebruikt worden.

Ik haal alleen de data op voor mijn eigen adres. Er is ook maar één adres aan mijn account gekoppeld, maar zelf als ik meerdere adressen gekoppeld had, zou ik in HA maar één adres willen. En als ik dan een tweede adres zou willen uitlezen, zou ik daarvoor best een tweede set devices willen configureren.

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

rdgout avatar rdgout commented on August 19, 2024

Wat bedoel je met adressen?

Binnen de app kan je wisselen tussen adressen mits je aan meerdere adressen gekoppeld bent (zoals jij aan je vader). Daarmee kan je dus heel specifiek informatie ophalen voor alleen 1 specifiek adres. Deze integratie haalt alle informatie op van alle adressen ongeacht of je dit gebruikt, dat betekent dus ook dat iemand met 2 adressen per definitie al gauw 2x zoveel informatie ophaalt bij onze API. Tot voor kort dus elke 10 seconden.

Ik heb diverse entiteiten die ik binnen krijg in mn dashboard heb staan, en het soms bekijk, maar voor mij is bv de P1 waarde om de 5 seconden geen waarde waar ik iets mee kan, dus als ik ze uit zou kunnen filteren is mij dat prima. De Hacs Integratie geeft ook wat info over de prijzen, maar dat is voor mij net niet genoeg en draai daar een entso applicatie voor. Voor mij is het actuele vermogen en de opgebrachte energie van de zonnepanelen eigenlijk de enige echte relevante data (in Hass), maar je krijgt de rest er bij. Remy Op di 5 dec 2023 om 09:26 schreef rdgout @.***>:

Dat is dus precies wat ik bedoelde met informatie ophalen op basis van de sensoren die je gebruikt in plaats van alle informatie ophalen en dat doorgeven aan de sensoren.

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

developmentzonneplan avatar developmentzonneplan commented on August 19, 2024

@fsaris de load is alweer redelijk terug naar normaal en er is nog maar een klein groepje waar de update nog niet is doorgevoerd. Maar dat komt vanzelf wel goed...

Wel zouden we je nog 1 ding willen vragen, kun je bij het aanroepen van een request nog een random delay toevoegen tussen de 0 en 30 seconden ?
Alle Home Assistant nodes zijn perfect gesynct met een time-server en hoe groter jouw aanhang wordt hoe meer requests er precies in die enkele secondes (per 5 min) op ons wordt afgevuurt. Of misschien heb jij wel een beter idee om wat randomness toe te voegen over al die verschillende gebruikers.

from home-assistant-zonneplan-one.

RemyWegman avatar RemyWegman commented on August 19, 2024

from home-assistant-zonneplan-one.

fsaris avatar fsaris commented on August 19, 2024

Alle Home Assistant nodes zijn perfect gesynct met een time-server en hoe groter jouw aanhang wordt hoe meer requests er precies in die enkele secondes (per 5 min) op ons wordt afgevuurt. Of misschien heb jij wel een beter idee om wat randomness toe te voegen over al die verschillende gebruikers.

@developmentzonneplan dat lijkt me vreemd dat dit echt zo is. De interval begint namelijk te lopen bij de start van HA. Dit staat los van de time-server. Als je hem om 13:11 start bijv. gaat hij vanaf dat moment iedere 300 sec een run doen. Het systeem kijkt hier niet naar de huidige tijd.

from home-assistant-zonneplan-one.

Related Issues (20)

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.