Caps Services - Forum

K-net => Internet => Discussion démarrée par: noe77 le 15 Mai 2021 à 16:34:31

Titre: Supervision Liaison K-Net (14)
Posté par: noe77 le 15 Mai 2021 à 16:34:31
Hello,

Juste un petit post pour partager les outils de supervision que j'utilise pour ma liaison K-Net principalement via Docker (Configuration, graphs et logs sauvegardés sur le Owncloud de K-Net ;D ).

- Disponibilité : Betteruptime - https://betteruptime.com -> https://status.noe.ovh découvert via @bOLEMO !

Pratique pour être alerté de la coupure de son serveur web, de sa liaison, etc...

- Débit WAN (via Docker) : Speedtest-Tracker - https://hub.docker.com/r/henrywhitaker3/speedtest-tracker

Je réalise un test horaire du ping et du débit en dl, ul depuis des serveurs SpeedTest en France.

- Débit LAN (via Docker) : Speed Test - https://registry.hub.docker.com/r/e7db/speedtest/

Pour réaliser un Speed Test sur son réseau local vers son serveur en HTML5, très pratique !

- Latence (via Docker) : Smokeping - https://hub.docker.com/r/linuxserver/smokeping

Latence sur les DNS de Google, CloudFlare, Réseau K-Net, etc...

- Monitoring du réseau local (via Docker) : Observium - https://hub.docker.com/r/uberchuckie/observium

Supervision SNMP du routeur, des bornes wifi, du NAS.

Si vous avez des questions ? Ou d'autres outils... N'hésitez pas !

Bon WE  8)
Titre: Re : Supervision Liaison K-Net (14)
Posté par: bOLEMO le 16 Mai 2021 à 01:12:56
Déjà, merci !  :)

Je vais regarder cela de plus près, et partager ce que j'utilise plus en détail.
Titre: Re : Supervision Liaison K-Net (14)
Posté par: sebbdu14 le 16 Mai 2021 à 13:34:22
merci beaucoup,

je vais regarder ça de plus près dans la semaine.
Titre: Re : Supervision Liaison K-Net (14)
Posté par: halesk2k le 17 Mai 2021 à 02:33:50
Si tu veux vraiment t'amuser, je te conseils de regarder du coté de Grafana avec un backend Graphite pour la base, puis des outils comme collectd ou des script maison pour alimenter la base. Tu peux fais des trucs vraiment sympa.

Titre: Re : Re : Supervision Liaison K-Net (14)
Posté par: noe77 le 17 Mai 2021 à 07:48:08
Citation de: halesk2k le 17 Mai 2021 à 02:33:50
Si tu veux vraiment t'amuser, je te conseils de regarder du coté de Grafana avec un backend Graphite pour la base, puis des outils comme collectd ou des script maison pour alimenter la base. Tu peux fais des trucs vraiment sympa.


Merci je vais tester ça  8) https://registry.hub.docker.com/r/grafana/grafana/ (https://registry.hub.docker.com/r/grafana/grafana/)
Titre: Re : Supervision Liaison K-Net (14)
Posté par: halesk2k le 17 Mai 2021 à 10:56:48
De mon coté,
Grafana je l'ai mis dans un container LXC pour qu'il se mette à jour tout seul via dnf pour les patch de faille de sécu. Graphite par contre, en container docker.

Mon compose si ca peut te faire gagner du temps:
version: "2"

services:
  statsd:
   image: graphiteapp/graphite-statsd
   restart: always
   volumes:
    - ./graphite/conf:/opt/graphite/conf
    - ./graphite/storage:/opt/graphite/storage
   ports:
    - "80:80"
    - "2003-2004:2003-2004"
    - "2023-2024:2023-2024"
    - "8125:8125/udp"
    - "8126:8126"

Titre: Re : Re : Supervision Liaison K-Net (14)
Posté par: albert91 le 17 Mai 2021 à 16:35:39
Citation de: halesk2k le 17 Mai 2021 à 02:33:50
Si tu veux vraiment t'amuser, je te conseils de regarder du coté de Grafana avec un backend Graphite pour la base, puis des outils comme collectd ou des script maison pour alimenter la base. Tu peux fais des trucs vraiment sympa.
ça doit faire 3 ans que j'entends parler de grafana pour palier le manque d'un moniteur réseau chez K-net, mais jamais personne n'a ouvert un fils de discussion pour faire un tuto d'installation en donnant ses fichiers de configuration.
De plus, cet ensemble de programmes est fait pour Linux et a été porté sous Windows avec les pieds.
Halesk2k, tu as surement fait quelque chose de magnifique, mais dans les conditions présentes, Grafana doit concerner 5 personnes sur les abonnes K-net, j'ai bien essayé sous Windows, mais c'est de l'artillerie lourde, il faut beaucoup trop de connaissances pour en tirer rien qu'une courbe de débit en sortie du routeur.
Titre: Re : Re : Supervision Liaison K-Net (14)
Posté par: noe77 le 17 Mai 2021 à 19:06:22
Citation de: halesk2k le 17 Mai 2021 à 02:33:50
Si tu veux vraiment t'amuser, je te conseils de regarder du coté de Grafana avec un backend Graphite pour la base, puis des outils comme collectd ou des script maison pour alimenter la base. Tu peux fais des trucs vraiment sympa.


Pour la consommation électrique il faut installer une carte sur son compteur Linky non ?
Titre: Re : Supervision Liaison K-Net (14)
Posté par: bOLEMO le 17 Mai 2021 à 19:42:25
Bon, j'ai OpenHAB avec plein de choses sympa pour la domotique, mais je ne vais parler que de la supervision Covage/K-Net.

Pour l'instant, je n'utilise chez moi qu'un seul docker avec smokeping avec quelques sondes en plus perso.
Je sonde avec fping ou traceroute selon, les différents routeurs Covage/K-Net de la collecte, les serveurs/routeurs de l'AS de K-Net (Kwaoo), quelques serveurs chez K-Net (TV, phone, cloud...), les différents relais/serveurs DNS que j'utilise (local et distants).
Après, j'ai créé une sonde smokeping pour mesurer le Rx Power de l'ONT.
Dans les sondes perso, j'en ai qui vont utiliser le routeur pour faire en ssh le  fping ou traceroute depuis le routeur (qui ne gère pas smokeping en local).

A un moment, je compte passer à un système basé sur Grafana, utilisant les données de smokeping (ou équivalent), et sortir mes sondes perso (ONT) pour alimenter directement Grafana. Mais je n'ai pas trouvé le temps, car il y a beaucoup à lire, apprendre, configurer, etc...

Sinon, de l'extérieur, j'utilise betteruptime, et j'ai toujours uptimerobot.

Voilà. Pas encore eu le temps de regarder en détail les trésors présentés par de noe77
Titre: Re : Re : Supervision Liaison K-Net (14)
Posté par: noe77 le 17 Mai 2021 à 20:51:34
Citation de: bOLEMO le 17 Mai 2021 à 19:42:25
Bon, j'ai OpenHAB avec plein de choses sympa pour la domotique, mais je ne vais parler que de la supervision Covage/K-Net.


Merci  ;)  j'ai opté pour HomeBrige (via Docker également) afin de compléter mon installation HomeKit.
Titre: Re : Supervision Liaison K-Net (14)
Posté par: enthanal le 18 Mai 2021 à 08:56:01
Dans un autre fil, un peu perdu au milieu des autres trucs c'est certain, on a eu une discussion avec un autre membre et je me suis basé sur son code de monitoring pour faire le mien.

En gros (il faudrait que je prenne un peu le temps de mettre ca au propre):
- docker sur un synology 4 coeurs
- docker compose pour demarrer plusieurs docker container:
    - prometheus
    - grafana
    - node_exporter
    - blackbox_exporter
    - speedtest_exporter
    - sonos_exporter (perso)

Ca monitore a la fois mon reseau local, et 1 sonde https sur google (on peut en faire autant qu'on veut).
+ speetest toutes les 3h

A coté de ca, j'ai uptimerobot qui regarde mon IP externe et m'averti par email.

pour le moment ca me suffit.
Titre: Re : Re : Re : Supervision Liaison K-Net (14)
Posté par: Minekura le 19 Mai 2021 à 10:04:47
Citation de: noe77 le 17 Mai 2021 à 19:06:22
Citation de: halesk2k le 17 Mai 2021 à 02:33:50
Si tu veux vraiment t'amuser, je te conseils de regarder du coté de Grafana avec un backend Graphite pour la base, puis des outils comme collectd ou des script maison pour alimenter la base. Tu peux fais des trucs vraiment sympa.


Pour la consommation électrique il faut installer une carte sur son compteur Linky non ?

Hello, même question  ??? Comment faire pour récupérer toutes ses données depuis le Linky ? Via une pince à induction ?

Merci d'avance :)
Titre: Re : Supervision Liaison K-Net (14)
Posté par: enthanal le 19 Mai 2021 à 10:58:36
Ca depend les modeles de linky mais il me semble qu'il y a un connecteur dessus qui te permet de recuperer les infos.
En general les mec mettent un raspberry avec la bonne carte et un script qui tourne et transforme les données txt recues en quelque chose de lisible/parsable.

Il y a pas mal de tutos sur le net. Perso j'ai pas encore pris le temps de le faire et franchement y'a pas masse d'info. mais ca permet de tout avoir au meme endroit plutot que d'aller sur le site d'engie...
Titre: Re : Supervision Liaison K-Net (14)
Posté par: pipouk le 19 Mai 2021 à 11:20:58
Salut,
Sur le compteur Linky ou meme les anciens (pas trop quand même) tu as deux bornes, une nommée I1 et l'autre I2. Il suffit de raccorder dessus un module et tu récupère les datas par USB avec par ex un Raspberry. C'est ce que j'ai mis en place chez moi, module Téléinfo vers USB raccordé à mon rapsberry et après c'est un plugin Jeedom qui traite les données. Le format est normalisé, tu peux très bien récupérer les trames avec un arduino et les exploiter par la suite.

Titre: Re : Supervision Liaison K-Net (14)
Posté par: Minekura le 24 Mai 2021 à 09:43:33
Hello,

Merci pour vos réponses !
Titre: Re : Supervision Liaison K-Net (14)
Posté par: halesk2k le 24 Mai 2021 à 10:34:20
Comme dit précédemment, il y a deux connecteurs sur les Linky (et sur tous les modèles numériques) qui annonce environ 1 fois par seconde les valeurs internes du compteur. C'est une simple communication série qu'il est facile de récupérer:
- Si tu fais un peu d'électronique, c'est un simple optocoupleur que tu peux brancher "directement" sur un port série d'un Rpi par exemple.
- Si tu veux pas t'embêter, il existe des boitiers avec l'optocoupleur et une puce serie USB<=>Serie, qui se branche donc en USB: https://www.amazon.fr/Modem-T (https://www.amazon.fr/Modem-T)éléinformation-EDF-1-compteur/dp/B01DLBVN3M

Avec ca, tu peux donc lire les données du Linky. Il faut ensuite coder un peu pour récupérer les informations de façon automatique, et les stocker, pour enfin pouvoir les consulter.

Ce que j'ai fait chez moi:
- J'ai pris l'option 2/, le boitier tout prêt sur Amazon.
- Un rpi-zero-W (Raspberry Pi zero Wifi)
- Pour la base de donnée, j'envoie ça dans une base InfluxDB
- J'ai codé un peu pour récupérer les infos du teleinfo et les envoyer dans InfluxDB (code dispo ici: https://github.com/loiklo/teleinfometro/blob/master/teleinfometro.py (https://github.com/loiklo/teleinfometro/blob/master/teleinfometro.py))
- Pour la consultation, Grafana évidement

A noter que j'ai limité au maximum les écritures sur le Rpi:
- Le Rpi tourne avec une carte SD "industrial grade" qui fonctionne un peu comme un SSD en lissant les écritures sur toute la flash (wear leveling)
- J'ai mis pas mal de dossier temporaire en tmpfs
- InfluxDB tourne sur une autre machine avec des vrais SSD, toujours pour ne pas user la carte SD du Rpi (et aussi pour la perf)

Si quelqu'un veut tenter l'aventure pour de vrai, je peux aider, dans la mesure du raisonnable évidement.
Titre: Re : Supervision Liaison K-Net (14)
Posté par: Hugues le 24 Mai 2021 à 10:50:24
Tiens, on a eu la même idée :P

https://pix.milkywan.fr/a842V9TX.png (https://pix.milkywan.fr/a842V9TX.png)
Titre: Re : Re : Supervision Liaison K-Net (14)
Posté par: halesk2k le 24 Mai 2021 à 10:58:58
Citation de: Hugues le 24 Mai 2021 à 10:50:24
Tiens, on a eu la même idée :P

https://pix.milkywan.fr/a842V9TX.png (https://pix.milkywan.fr/a842V9TX.png)

Classe, mais pour être tatillon, il y a une des unités qui n'est pas bonne. L'une d'elle se compte en VA (Volt-Ampere), l'autre se compte en W.h (Watt-Heure) mais se calcul en "volt x ampere x CosFi" car on est sur du courant alternatif.

- Tu mesures ta conso à quel endroit? Linky, prise domotique?
- T'envoie dans quelle tsdb? influx, graphite?

Le script que j'ai fait envoi dans un InfluDB mais j'aime pas du tout, faut que je le refasse pour envoyer ca dans un Graphite qui permet plus de possibilité au niveau du graphing dans Grafana.
Titre: Re : Supervision Liaison K-Net (14)
Posté par: Steph le 24 Mai 2021 à 11:27:03
Pour faire beau  ;)

Puissance apparente : kVA
Puissance instantanée et moyenne (ou active) : kW
Puissance réactive : kVAR
Énergie, consommation : kW.h
Titre: Re : Supervision Liaison K-Net (14)
Posté par: halesk2k le 24 Mai 2021 à 11:33:55
Merci bien, j'ai mis à jour mes graphs :)
Titre: Re : Supervision Liaison K-Net (14)
Posté par: gillejeu le 24 Mai 2021 à 18:06:10
En effet, la puissance apparente (watt) est calculée comme ceci en continu: P=UXI

Mais en alternatif, on ajoute le cosinus ϕ: c'est le cosinus de l'angle de déphasage entre la tension et l'intensité. Explication --> https://www.tecnipass.com/cours-electricite-courant.alternatif-puissance.monophase (https://www.tecnipass.com/cours-electricite-courant.alternatif-puissance.monophase)

En triphasé, le calcul est le suivant: P = U X I X cos ϕ X √3

Voila, c'était la minute de monsieur Cyclopède  ;D
Titre: Re : Re : Re : Supervision Liaison K-Net (14)
Posté par: Hugues le 24 Mai 2021 à 22:10:17
Je mesure via le linky, et je renvoie sur un influx :)

Pour les unités, je regarderai, mais bon je ne crois pas que le Linky mesure le cos phi, donc la puissance apparente sera forcément faussée
Titre: Re : Supervision Liaison K-Net (14)
Posté par: halesk2k le 24 Mai 2021 à 22:20:19
Le Linky donne deux valeurs de conso:

La puissance apparente instantanée en VA => PAPP
L'index totalisateur en Wh => BASE

En prenant 2 points dans le temps et en faisant la différence, on peut savoir combien de kWh on a consommé pendant l'intervalle et donc en déduire une moyenne sur cette intervalle. C'est ce que je fais pour avoir les deux valeurs.

Doc: https://www.enedis.fr/sites/default/files/Enedis-NOI-CPT_54E.pdf (https://www.enedis.fr/sites/default/files/Enedis-NOI-CPT_54E.pdf) (page 15)
Code: https://github.com/loiklo/teleinfometro/blob/master/teleinfometro.py (https://github.com/loiklo/teleinfometro/blob/master/teleinfometro.py) (tout en bas, je récup PAPP et BASE)
Titre: Re : Supervision Liaison K-Net (14)
Posté par: Hugues le 24 Mai 2021 à 22:55:01
C'est ce que je fais aussi ;)