feat(discord): integrate alerts and deploy notifications

- Add discord_webhook_alerts and discord_webhook_deploys to vault + main.yml - AlertManager: send alerts to both Telegram and Discord #alerts channel - Forgejo: auto-create Discord webhook on repo pushes → #deploys channel Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-03-26 04:58:12 +07:00 · 2026-03-26 04:58:12 +07:00 · d83ead2cbe
commit d83ead2cbe
parent a620bb381c
4 changed files with 167 additions and 107 deletions
--- a/inventory/group_vars/all/main.yml
+++ b/inventory/group_vars/all/main.yml
@ -42,6 +42,8 @@ outline_utils_secret:             "{{ vault_outline_utils_secret }}"
 outline_db_password:              "{{ vault_outline_db_password }}"
 n8n_encryption_key:               "{{ vault_n8n_encryption_key }}"
 n8n_jwt_secret:                   "{{ vault_n8n_jwt_secret }}"
+discord_webhook_alerts:           "{{ vault_discord_webhook_alerts }}"
+discord_webhook_deploys:          "{{ vault_discord_webhook_deploys }}"

 # Server IPs (used for cross-server Traefik routing)
 ip_main:  "87.249.49.32"
--- a/inventory/group_vars/all/vault.yml
+++ b/inventory/group_vars/all/vault.yml
@ -1,106 +1,122 @@
 $ANSIBLE_VAULT;1.1;AES256
-62303439636364323266353466656530343431326238393630386234356163306338393062373837
-6631373736376131373162333431396461656139623566370a653734356261613164383139336335
-36333863613661306239326634373162666361366630633265613266366562323337666537306363
-6465643139336636650a343230653364343262656436393563656466386530616130643764623832
-33346463373263373135356365633063666631316563643132316262383637643833393230313565
-31356431623762336438373839393938663864313262383230316630633566303638616634316136
-36313135663963333139613036366264643130663332393163303664633636623765623536633562
-35323737376661373835626134633035373830353637353964613061323463333739353933316336
-33383934383235376563333239373833343462376133336439653736313561303866636166653439
-31333366326236316266363966623332323535666439633232386634646362653433646563313265
-64376662316537326133326236396137643635656564346466646334393535633464306633346462
-39363931383066303766626165323561363562386363666134623662386465643237343738656439
-36656363396464316235636339653966313563616166376239346431323433383462623462383737
-30353464393365396138613638336464373862353730623836336365393932396165353339636139
-61356365653966616430643261663864356466646136373236303764616531303061336162626435
-36323732383736623239343835353265303165373865643966383234666334653231396437396433
-36326536343135636135643135646538356465663861303564396330306536656162383032346233
-62333037316439626638373564363033313632333330323939353863396539353534663931386166
-66623762623330613530323136336630306538666663336134636439303433313430316137393163
-61613630393637333762373163376663646561313064353932633263316634656361386432663865
-39333131323837383065663038383362393239306463346338393634326663623538353037373866
-65393736653432393463653339353166343233633635383437356233656634323637376632666362
-35303265623538356464383736396165346234666663356334656436356431343162353337343465
-66323230316636303432343664343236376535646564313434306564666434616663383233323839
-34356635633030653865386264383836646165366238393330613231373939653565663265313165
-31653638343631366562643731666262343532376464316164643262386166663132356330336464
-35663064663532653738653065333864363434643764653466373138626630376330643064323334
-37353033383861333230636565383831353332396239353765666630306664313061326135313732
-37363066393763363939613466333839626563363264383430663238346463663235363732366332
-32646639393036616239663237303430356563656563376133326565313761626331323139646430
-33333832376638653334666531623634393331623663376134653437303438396437666134303635
-62653165306436343732336437333837383562373263653764363931313163356439666664616430
-61303733633135623564626230623932366633396538343636323530663636643738393032366663
-35626134376535623934323565356465363835316466353937646163393966653966376137323535
-65396330616333316231626162643462393662343063336639396166613834343030393435313338
-38323332366235363733366637633635336666363831376339303466396234316462346539656639
-39303836343638373365663539353239616638636639323738373930326237613033656162353133
-36316330353437616332336262643935396637653736363038306137303632653634343562313238
-39616137666639633838666262326239323365643033666234633865626136373165363838343761
-36653438333336613236613061316137333665386536663566623139313232383033303633333661
-64633933303236363335383038346531663230396231653563386465323537613064393064353035
-65396262636437336238366331316136386639333637663764613362306137366362363139316265
-66353938353237303737343263336262656234663034653432613137326232303163656431323263
-31613536643062343635623962653363343031666438636637333030323033303637383239353930
-64353633373033646330343531356132636663336231363733356334633030656539616561373130
-66373338386430613235323733643539653364343438343037366133316635663461353537396361
-36663664663631303762616166303432643633356635306563393237663435393565653164613763
-38663839323538623034323333393038633833303730333865643036663331383838373532316162
-30343531666665373231653737386662633537663733386439653534353264616565653562656464
-65383230656137316536653437316435353339633734616131643564383632373265303533616262
-31346530376166356531663234636265306339356231313765373165643566656231366136323030
-66313037336436373035386364613263353635353263383161646139353934326663623466653431
-63343764313334613137393764623731633065663835393930336434333931643139336166383138
-37393233323464316433636336326233313566303332633731363562633139616638383962366366
-34613737636233306162666239396563323537626332643132383938623532323666626437363066
-30666236353639633930616264393166356561346134333034336335636231333736346331316233
-64333262323230613534646562613930643732323834643530353534613439373937313531623562
-33333632623735613436626366373431613132316633363338343335656266636663326133376330
-32626535306661623138623065366363616162373166303565613861366261316533373764376266
-30383833383133373431316264373335323531303763653636306236396639306539663964623032
-30613037633638346339613638353935383763623534306633623037643333306362653365336438
-32396432376266346137323731643865636264613832366137393963396137333532393538303165
-35343037613338353634656464306131616664323637643035336664363031333166313566316266
-35653438313065373666303539396139386332373061373433333035653262613930303834306633
-66666132383939636535353565626333616332346261346332373566346331646565653835643065
-64336265613137366539613130336435343961663430666239343839633565633939393338373632
-34653434646437393862313535643563623730333435333231343630623331343266623832313263
-34353265656236326635353432643932373231653732616561663938653137373262376432323635
-64643731343730623063313664613139613063616132653232336138363761353833306238663430
-37616463363363333231636530653731663263383838383662616534356430356666653731303266
-65346437383138666338613133336266393235373266643237386639323838306661373532366537
-31343535633235376137346638316363346435663833326165613030336138663439316132663935
-35336433366231653963333630643635346439616165396538616637303364663662643735326430
-62306431643833323432646239383064636132363731626365636337333333666333366339356433
-34336363353866353138663634363936363962646137636163663536333732653965306131636234
-31383866623639636566363731343662346364313366613832313032393965613465303433383738
-35343161316237613932643466366334663963623332633033303534323365386631633131656464
-34636435643366353238633039353930326430336439623661636433663431626463396666343534
-39643263353738313238356635303235353162376436313130613733623665613630336461363464
-35613832393437653033306234333961343863643961363430316438383834636530343761656434
-35623936356430363633386630663736356637343539393864393730616230396662613731313363
-63396562623838306435363761323935656237653262623638346163346331343330633262383432
-36316433373462343137356136323231666330333135343762646165643135643165336331386431
-35396664643138383665366331306133646330633232333830353463353663613533306339343233
-66393363363535656232333661346563623832626136353461663065653564343062643538366533
-32383930646130643066373032393133646664626465653939343564643631326164333864386461
-31323839653737396233646161316235666232613935356336653864636464663430313236613130
-38363839626139366235626530616166383231333730356630616336646638666634396366383831
-62353564343665393736383432633538366162303632656261383933656239383836306665623464
-62303637306534636436386334356233663931633236376162363934636130356364326661663534
-66616633646633336661306333343165363662336461393463643162653633353663633731343265
-34613361643830376232616233643462336266643534326139653865346536366561393539636335
-35663063313463353330653639326335336561663935353539366462306431353531626333633366
-39316133323832363231346635623366323939653739393964643862373930613332663963623965
-37616365363464666434326266656237623232633531386366633037343739343337636364383833
-32613031383561313166643062353036373166633230646331366561383134313063623732333534
-63383432393833313961646133656439656234353638336335373761396637613462646131363130
-33613833326433643933316531396363313436366238636133633531626363396461313933386664
-35363862346235633264386530376337313130376330626631353364363938653538363032633238
-37363965353064373764363961343234626166336139303632633964363064373633393937626363
-33643336373636613162373761343437626338343765313437323734626538643034636165383437
-32636639313334306565343239653037643364396538653434373337336435623464613234633931
-31363163323731363834323635643337633161363539626531626562343839323664636265306138
-37313936323836386131376261346461343438356534616238386337313133663062316437326231
-61613832663732653265633139353431356366363237333436393561623262613836
+34326335653137303761303137326535356639643338363362343739383538646131303665656164
+3532653034633232363963616533386165633735376462610a346662323039643662326133356431
+35376431316639643135306633616531376236343866343731373736653632346465323563303066
+3739636262333937320a653363656365353137616532656266373766353139636437326263333334
+64363039363362396163373066363064653234343933643237353332343165663364643730633837
+62626264643137386130326534623938323163383934343064633637663139363934353064383238
+35383130336366323366656238636363383838623966643537373663303063626439386531663365
+38623539636330383836643230623635356239623030643135633164383132363131643032373131
+32363234666662383264363161386432306265336164383164383262353239306237343638333761
+64636265316337363330313363366233366630343730636132346334313433343939326339623033
+65613531356461633166666337336464346165356266343431646531376563343163386262653864
+37363065396366346263613961393963633732396365303133316637363638373239396239363462
+66373537623330336563613430316531373630623262323665343762643233363764636334373164
+37363264613134396633343138313634653130616232613731393831393730346264333166353834
+38383934323365646239323930343164613134376164336538383535623235323335326233323264
+37353330663032656132623537646165653831623364313664613861333831303633623462663161
+35613035633237666435366137616435633930636364373535336533653363626233373162613839
+61306362343437386637323366373566333366363864616161336666666330613461363239373339
+33616630373038333134356165663662316235396664353739336631333632313462346564333736
+34636462626661363035393862646239663035373561646338613564313039373961613832366261
+64393364623666663535636334393966353236626439373038656636643536376262376463356166
+36616334313830646538383461656636623931656563626236613561323830303731386530363735
+66633864306331653038383634363135346133663564353564633862336235333338323261353961
+32303239303735373939396265306465653935386131323930343265643733663836316239376662
+30323133666131366632633434376430666631626439663235396130636439613835343062646336
+31613038363562323163393765383137386234616334383532613838376533613334336439353037
+30633736616562303565623732316133333461323138653134376331646630356163313563613336
+61373134633363646538643031303863303637336637313733643031366463343631333034666135
+37653236386638326132336635376339343433383033613636656332353230653130363933303734
+38373361363630623137393031356230336237653363303231343034336365373364383937623937
+66643531323161323738323762346137633461373165373736383335313437616239623736323637
+65383432346535336138336230383365616161616666326435326166393638356232646234623539
+61376136663930316437353838303864636331386131393562633836363936356335633164366431
+61346137303236653961633632623862633964376436353162633137353632363836616263333537
+66303561613461613831666466376431343361306463323366613863636263336562356663373033
+61653233333136616433326163363563633631653765363563376665346530393131393664633264
+31643637373161383731386233363463376236373762383539326364336539366234653265313666
+33333931326430386364363833306666356339663561383237623861343164333133336264653932
+66333664636237303661313533383666363363346465616261666633626338653264653835623633
+31633534366265386335386633653031323863333064323135626332356161336131373463313064
+34326439626430663435663131656136663833663631376430626332336436366263376364383533
+39643735633237613962643530343865636466346538643338383432323033613231616164356637
+31393935613234376439326539383035636632646431396234376237376664626532323232313765
+39396533303266323736326538363462393933326634313430623362346634616433636238343037
+30313031363533643361333536623733633238393463373566643731373736663762396631623631
+39663766393130613831363565396331383539646266363233633836646534656538656239383832
+66653265666537316431666137636531353830636265343039333537303364363337326334316664
+65646432316434393636663866666431663538343437666165353163306230323461316131363435
+38623765643861343861313939303535623739313031316665303537373639333664316131643335
+35396335616366323062343437383861326464646530323363303930633962313563663631623737
+37663564353539616430383433313564666432316539336130386439613437306565396466376334
+36366539393032356165663438356366316130666466366134633839383831663537663231666538
+33303235336165646235386235663532303038363061333366346665663533363266633564333266
+64313133666261313662663336313665386162656230616434333338333864653437313733333564
+38643533326638656131316239326537636331366163306131333063373861643439633332303466
+63303233633364336263653030333862323630313439613365346166313030656539376266306263
+61316234646435306131633132343163386234363536353034336434396665656139333761656466
+66643633613761616661623038643739353934636532386133306165633365373833396230633663
+30313763316634336362633532363162383037636234666339363937323361363734326438653561
+34393933366235353961613965646661343932383836373565613964376432623231633738376433
+33333833386364373532396533653165336266626530616234323464346362306433393435373561
+61663735323434316234356164393239323366313538313635646265396330346638663863633565
+62353866663437646163626232396661393964366337323433333639343537663430373436366237
+35386432343966643566343430306231333766383661613934346564353837336266656431396136
+37383834353164333031376161303039343361626131646366393266666163363738376236356139
+35666466616432636438346636653132333466333162653031656564326534306265366639663763
+33373536633363366662396465333561653136353561363439333463393336323063373139336238
+39316330383535613335356434343239333332653730616662636663656532363861313364663966
+63643663336336643766396235313335303535656363306632656637393132373437383734316333
+63356230636234613231393833303439616236363162623065336434366333303663343930613562
+33656135383566653637336138626234313336356363656534333131613962373933666133323161
+66313261386265643338616365313836373135303861623439353862326438333238653162393261
+36383032663038396632663665323339323862643036666531356534353339656337636132353263
+39333233626161316533386636356235623634333536616464393832646134386264313935316163
+30383066616264393365386432393735353835613530353130366633306231376133363839383663
+36363338643765333962363563343038646430623330633930393839393566336538613137313365
+39633030643561666237356165303636663139336530363437336530373066643662666466613839
+39343661323164636332393761323765373765643261326333386634303034316237353839306531
+30643966313537643333366436626230306134646430313061656436653432633165646630346131
+36646563303166656565343463613932303630323333333934613835353539366333323631666237
+66373164323636626466646566356162643430376565326433666335346666303666633863633066
+64396161633935376130303238616236316561666634656434303836616266316664353137353138
+30396337313665313262303134313239613431313961383334333861623830623566653563373935
+30623035333335616638343631313563633439656435666362396363376630353762303466383132
+34333734323931656235323564383937393964663565353133343830313863643138356536633935
+36393763383633343738653630653434633561386134323438346139366331626236626531323437
+31636535633963663537396330333932353938356464316161663863643932303762306633393231
+61663635666636643930393564666638313730303731616463666464653866613365323335353334
+62303232373131393864366235396538646562633131326232333533633863333038643238343562
+37316539306162656437366534386433376564616339313363326237343939386533313135306631
+37353762306362633664653662326365623366303830616566623537646538646537373464646261
+65613238386363363362643562333236623332613162343062373737316661326132393438613866
+36626261396366353232346664616439663066303938353561623561663335316535646634663730
+32303631633433633930663165666565366362323736306431393934316462376535393066363465
+64643865663131616239343062373139333133366131623464613039633139336165373531373631
+31636239353266666262373035626637663133623534393662313832303131666435613564613966
+37306139656261316631366463343630373464383831376561366236353337333366346265323364
+61396439393030326563663364633637623165333833316435373530643635343133633737333134
+65643561643361326365646162356631333962636635383238313936646639353936333765373436
+39383337313261363432333731623533393539663638366536646332323562333430383563376530
+32303333646265333765323334386637663761396233373036613361666263376466303665303730
+35643532306538356538343062333138623961313262343437633763386465616563633132663761
+32386261353634356637383638653263393239656533643437326335376633663735356264663962
+32656431353234356233323134663161316137643433373365663930656236623762326136663530
+35633462613432363639343535636635613762613166306436336630313131663839393365363563
+36363430636366656234383161353132346662313364316463383337363636613234373662303038
+35323636663934373532333737623737623833346461663863663164333362326466383463373638
+63343136356130613834356332623562393336643063633338393234343639626334383136363761
+35316264306534653661313038393138343233656137303934303038313062663835653034393333
+61633639323063326565373363636130613634633264333766633261616261613965653166346234
+36386662356130373765393436393263303961336136613033393638386232396237653135613865
+30646335633466356463656663336664323133623734666338623138653564613065626435633038
+66366131313133346463323339353162316134303262623436383534346563353337626337396566
+62663432336466336132663732373034333863366435366638666666613535623465303334306235
+65313665653664653233633638653433336239356361363436613737613233313565653034643030
+39633930323239326635363439616232363532353865393434663366326662316136656136613436
+31653038653666303532383962653136306537333935323862633964363936366231633533383262
+64663265613033323631376537383861306166366163353665363236333363336536353761393633
+62303630633161623932346465653663346463376637326337646630656165386661643462363734
+62626130613632316135376539383032356338626638666364363132363461356131653338373433
+64633636333164636139666361346330633463646566666261666139323534303537
--- a/roles/services/tasks/main.yml
+++ b/roles/services/tasks/main.yml
@ -76,3 +76,35 @@
  retries: 5
  delay: 10
  until: minio_bucket.rc == 0
+
+# ── Forgejo Discord webhook (deploys → #deploys channel) ─────────────────────
+- name: Check if Forgejo Discord webhook already exists
+  ansible.builtin.uri:
+    url: "https://{{ domain_git }}/api/v1/repos/jack/infra/hooks"
+    method: GET
+    headers:
+      Authorization: "token {{ forgejo_runner_token }}"
+    status_code: 200
+  register: forgejo_hooks
+  failed_when: false
+  changed_when: false
+
+- name: Create Forgejo Discord webhook for deploys
+  ansible.builtin.uri:
+    url: "https://{{ domain_git }}/api/v1/repos/jack/infra/hooks"
+    method: POST
+    headers:
+      Authorization: "token {{ forgejo_runner_token }}"
+      Content-Type: "application/json"
+    body_format: json
+    body:
+      type: "discord"
+      config:
+        url: "{{ discord_webhook_deploys }}"
+        content_type: "json"
+      events: ["push", "create"]
+      active: true
+    status_code: 201
+  when: >
+    forgejo_hooks.status == 200 and
+    (forgejo_hooks.json | selectattr('type', 'eq', 'discord') | list | length == 0)
--- a/roles/services/templates/prometheus/alertmanager.yml.j2
+++ b/roles/services/templates/prometheus/alertmanager.yml.j2
@ -7,10 +7,10 @@ route:
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
-  receiver: telegram
+  receiver: all

 receivers:
-  - name: telegram
+  - name: all
    telegram_configs:
      - bot_token: "{{ alertmanager_telegram_token }}"
        chat_id: {{ alertmanager_telegram_chat_id }}
@ -21,6 +21,16 @@ receivers:
          {{ '{{' }} .Annotations.description {{ '}}' }}
          {{ '{{' }} end {{ '}}' }}
        parse_mode: Markdown
+    discord_configs:
+      - webhook_url: "{{ discord_webhook_alerts }}"
+        title: >-
+          {{ '{{' }} if eq (index .Alerts 0).Status "firing" {{ '}}' }}🔴 Alert{{ '{{' }} else {{ '}}' }}🟢 Resolved{{ '{{' }} end {{ '}}' }}
+        message: |
+          {{ '{{' }} range .Alerts {{ '}}' }}
+          **{{ '{{' }} .Labels.alertname {{ '}}' }}**
+          {{ '{{' }} .Annotations.summary {{ '}}' }}
+          {{ '{{' }} .Annotations.description {{ '}}' }}
+          {{ '{{' }} end {{ '}}' }}

 inhibit_rules:
  - source_matchers: [severity="critical"]