modules/erl/euphorik_bd_admin.erl

   1 % coding: utf-8
   2 % Copyright 2008 Grégory Burri
   3 %
   4 % This file is part of Euphorik.
   5 %
   6 % Euphorik is free software: you can redistribute it and/or modify
   7 % it under the terms of the GNU General Public License as published by
   8 % the Free Software Foundation, either version 3 of the License, or
   9 % (at your option) any later version.
  10 %
  11 % Euphorik is distributed in the hope that it will be useful,
  12 % but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 % MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 % GNU General Public License for more details.
  15 %
  16 % You should have received a copy of the GNU General Public License
  17 % along with Euphorik.  If not, see <http://www.gnu.org/licenses/>.
  18 %
  19 % Module mettant à disposition tout un tas de fonction pour l'administration de la base de données euphorik comme :
  20 %  - Création de la BD
  21 %  - Mise à jour de la BD
  22 %  - Backup et restauration
  23 %  - Copie de la BD à partir d'un autre noeud
  24 %
  25 % @author G.Burri
  26
  27
  28 -module(euphorik_bd_admin).
  29 -export([
  30    version_bd/0,
  31    create/0,
  32    connect/0,
  33    connect/1,
  34    reset/0,
  35    update/0,
  36
  37    backup/1,
  38    restore/1,
  39    change_node_name/4,
  40
  41    toggle_ek_master/1,
  42    print_users/0,
  43    print_users/1,
  44    print_user/1
  45 ]).
  46 -import(qlc, [e/2, q/1, cursor/2]).
  47 -include("../include/euphorik_bd.hrl").
  48 -include("../include/euphorik_defines.hrl").
  49 -include_lib("stdlib/include/qlc.hrl").
  50
  51
  52 % Renvoie la version courante de la BD.
  53 version_bd() ->
  54    euphorik_bd:resultat_transaction(mnesia:transaction(
  55       fun() ->
  56          mnesia:read({proprietes, version})
  57       end
  58    )).
  59
  60
  61 % Instructions pour créer une nouvelle base :
  62 % $erl -sname yaws -mnesia dir '"/projets/euphorik/BD"'
  63 % voir doc/installation.txt
  64 % >l(euphorik_bd).
  65 % >euphorik_bd:create().
  66 create() ->
  67    mnesia:stop(),
  68    mnesia:delete_schema([node()]),
  69    mnesia:create_schema([node()]), % nécessaire pour les tables sur disc
  70    mnesia:start(),
  71    create_tables(),
  72    reset().
  73
  74 create_tables() ->
  75    mnesia:create_table(counter, [
  76       {attributes, record_info(fields, counter)},
  77       {disc_copies, [node()]}
  78    ]),
  79    mnesia:create_table(proprietes, [
  80       {attributes, record_info(fields, proprietes)},
  81       {disc_copies, [node()]}
  82    ]),
  83    mnesia:create_table(texte, [
  84       {attributes, record_info(fields, texte)},
  85       {disc_copies, [node()]}
  86    ]),
  87    mnesia:create_table(minichat, [
  88       {type, ordered_set},
  89       {attributes, record_info(fields, minichat)},
  90       {disc_copies, [node()]}
  91    ]),
  92    mnesia:create_table(reponse_minichat, [
  93       {type, bag},
  94       {attributes, record_info(fields, reponse_minichat)},
  95       {disc_copies, [node()]}
  96    ]),
  97    mnesia:create_table(user, [
  98       {attributes, record_info(fields, user)},
  99       {disc_copies, [node()]}
 100    ]),
 101    mnesia:create_table(ip_table, [
 102       {attributes, record_info(fields, ip_table)},
 103       {disc_copies, [node()]}
 104    ]),
 105    mnesia:create_table(troll, [
 106       {attributes, record_info(fields, troll)},
 107       {disc_copies, [node()]}
 108    ]),
 109    creer_indexes().
 110
 111
 112 % mis à part car lors de la reprise de données avec load_textfile les indexes ne sont pas recréés
 113 creer_indexes() ->
 114    % commence par supprimer les anciens indexes
 115    lists:foreach(fun(T) ->
 116          lists:foreach(fun(P) ->
 117                mnesia:del_table_index(T, P)
 118             end,
 119             mnesia:table_info(T, index)
 120          )
 121       end,
 122       ?TABLES
 123    ),
 124    mnesia:add_table_index(minichat, auteur_id),
 125    mnesia:add_table_index(reponse_minichat, cible),
 126    mnesia:add_table_index(user, cookie),
 127    mnesia:add_table_index(user, login),
 128    mnesia:add_table_index(troll, date_post),
 129    mnesia:add_table_index(troll, id_minichat).
 130
 131
 132 % Connexion à la base de données de yaws sur overnux
 133 connect() ->
 134    connect(yaws@flynux).
 135 connect(Node) ->
 136    mnesia:start(),
 137    mnesia:change_config(extra_db_nodes, [Node]).
 138
 139
 140 % Efface toutes les données de la base de données.
 141 reset() ->
 142    mnesia:clear_table(counter),
 143    mnesia:clear_table(proprietes),
 144    mnesia:clear_table(texte),
 145    mnesia:clear_table(user),
 146    mnesia:clear_table(reponse_minichat),
 147    mnesia:clear_table(minichat),
 148    mnesia:clear_table(troll),
 149    mnesia:clear_table(ip_table),
 150    % crée l'utilisateur root
 151    mnesia:transaction(fun() ->
 152       mnesia:write(#proprietes{nom = version, valeur = ?VERSION_BD}),
 153       User = #user{id = 0, profile = #profile{pseudo = "Sys"}, login = "Sys", date_creation = now(), date_derniere_connexion = now(), ek_master = true},
 154       mnesia:write(User),
 155       User
 156    end),
 157    peupler_texte().
 158
 159
 160 peupler_texte() ->
 161    mnesia:transaction(fun() ->
 162       mnesia:write(#texte{ id = 10, fr = "Login déjà existant"}),
 163       mnesia:write(#texte{ id = 20, fr = "Trop de register (flood)"}),
 164       mnesia:write(#texte{ id = 30, fr = "Couple login/pass introuvable"}),
 165       mnesia:write(#texte{ id = 40, fr = "Authentification impossible par cookie"}),
 166       mnesia:write(#texte{ id = 50, fr = "Impossible de mettre à jour le profile"}),
 167       mnesia:write(#texte{ id = 60, fr = "timeout"}),
 168       mnesia:write(#texte{ id = 70, fr = "Page inconnue"}),
 169       mnesia:write(#texte{ id = 80, fr = "Vous êtes banni pour encore ~s"}),
 170       mnesia:write(#texte{ id = 90, fr = "Message vide"}),
 171       mnesia:write(#texte{ id = 100, fr = "Impossible d'ajouter un nouveau message. Raison : ~s"}),
 172       mnesia:write(#texte{ id = 110, fr = "Utilisateur inconnu"}),
 173       mnesia:write(#texte{ id = 120, fr = "Il n'est pas possible de s'auto bannir"}),
 174       mnesia:write(#texte{ id = 130, fr = "L'utilisateur est lui même un ekMaster"}),
 175       mnesia:write(#texte{ id = 140, fr = "Utilisateur à bannir inconnu"}),
 176       mnesia:write(#texte{ id = 150, fr = "Utilisateur inconnu ou non ek master"}),
 177       mnesia:write(#texte{ id = 160, fr = "Utilisateur à slaper inconnu"}),
 178       mnesia:write(#texte{ id = 170, fr = "Utilisateur inconnu ou non ek master"}),
 179       mnesia:write(#texte{ id = 180, fr = "Le nombre de troll maximum par utilisateur est atteint : ~w "}),
 180       mnesia:write(#texte{ id = 190, fr = "Le nombre de troll maximum en attente est atteint : ~w "}),
 181       mnesia:write(#texte{ id = 200, fr = "Seul les ekMaster peuvent proposer des trolls"}),
 182       mnesia:write(#texte{ id = 210, fr = "Vous ne posséder pas ce troll"}),
 183       mnesia:write(#texte{ id = 220, fr = "Seul les ekMaster peuvent proposer des trolls"}),
 184       mnesia:write(#texte{ id = 230, fr = "Seul les ekMaster peuvent connaitre la liste des ips bannies"})
 185    end).
 186
 187
 188 % Met à jour la bd, compare ?VERSION_BD avec la version dans la table 'proprietes'
 189 % et exécute les patchs nécessaires.
 190 update() ->
 191    case mnesia:dirty_read({proprietes, version}) of
 192       [#proprietes{valeur = Version}] ->
 193          update(Version);
 194       _ ->
 195          erreur
 196    end.
 197
 198
 199 % Mise à jour de la BD.
 200 % attention : il est nécessaire de se trouver dans une transaction.
 201 update(?VERSION_BD) -> fini;
 202 update(Version) ->
 203    case mnesia:backup(fichier_backup(Version)) of
 204       ok ->
 205          case patch(Version) of
 206             ok ->
 207                mnesia:dirty_write(#proprietes{nom = version, valeur = Version + 1}),
 208                update(Version + 1);
 209             Erreur ->
 210                Erreur
 211          end;
 212       {error, Raison} -> {error, lists:flatten(io_lib:format("Erreur de création du backup de la version ~w : ~w", [Version, Raison]))}
 213    end.
 214
 215
 216 % Applique une modification de la BD pour passer d'une version à la suivante.
 217 % crée un backup avant l'application du patch
 218 % dans BD/backups nommé "backup<num>" où <num> et le numéro de la version.
 219 % 1 -> 2
 220 patch(1) ->
 221    % Prend un chemin vers la feuille de style de type "css/1/euphorik.css"
 222    % et renvoie "styles/1/euphorik.css"
 223    Transforme_css = fun("css" ++ Reste) ->
 224          "styles" ++ Reste;
 225          (F) -> F
 226    end,
 227    Traiter_message = fun(M, Racine) ->
 228       F = fun(F, M2) -> % seul moyen à ma connaissance pour faire de la récursion dans une lambda fonction, voir : http://www.nabble.com/Auto-generated-functions-td15279499.html
 229          % met à jour la racine de chaque message qui répond à M
 230          lists:foreach(
 231             fun(M3) ->
 232                mnesia:write(M2#minichat{racine_id = Racine}),
 233                F(F, M3)
 234             end,
 235             euphorik_bd:enfants(M#minichat.id)
 236          )
 237       end,
 238       F(F, M)
 239    end,
 240    % Prend un chemin vers la feuille de style de type "css/1/euphorik.css"
 241    % et renvoie "styles/1/euphorik.css"
 242    Transforme_css = fun("css" ++ Reste) ->
 243          "styles" ++ Reste;
 244          (F) -> F
 245    end,
 246    Traiter_message = fun(M, Racine) ->
 247       F = fun(F, M2) -> % seul moyen à ma connaissance pour faire de la récursion dans une lambda fonction, voir : http://www.nabble.com/Auto-generated-functions-td15279499.html
 248          % met à jour la racine de chaque message qui répond à M
 249          lists:foreach(
 250             fun(M3) ->
 251                mnesia:write(M2#minichat{racine_id = Racine}),
 252                F(F, M3)
 253             end,
 254             euphorik_bd:enfants(M#minichat.id)
 255          )
 256       end,
 257       F(F, M)
 258    end,
 259    mnesia:create_table(texte, [
 260       {attributes, record_info(fields, texte)},
 261       {disc_copies, [node()]}
 262    ]),
 263    peupler_texte(),
 264    % traitement des users
 265    mnesia:transform_table(
 266       user,
 267       fun({user, Id, Cookie, Pseudo, Login, Password, Email, Date_creation, Date_derniere_connexion, Css, Nick_format, View_times, View_tooltips, Indice_flood, _Page_principale, Conversations, Ek_master, Last_ip}) ->
 268             {user, Id, Cookie, Login, Password, {profile, Pseudo, Email, Transforme_css(Css), Nick_format, View_times, View_tooltips, light, reverse, lists:map(fun({R, _}) -> {R, false} end, Conversations)}, Date_creation, Date_derniere_connexion, Indice_flood, Ek_master, Last_ip}
 269       end,
 270       record_info(fields, user)
 271    ),
 272    mnesia:transform_table(
 273       minichat,
 274       fun({minichat, Id, Auteur_id, Date, Pseudo, Contenu, Troll_id}) ->
 275             {minichat, Id, Auteur_id, Date, Pseudo, Contenu, Troll_id, Id}
 276       end,
 277       record_info(fields, minichat)
 278    ),
 279    case mnesia:transaction(
 280       fun() ->
 281          % met à jour les enfants des racines
 282          % idéalement : utiliser un cursor mais je crois qu'il n'est pas possible de faire des modifs en itérant en même temps avec un cursor, a voir..
 283          Messages = e(q([M || M <- mnesia:table(minichat), euphorik_bd:parents(M#minichat.id) =:= []]), [{tmpdir, ?KEY_SORT_TEMP_DIR}]),
 284          lists:foreach(fun(M) -> Traiter_message(M, M#minichat.id) end, Messages)
 285       end
 286    ) of
 287       {aborted, Raison} -> {erreur, Raison};
 288       {atomic, _} -> ok
 289    end;
 290 % 2 -> 3
 291 patch(2) ->
 292    mnesia:transform_table(
 293       troll,
 294       fun({troll, Id_troll, Id_user, Date_create, Date_post, Content}) ->
 295          % recherche le message associé s'il existe
 296          Id_minichat = case e(q([M || M <- mnesia:table(minichat), element(7, M) =:= Id_troll]), [{tmpdir, ?KEY_SORT_TEMP_DIR}]) of
 297             [M] -> element(2, M);
 298             _ -> undefined
 299          end,
 300          {troll, Id_troll, Id_user, Id_minichat, Date_create, Date_post, Content}
 301       end,
 302       record_info(fields, troll)
 303    ),
 304    %mnesia:del_table_index(minichat, troll_id),
 305    mnesia:transform_table(
 306       minichat,
 307       fun({minichat, Id, Auteur_id, Date, Pseudo, Contenu, _Troll_id, Racine_id}) ->
 308          {minichat, Id, Auteur_id, Date, Pseudo, Contenu, Racine_id, normal}
 309       end,
 310       record_info(fields, minichat)
 311    ),
 312    mnesia:transaction(fun() ->
 313       % comble les trous entre les id non-contigues
 314       lists:foreach(fun(Id) ->
 315             case mnesia:read({minichat, Id}) of
 316                [] ->
 317                   {ok, #user{profile = Profile}} = euphorik_bd:user_by_id(0),
 318                   mnesia:write(#minichat{id = Id, auteur_id = 0, date = undefined, pseudo = Profile#profile.pseudo, contenu = "Comblement...", racine_id = Id, status = deleted});
 319                _ -> rien
 320             end
 321          end,
 322          lists:seq(1, mnesia:table_info(minichat, size))
 323       ),
 324       % la table troll utilise maintenant son index et pas celui de la table minichat (correction d'un vieux bug)
 325       mnesia:write(#counter{key = troll, value = mnesia:table_info(minichat, size)})
 326    end),
 327    creer_indexes(). % uniquement pour l'indice sur id_minichat de la table troll
 328
 329
 330 % Renvoie le dossier dans lequel les backups sont effectué, ce dossier doit être en écriture.
 331 dossier_backups() ->
 332    mnesia:system_info(directory) ++ "/backups/".
 333
 334
 335 % Renvoie le fichier (avec le chemin) correspondant à la version Version, par exemple : "/var/euphorik/BD/backups/backup1"
 336 fichier_backup(Version) when is_integer(Version) ->
 337    dossier_backups() ++ "backup" ++ integer_to_list(Version).
 338
 339
 340 % crée un backup dont le nom est fournit dans le repertoire backups qui se trouve dans le repertoire de la BD.
 341 backup(Fichier) ->
 342    mnesia:backup(dossier_backups() ++ Fichier).
 343
 344
 345 % Restaure un backup de la BD.
 346 restore(Fichier) when is_list(Fichier) ->
 347    mnesia:restore(dossier_backups() ++ Fichier, []);
 348 % Reviens à une version précédente de la base de données.
 349 % (les données insérées durant les versions plus récentes sont perdues).
 350 restore(Version) when is_integer(Version) ->
 351    mnesia:restore(fichier_backup(Version), []). % [{default_op, recreate_tables}]).
 352
 353
 354 % Change le nom du noeud d'un backup.
 355 % provient d'ici : http://www.erlang.org/doc/apps/mnesia/Mnesia_chap7.html#6.9
 356 % From : l'ancien nom
 357 % To : le nouveau nom
 358 % Source : le nom du fichier de backup
 359 % Target : le nom du fichier du nouveau backup
 360 change_node_name(From, To, Source, Target) ->
 361     Switch =
 362         fun(Node) when Node == From -> To;
 363            (Node) when Node == To -> throw({error, already_exists});
 364            (Node) -> Node
 365         end,
 366     Convert =
 367         fun({schema, db_nodes, Nodes}, Acc) ->
 368                 {[{schema, db_nodes, lists:map(Switch,Nodes)}], Acc};
 369            ({schema, version, Version}, Acc) ->
 370                 {[{schema, version, Version}], Acc};
 371            ({schema, cookie, Cookie}, Acc) ->
 372                 {[{schema, cookie, Cookie}], Acc};
 373            ({schema, Tab, CreateList}, Acc) ->
 374                 Keys = [ram_copies, disc_copies, disc_only_copies],
 375                 OptSwitch =
 376                     fun({Key, Val}) ->
 377                             case lists:member(Key, Keys) of
 378                                 true -> {Key, lists:map(Switch, Val)};
 379                                 false-> {Key, Val}
 380                             end
 381                     end,
 382                 {[{schema, Tab, lists:map(OptSwitch, CreateList)}], Acc};
 383            (Other, Acc) ->
 384                 {[Other], Acc}
 385         end,
 386     mnesia:traverse_backup(Source, Target, Convert, switched).
 387
 388
 389 % Obsolète
 390 %~ backup_text(File) ->
 391    %~ mnesia:dump_to_textfile(File).
 392 %~ restore_text(File) ->
 393    %~ mnesia:stop(),
 394    %~ mnesia:delete_schema([node()]),
 395    %~ mnesia:start(),
 396    %~ create_tables(),
 397    %~ case mnesia:load_textfile(File) of
 398       %~ {atomic, ok} ->
 399          %~ update(),
 400          %~ creer_indexes();
 401       %~ Erreur ->
 402          %~ Erreur
 403    %~ end.
 404
 405
 406 toggle_ek_master(User_id) ->
 407    euphorik_bd:resultat_transaction(mnesia:transaction(
 408       fun() ->
 409          Users = e(q([E || E <- mnesia:table(user), E#user.id =:= User_id]), [{tmpdir, ?KEY_SORT_TEMP_DIR}]),
 410          case Users of
 411             [User] ->
 412                mnesia:write(User#user{ek_master = not User#user.ek_master});
 413             _ -> erreur
 414          end
 415       end
 416    )).
 417
 418
 419 % Affiche N user trié par leur date de dernière connexion.
 420 % Opt est une liste d'option d'affichage :
 421 %  * ekmaster : n'affiche que les admins
 422 print_users(N, Opt) ->
 423    AfficheQueLesEkMaster = lists:any(fun(O) -> O =:= ekmaster end, Opt),
 424    euphorik_bd:resultat_transaction(mnesia:transaction(fun() ->
 425       C = cursor(
 426          qlc:keysort(
 427             #user.date_derniere_connexion,
 428             if AfficheQueLesEkMaster ->
 429                q([E || E <- mnesia:table(user), E#user.ek_master =:= true]);
 430             true ->
 431                q([E || E <- mnesia:table(user)])
 432             end,
 433             [{order, descending}]
 434          ),
 435          [{tmpdir, ?KEY_SORT_TEMP_DIR}]
 436       ),
 437       Users = qlc:next_answers(C, N),
 438       lists:foreach(
 439          fun(U) ->
 440             print_user(U)
 441          end,
 442          Users
 443       ),
 444       qlc:delete_cursor(C)
 445    end)).
 446
 447
 448 % Affiche tous les users.
 449 print_users(Opt) ->
 450    print_users(all_remaining, Opt).
 451
 452 % Affiche tous les users.
 453 print_users() ->
 454    print_users(all_remaining, []).
 455
 456 print_user(User) when is_record(User, user) ->
 457    #user{id = Id, profile = #profile{pseudo = Pseudo}, login = Login, ek_master = Ek_master, date_derniere_connexion = Date, last_ip = IP} = User,
 458    {{Annee, Mois, Jour}, {Heure, Min, _}} = calendar:now_to_local_time(Date),
 459    io:format(
 460       % id        pseudo     (login)        IP  Jour  Mois   Année  Heure Minute
 461       "~4w : ~10.10..s(~10.10..s) ~s ~2w.~2.2.0w.~w - ~2wh~2.2.0w~n",
 462       [
 463          Id,
 464          if Ek_master -> "*"; true -> "" end ++ Pseudo,
 465          Login,
 466          euphorik_common:serialize_ip(IP),
 467          Jour, Mois, Annee, Heure, Min
 468       ]
 469    );
 470 % Affichage d'un user en fonction de son login
 471 print_user(Login) when is_list(Login) ->
 472    case euphorik_bd:user_by_login(Login) of
 473       {ok, User} ->
 474          print_user(User);
 475       _ ->
 476          {erreur, "Login pas trouvé : " ++ Login}
 477    end;
 478 % Affichage d'un user en fonction de son id
 479 print_user(Id) when is_integer(Id) ->
 480    case euphorik_bd:user_by_id(Id) of
 481       {ok, User} ->
 482          print_user(User);
 483       _ ->
 484          {erreur, "Id pas trouvé : " ++ integer_to_list(Id)}
 485    end.
 486