X-Git-Url: http://git.euphorik.ch/?p=euphorik.git;a=blobdiff_plain;f=modules%2Ferl%2Feuphorik_bd_admin.erl;h=076a5708fff3194c1e59df1c63c8aede15744e90;hp=b683cc51799d35800601a9b96b30cec7a29aada5;hb=8ee1535f5594573931ddaebee77bf6148a5358cb;hpb=5b696161ae91e007fc2e9bd455a14f4363772131 diff --git a/modules/erl/euphorik_bd_admin.erl b/modules/erl/euphorik_bd_admin.erl index b683cc5..076a570 100644 --- a/modules/erl/euphorik_bd_admin.erl +++ b/modules/erl/euphorik_bd_admin.erl @@ -16,24 +16,32 @@ % You should have received a copy of the GNU General Public License % along with Euphorik. If not, see . % -% Module mettant à disposition tout un tas de fonction pour l'administration de la base de données euphorik comme : -% - Création de la BD -% - Mise à jour de la BD -% - Backup et restauration -% - Copie de la BD à partir d'un autre noeud +% Module mettant à disposition tout un tas de fonction pour l'administration de la base de données euphorik comme : +% - Création de la BD +% - Mise à jour de la BD +% - Backup et restauration +% - Copie de la BD à partir d'un autre noeud % % @author G.Burri + -module(euphorik_bd_admin). -export([ - version_bd/0, - create/0, - connect/0, - connect/1, + version_bd/0, + create/0, + connect/0, + connect/1, reset/0, update/0, + backup/1, - restore/1 + restore/1, + change_node_name/4, + + toggle_ek_master/1, + print_users/0, + print_users/1, + print_user/1 ]). -import(qlc, [e/2, q/1, cursor/2]). -include("../include/euphorik_bd.hrl"). @@ -47,84 +55,136 @@ version_bd() -> fun() -> mnesia:read({proprietes, version}) end - )). - - -% Instructions pour créer une nouvelle base : -% $erl -sname yaws -mnesia dir '"/projets/euphorik/BD"' -% voir doc/installation.txt -% >l(euphorik_bd). -% >euphorik_bd:create(). -create() -> - mnesia:stop(), - mnesia:delete_schema([node()]), - mnesia:create_schema([node()]), % nécessaire pour les tables sur disc - mnesia:start(), - create_tables(), - reset(). - -create_tables() -> - mnesia:create_table(counter, [ - {attributes, record_info(fields, counter)}, - {disc_copies, [node()]} - ]), - mnesia:create_table(proprietes, [ - {attributes, record_info(fields, proprietes)}, - {disc_copies, [node()]} - ]), - mnesia:create_table(minichat, [ - {attributes, record_info(fields, minichat)}, - {index, [auteur_id, troll_id]}, - {disc_copies, [node()]} - ]), - mnesia:create_table(reponse_minichat, [ - {type, bag}, - {attributes, record_info(fields, reponse_minichat)}, - {index, [cible]}, - {disc_copies, [node()]} - ]), - mnesia:create_table(user, [ - {attributes, record_info(fields, user)}, - {index, [cookie, login]}, - {disc_copies, [node()]} - ]), - mnesia:create_table(ip_table, [ - {attributes, record_info(fields, ip_table)}, - {disc_copies, [node()]} - ]), - mnesia:create_table(troll, [ - {attributes, record_info(fields, troll)}, - {index, [date_post]}, - {disc_copies, [node()]} - ]). - - -% Connexion à la base de données de yaws sur overnux -connect() -> - connect(yaws@flynux). -connect(Node) -> - mnesia:start(), - mnesia:change_config(extra_db_nodes, [Node]). - - -% Efface toutes les données de la base de données. -reset() -> - mnesia:clear_table(counter), - mnesia:clear_table(proprietes), - mnesia:clear_table(user), - mnesia:clear_table(reponse_minichat), - mnesia:clear_table(minichat), - mnesia:clear_table(troll), - mnesia:clear_table(ip_table), - % crée l'utilisateur root - mnesia:transaction(fun() -> - mnesia:write(#proprietes{nom = version, valeur = ?VERSION_BD}), - User = #user{id = 0, pseudo = "Sys", login = "Sys", date_creation = now(), date_derniere_connexion = now(), ek_master = true}, - mnesia:write(User), - User - end). + )). +% Instructions pour créer une nouvelle base : +% $erl -sname yaws -mnesia dir '"/projets/euphorik/BD"' +% voir doc/installation.txt +% >l(euphorik_bd). +% >euphorik_bd:create(). +create() -> + mnesia:stop(), + mnesia:delete_schema([node()]), + mnesia:create_schema([node()]), % nécessaire pour les tables sur disc + mnesia:start(), + create_tables(), + reset(). + +create_tables() -> + mnesia:create_table(counter, [ + {attributes, record_info(fields, counter)}, + {disc_copies, [node()]} + ]), + mnesia:create_table(proprietes, [ + {attributes, record_info(fields, proprietes)}, + {disc_copies, [node()]} + ]), + mnesia:create_table(texte, [ + {attributes, record_info(fields, texte)}, + {disc_copies, [node()]} + ]), + mnesia:create_table(minichat, [ + {type, ordered_set}, + {attributes, record_info(fields, minichat)}, + {disc_copies, [node()]} + ]), + mnesia:create_table(reponse_minichat, [ + {type, bag}, + {attributes, record_info(fields, reponse_minichat)}, + {disc_copies, [node()]} + ]), + mnesia:create_table(user, [ + {attributes, record_info(fields, user)}, + {disc_copies, [node()]} + ]), + mnesia:create_table(ip_table, [ + {attributes, record_info(fields, ip_table)}, + {disc_copies, [node()]} + ]), + mnesia:create_table(troll, [ + {attributes, record_info(fields, troll)}, + {disc_copies, [node()]} + ]), + creer_indexes(). + + +% mis à part car lors de la reprise de données avec load_textfile les indexes ne sont pas recréés +creer_indexes() -> + % commence par supprimer les anciens indexes + lists:foreach(fun(T) -> + lists:foreach(fun(P) -> + mnesia:del_table_index(T, P) + end, + mnesia:table_info(T, index) + ) + end, + ?TABLES + ), + mnesia:add_table_index(minichat, auteur_id), + mnesia:add_table_index(reponse_minichat, cible), + mnesia:add_table_index(user, cookie), + mnesia:add_table_index(user, login), + mnesia:add_table_index(troll, date_post), + mnesia:add_table_index(troll, id_minichat). + + +% Connexion à la base de données de yaws sur overnux +connect() -> + connect(yaws@flynux). +connect(Node) -> + mnesia:start(), + mnesia:change_config(extra_db_nodes, [Node]). + + +% Efface toutes les données de la base de données. +reset() -> + mnesia:clear_table(counter), + mnesia:clear_table(proprietes), + mnesia:clear_table(texte), + mnesia:clear_table(user), + mnesia:clear_table(reponse_minichat), + mnesia:clear_table(minichat), + mnesia:clear_table(troll), + mnesia:clear_table(ip_table), + % crée l'utilisateur root + mnesia:transaction(fun() -> + mnesia:write(#proprietes{nom = version, valeur = ?VERSION_BD}), + User = #user{id = 0, profile = #profile{pseudo = "Sys"}, login = "Sys", date_creation = now(), date_derniere_connexion = now(), ek_master = true}, + mnesia:write(User), + User + end), + peupler_texte(). + + +peupler_texte() -> + mnesia:transaction(fun() -> + mnesia:write(#texte{ id = 10, fr = "Login déjà existant"}), + mnesia:write(#texte{ id = 20, fr = "Trop de register (flood)"}), + mnesia:write(#texte{ id = 30, fr = "Couple login/pass introuvable"}), + mnesia:write(#texte{ id = 40, fr = "Authentification impossible par cookie"}), + mnesia:write(#texte{ id = 50, fr = "Impossible de mettre à jour le profile"}), + mnesia:write(#texte{ id = 60, fr = "timeout"}), + mnesia:write(#texte{ id = 70, fr = "Page inconnue"}), + mnesia:write(#texte{ id = 80, fr = "Vous êtes banni pour encore ~s"}), + mnesia:write(#texte{ id = 90, fr = "Message vide"}), + mnesia:write(#texte{ id = 100, fr = "Impossible d'ajouter un nouveau message. Raison : ~s"}), + mnesia:write(#texte{ id = 110, fr = "Utilisateur inconnu"}), + mnesia:write(#texte{ id = 120, fr = "Il n'est pas possible de s'auto bannir"}), + mnesia:write(#texte{ id = 130, fr = "L'utilisateur est lui même un ekMaster"}), + mnesia:write(#texte{ id = 140, fr = "Utilisateur à bannir inconnu"}), + mnesia:write(#texte{ id = 150, fr = "Utilisateur inconnu ou non ek master"}), + mnesia:write(#texte{ id = 160, fr = "Utilisateur à slaper inconnu"}), + mnesia:write(#texte{ id = 170, fr = "Utilisateur inconnu ou non ek master"}), + mnesia:write(#texte{ id = 180, fr = "Le nombre de troll maximum par utilisateur est atteint : ~w "}), + mnesia:write(#texte{ id = 190, fr = "Le nombre de troll maximum en attente est atteint : ~w "}), + mnesia:write(#texte{ id = 200, fr = "Seul les ekMaster peuvent proposer des trolls"}), + mnesia:write(#texte{ id = 210, fr = "Vous ne posséder pas ce troll"}), + mnesia:write(#texte{ id = 220, fr = "Seul les ekMaster peuvent proposer des trolls"}), + mnesia:write(#texte{ id = 230, fr = "Seul les ekMaster peuvent connaitre la liste des ips bannies"}) + end). + + % Met à jour la bd, compare ?VERSION_BD avec la version dans la table 'proprietes' % et exécute les patchs nécessaires. update() -> @@ -158,67 +218,241 @@ update(Version) -> % dans BD/backups nommé "backup" où et le numéro de la version. % 1 -> 2 patch(1) -> + % Prend un chemin vers la feuille de style de type "css/1/euphorik.css" + % et renvoie "styles/1/euphorik.css" + Transforme_css = fun("css" ++ Reste) -> + "styles" ++ Reste; + (F) -> F + end, + Traiter_message = fun(M, Racine) -> + F = fun(F, M2) -> % seul moyen à ma connaissance pour faire de la récursion dans une lambda fonction, voir : http://www.nabble.com/Auto-generated-functions-td15279499.html + % met à jour la racine de chaque message qui répond à M + lists:foreach( + fun(M3) -> + mnesia:write(M2#minichat{racine_id = Racine}), + F(F, M3) + end, + euphorik_bd:enfants(M#minichat.id) + ) + end, + F(F, M, Racine) + end, + mnesia:create_table(texte, [ + {attributes, record_info(fields, texte)}, + {disc_copies, [node()]} + ]), + peupler_texte(), % traitement des users mnesia:transform_table( user, fun({user, Id, Cookie, Pseudo, Login, Password, Email, Date_creation, Date_derniere_connexion, Css, Nick_format, View_times, View_tooltips, Indice_flood, _Page_principale, Conversations, Ek_master, Last_ip}) -> - {user, Id, Cookie, Pseudo, Login, Password, Email, Date_creation, Date_derniere_connexion, patch1_transforme_css(Css), Nick_format, View_times, View_tooltips, light, reverse, Indice_flood, lists:map(fun({R, _}) -> {R, false} end, Conversations), Ek_master, Last_ip} + {user, Id, Cookie, Login, Password, {profile, Pseudo, Email, Transforme_css(Css), Nick_format, View_times, View_tooltips, light, reverse, lists:map(fun({R, _}) -> {R, false} end, Conversations)}, Date_creation, Date_derniere_connexion, Indice_flood, Ek_master, Last_ip} end, - record_info(fields, user), - user + record_info(fields, user) ), mnesia:transform_table( minichat, fun({minichat, Id, Auteur_id, Date, Pseudo, Contenu, Troll_id}) -> {minichat, Id, Auteur_id, Date, Pseudo, Contenu, Troll_id, Id} end, - record_info(fields, minichat), - minichat + record_info(fields, minichat) ), case mnesia:transaction( fun() -> % met à jour les enfants des racines % idéalement : utiliser un cursor mais je crois qu'il n'est pas possible de faire des modifs en itérant en même temps avec un cursor, a voir.. Messages = e(q([M || M <- mnesia:table(minichat), euphorik_bd:parents(M#minichat.id) =:= []]), [{tmpdir, ?KEY_SORT_TEMP_DIR}]), - lists:foreach(fun(M) -> patch_1_traiter_message(M, M#minichat.id) end, Messages) + lists:foreach(fun(M) -> Traiter_message(M, M#minichat.id) end, Messages) end ) of {aborted, Raison} -> {erreur, Raison}; {atomic, _} -> ok - end. -% 2 -> 3 -%patch(2) -> + end; +% 2 -> 3 +patch(2) -> + % première étape : changer le type de la table minichat de set à ordered_set + % TODO : trouver un meilleur moyen que de passer par un backup + backup("tmp"), + create(), + restore("tmp"), + file:delete(dossier_backups() ++ "tmp"), + mnesia:transform_table( + troll, + fun({troll, Id_troll, Id_user, Date_create, Date_post, Content}) -> + % recherche le message associé s'il existe + Id_minichat = case e(q([M || M <- mnesia:table(minichat), element(7, M) =:= Id_troll]), [{tmpdir, ?KEY_SORT_TEMP_DIR}]) of + [M] -> element(2, M); + _ -> undefined + end, + {troll, Id_troll, Id_user, Id_minichat, Date_create, Date_post, Content} + end, + record_info(fields, troll) + ), + %mnesia:del_table_index(minichat, troll_id), + mnesia:transform_table( + minichat, + fun({minichat, Id, Auteur_id, Date, Pseudo, Contenu, _Troll_id, Racine_id}) -> + {minichat, Id, Auteur_id, Date, Pseudo, Contenu, Racine_id} + end, + record_info(fields, minichat) + ), + creer_indexes(). % uniquement pour l'indice sur id_minichat de la table troll -% Prend un chemin vers la feuille de style de type "css/1/euphorik.css" -% et renvoie "styles/1/euphorik.css" -patch1_transforme_css(["css" | Reste]) -> - ["styles" | Reste]; -patch1_transforme_css(F) -> - F. +% Renvoie le dossier dans lequel les backups sont effectué, ce dossier doit être en écriture. +dossier_backups() -> + mnesia:system_info(directory) ++ "/backups/". - -patch_1_traiter_message(M, Racine) -> - % met à jour la racine de chaque message qui répond à M - lists:foreach( - fun(M2) -> - mnesia:write(M2#minichat{racine_id = Racine}), - patch_1_traiter_message(M2, Racine) - end, - euphorik_bd:enfants(M#minichat.id) - ). + +% Renvoie le fichier (avec le chemin) correspondant à la version Version, par exemple : "/var/euphorik/BD/backups/backup1" +fichier_backup(Version) when is_integer(Version) -> + dossier_backups() ++ "backup" ++ integer_to_list(Version). + % crée un backup dont le nom est fournit dans le repertoire backups qui se trouve dans le repertoire de la BD. -backup(Nom) -> - mnesia:backup(mnesia:system_info(directory) ++ "/backups/" ++ Nom). +backup(Fichier) -> + mnesia:backup(dossier_backups() ++ Fichier). + + +% Restaure un backup de la BD. +restore(Fichier) when is_list(Fichier) -> + mnesia:restore(dossier_backups() ++ Fichier, []); +% Reviens à une version précédente de la base de données. +% (les données insérées durant les versions plus récentes sont perdues). +restore(Version) when is_integer(Version) -> + mnesia:restore(fichier_backup(Version), []). % [{default_op, recreate_tables}]). -% Reviens à une version précédente de la base de données -% (les données insérées durant les versions plus récentes sont perdues) -restore(N) -> - mnesia:restore(fichier_backup(N), [{default_op, recreate_tables}]). +% Change le nom du noeud d'un backup. +% provient d'ici : http://www.erlang.org/doc/apps/mnesia/Mnesia_chap7.html#6.9 +% From : l'ancien nom +% To : le nouveau nom +% Source : le nom du fichier de backup +% Target : le nom du fichier du nouveau backup +change_node_name(From, To, Source, Target) -> + Switch = + fun(Node) when Node == From -> To; + (Node) when Node == To -> throw({error, already_exists}); + (Node) -> Node + end, + Convert = + fun({schema, db_nodes, Nodes}, Acc) -> + {[{schema, db_nodes, lists:map(Switch,Nodes)}], Acc}; + ({schema, version, Version}, Acc) -> + {[{schema, version, Version}], Acc}; + ({schema, cookie, Cookie}, Acc) -> + {[{schema, cookie, Cookie}], Acc}; + ({schema, Tab, CreateList}, Acc) -> + Keys = [ram_copies, disc_copies, disc_only_copies], + OptSwitch = + fun({Key, Val}) -> + case lists:member(Key, Keys) of + true -> {Key, lists:map(Switch, Val)}; + false-> {Key, Val} + end + end, + {[{schema, Tab, lists:map(OptSwitch, CreateList)}], Acc}; + (Other, Acc) -> + {[Other], Acc} + end, + mnesia:traverse_backup(Source, Target, Convert, switched). -% Renvoie le fichier (avec le chemin) correspondant à la version Version, par exemple : "/var/euphorik/BD/backups/backup1" -fichier_backup(Version) -> - mnesia:system_info(directory) ++ "/backups/" ++ if is_integer(Version) -> "backup" ++ integer_to_list(Version); true -> Version end. +% Obsolète +%~ backup_text(File) -> + %~ mnesia:dump_to_textfile(File). +%~ restore_text(File) -> + %~ mnesia:stop(), + %~ mnesia:delete_schema([node()]), + %~ mnesia:start(), + %~ create_tables(), + %~ case mnesia:load_textfile(File) of + %~ {atomic, ok} -> + %~ update(), + %~ creer_indexes(); + %~ Erreur -> + %~ Erreur + %~ end. + + +toggle_ek_master(User_id) -> + euphorik_bd:resultat_transaction(mnesia:transaction( + fun() -> + Users = e(q([E || E <- mnesia:table(user), E#user.id =:= User_id]), [{tmpdir, ?KEY_SORT_TEMP_DIR}]), + case Users of + [User] -> + mnesia:write(User#user{ek_master = not User#user.ek_master}); + _ -> erreur + end + end + )). + + +% Affiche N user trié par leur date de dernière connexion. +% Opt est une liste d'option d'affichage : +% * ekmaster : n'affiche que les admins +print_users(N, Opt) -> + AfficheQueLesEkMaster = lists:any(fun(O) -> O =:= ekmaster end, Opt), + euphorik_bd:resultat_transaction(mnesia:transaction(fun() -> + C = cursor( + qlc:keysort( + #user.date_derniere_connexion, + if AfficheQueLesEkMaster -> + q([E || E <- mnesia:table(user), E#user.ek_master =:= true]); + true -> + q([E || E <- mnesia:table(user)]) + end, + [{order, descending}] + ), + [{tmpdir, ?KEY_SORT_TEMP_DIR}] + ), + Users = qlc:next_answers(C, N), + lists:foreach( + fun(U) -> + print_user(U) + end, + Users + ), + qlc:delete_cursor(C) + end)). + + +% Affiche tous les users. +print_users(Opt) -> + print_users(all_remaining, Opt). + +% Affiche tous les users. +print_users() -> + print_users(all_remaining, []). + +print_user(User) when is_record(User, user) -> + #user{id = Id, profile = #profile{pseudo = Pseudo}, login = Login, ek_master = Ek_master, date_derniere_connexion = Date, last_ip = IP} = User, + {{Annee, Mois, Jour}, {Heure, Min, _}} = calendar:now_to_local_time(Date), + io:format( + % id pseudo (login) IP Jour Mois Année Heure Minute + "~4w : ~10.10..s(~10.10..s) ~s ~2w.~2.2.0w.~w - ~2wh~2.2.0w~n", + [ + Id, + if Ek_master -> "*"; true -> "" end ++ Pseudo, + Login, + euphorik_common:serialize_ip(IP), + Jour, Mois, Annee, Heure, Min + ] + ); +% Affichage d'un user en fonction de son login +print_user(Login) when is_list(Login) -> + case euphorik_bd:user_by_login(Login) of + {ok, User} -> + print_user(User); + _ -> + {erreur, "Login pas trouvé : " ++ Login} + end; +% Affichage d'un user en fonction de son id +print_user(Id) when is_integer(Id) -> + case euphorik_bd:user_by_id(Id) of + {ok, User} -> + print_user(User); + _ -> + {erreur, "Id pas trouvé : " ++ integer_to_list(Id)} + end. +