X-Git-Url: http://git.euphorik.ch/?a=blobdiff_plain;f=src%2Ffilms.rb;h=7d9c17ed9fea5395f626b7d35df1e3d11f0601be;hb=c3b0deb3d8c9f439739c79806e915c29bc1d4b84;hp=bc23fdc70ca24160b3c701a023358d4b54744722;hpb=542290bdf3a6c2fdcffb8bcaf9cac1dc47143f1d;p=pompage.git

diff --git a/src/films.rb b/src/films.rb
index bc23fdc..7d9c17e 100644
--- a/src/films.rb
+++ b/src/films.rb
@@ -1,4 +1,4 @@
-# Représente un ensemble de films
+# coding: utf-8
 
 require 'rexml/document'
 require 'thwait'
@@ -8,55 +8,98 @@ require 'pays.rb'
 require 'genre.rb'
 require 'personne.rb'
 require 'constantes.rb'
+require 'iconv'
 
+# Représente un ensemble de films.
 class Films
-   def initialize(xmlFile)
+   def initialize(xmlFile, modClasse)
       @xmlFile = xmlFile
       
+      @modClasse = modClasse
+      
       # repertoire de base, par exemple C:/Divx/
       @repBase = ''   
          
-      # Les films indexés par leur titre
+      # Les films indexé par leur titre
       @films = {}
       
-      # Les films indexés par leur nom de fichier, deux fichiers différents peuvent pointer sur le même film
+      # Les films indexé par leur nom de fichier, deux fichiers différents peuvent pointer sur le même film
       @filmsFichier = {}
       
-      # Les films qui ont plusieurs réponses lors de la recherche, traités à la fin
+      # Les films qui ont plusieurs réponses lors de la recherche, traité à la fin
       @filmsPlusieursReponses = []
 
+      # Les films qui n'ont aucune réponse après une recherche, traité à la fin
+      @filmsAucuneReponse = []
+
+      # permet de traiter facilement des groupes de thread
       @threadsWait = ThreadsWait::new
       @nbConn = 0 # le nombre de connexion
       
+      @mutexAjout = Mutex::new # mutex pour protéger l'ajout
+      @mutexId = Mutex::new # mutex pour protéger la génération d'id
+      
       # le prochain id disponible
       @idDisponible = 1
       
       chargerFilms
    end
+   
+   def each
+      @films.each{|t,f|
+         yield f
+      }
+   end
 
-   # Lit un repertoire de manière recursive et va chercher les informations concernant le film sur le net
+   # Lit un repertoire de manière recursive et va chercher les informations concernant le film sur le net
    def pomper(r)
       @repBase = r
       repPrecedant = Dir::getwd
       Dir::chdir(r)
       
+      t = Time::now
+      
       pomperR('.')
       
       # on attends que les threads se terminent
       @threadsWait.all_waits
       
-      # traite les films qui avaient plusieurs réponses lors de la recherche
+      puts "Pompage terminé, temps : #{Time::now - t} secondes"
+      
+      # traite les films qui avaient plusieurs réponses lors de la recherche
       # l'utilisateur doit faire un choix
       i = 1
       @filmsPlusieursReponses.each{|f|
          puts
          puts "Plop, ya un conflit #{i} / #{@filmsPlusieursReponses.length} :"
-         if f.reglerConflitPlusieursReponses
-            ajouterFilm(f)
+         case f.reglerConflitPlusieursReponses
+            when 1
+               ajouterFilm(f)            
+            when 3
+               break
+         end
+         i += 1
+      }
+      
+      # traite les films qui n'avaient aucune réponse
+      i = 1
+      @filmsAucuneReponse.each{|f|
+         puts
+         puts "Plop, Ce film n'a pas été trouvé #{i} / #{@filmsAucuneReponse.length} :"
+         case f.reglerConflitPlusieursReponses
+            when 1
+               ajouterFilm(f)
+            when 3
+               break
          end
          i += 1
       }
       
+      # annonce à chaque module d'importation que c'est fini
+      @films.each{|t,f|
+         f.mod.finish
+      }
+      
       Dir::chdir(repPrecedant)      
    end
    
@@ -73,7 +116,7 @@ class Films
       pi = REXML::Instruction.new("xml-stylesheet", "type=\"text/xsl\" href=\"../xsl/yopyop.xsl\"")
       racine.previous_sibling = pi
       
-      # on ajoute chaque film à la racine
+      # on ajoute chaque film à la racine
       @films.each{|nom, f|
          racine.add(f.getXml)
       } 
@@ -86,16 +129,16 @@ class Films
       
    # Charge les films depuis le fichier XML
    def chargerFilms
-      # si le fichier n'existe pas il n'y a rien à charger
+      # si le fichier n'existe pas il n'y a rien à charger
       if !File.exists?(@xmlFile)
          return
       end
-      
+            
       racine = REXML::Document::new(File::new(@xmlFile)).root
       racine.each_element{|e|       
          id = e.attribute('id').to_s.to_i
        
-         if id > @idDisponible
+         if id >= @idDisponible
             @idDisponible = id + 1   
          end
          
@@ -113,7 +156,7 @@ class Films
          pays = e.get_elements('lespays')[0].get_elements('pays')
          genres = e.get_elements('genres')[0].get_elements('genre')
          
-         film = Film::new(fichiers[0].get_text.value)
+         film = Film::new(fichiers[0].get_text.value, @modClasse::new)
          
          film.id = id
          film.titre = titre.value unless titre.nil?
@@ -149,23 +192,26 @@ class Films
       }
    end
    
-   # Retourne un nouvel id, utilisé lors de la création d'un nouveau film
+   # Retourne un nouvel id, utilisé alors de la création d'un nouveau film
    def getNewId
       id = @idDisponible
       @idDisponible += 1
       return id
    end   
    
-   # Ajoute un film
+   # Ajoute un film à l'ensemble des films.
    def ajouterFilm(film)
       if film.plusieursReponses?
          @filmsPlusieursReponses << film
          return
       end
       
-      # le film existe déjà
+      if film.nbReponses == 0
+         @filmsAucuneReponse << film
+         return
+      end
+      
       if @films.has_key?(film.titre)
-         # le fichier n'est pas connu -> nième partie d'un film
          if !@filmsFichier.has_key?(film.fichiers[0])
             puts "[i] movie #{film.titre} has a another file part : #{film.fichiers[0]}"
             @films[film.titre].addFichier(film.fichiers[0])
@@ -180,50 +226,52 @@ class Films
       end
    end
    
-   # Appelé par 'pomper'. Cette méthode est récursive.
+   # Appelé par 'pomper'. Cette méthode itère récursivement sur l'arborescence d'un repertoire.
    def pomperR(r)
       Dir::foreach(r){|f|
          next if f[0,1] == '.'
          fichier = (r == '.' ? '' : r + "/") + f
          if File::directory?(fichier)
-            litRepertoireR(fichier) 
+            pomperR(fichier) 
          else
             
-            # vérification de l'extension
-            /^.*?\.(.{3,4})$/ =~ fichier
+            #CGI::escapeHTML(
+            fichier = Iconv.iconv("UTF-8", "ISO-8859-1", fichier)[0]
+                        
+            # véfication de l'extension
+            /^.*?\.([^.]{3,4})$/ =~ fichier
             if !FILMS_EXTENSIONS.include?($1)
                next
             end
-            
-            fichier = CGI::escapeHTML(fichier.unpack("C*").pack("U*"))
-            
-            # on skip si le film est déjàa dans la BD
+                        
+            # on skip si le film est déjà dans la BD
             if film = @filmsFichier[fichier]
                puts "[i] Already exists in DB : #{film.titre} (#{fichier})"
                next
             end
-            
-            film = nil
              
-            # pour limiter le nombre de connexion simultanée
+            # pour limiter le nombre de connexion simultanée
             if @nbConn >= NB_CONN_MAX
                @threadsWait.next_wait
             end
              
             @nbConn += 1    
             @threadsWait.join_nowait(
-               Thread::new{
+               Thread::start{
                   begin                  
-                     film = Film::new(fichier).loadData
-                     film.id = getNewId # on lui donne un nouvel ID
+                     film = Film::new(fichier, @modClasse::new)
+                     @mutexId.synchronize {
+                        film.id = getNewId # on lui donne un nouvel ID
+                     }
+                     film.loadData # on charge ses données
                      
-                     unless film.nil? # le film a été correctement construit
+                     @mutexAjout.synchronize {
                         ajouterFilm(film)
-                     end
+                     }                     
                   rescue Exception => e
                      puts e.message
                      puts e.backtrace
-                  end      
+                  end
                   @nbConn -= 1
                }
             )