From: pifou <pifou@02bbb61a-6d21-0410-aba0-cb053bdfd66a>
Date: Fri, 29 Jun 2007 16:29:33 +0000 (+0000)
Subject: ADD Pompage des images ! :)
X-Git-Url: http://git.euphorik.ch/?a=commitdiff_plain;ds=sidebyside;h=84fd971104c7cc367ecca4b7ae7073fb7a7e5a7a;p=pompage.git

ADD Pompage des images ! :)

git-svn-id: svn://euphorik.ch/pompage@42 02bbb61a-6d21-0410-aba0-cb053bdfd66a
---

diff --git a/js/yopyop.js b/js/yopyop.js
index c4b2af0..da49920 100644
--- a/js/yopyop.js
+++ b/js/yopyop.js
@@ -122,7 +122,7 @@ function doRecherche(f)
       if (
          afficherTout ||
          document.getElementById("checkRechercheTitre").checked && rechercheRegExp.test(lignes[i].childNodes[2].textContent) 
-         || document.getElementById("checkRechercheGenres").checked && rechercheRegExp.test(tableDetails[0].firstChild.nextSibling.textContent) 
+         || document.getElementById("checkRechercheGenres").checked && rechercheRegExp.test(tableDetails[0].firstChild.nextSibling.nextSibling.textContent) 
          || document.getElementById("checkRechercheRealisateurs").checked && rechercheRegExp.test(tableDetails[1].firstChild.nextSibling.textContent)
          || document.getElementById("checkRechercheActeurs").checked && rechercheRegExp.test(tableDetails[2].firstChild.nextSibling.textContent) 
          || document.getElementById("checkRecherchePays").checked && rechercheRegExp.test(tableDetails[3].firstChild.nextSibling.textContent))      
diff --git a/src/basemodule.rb b/src/basemodule.rb
index 725b212..38849f2 100644
--- a/src/basemodule.rb
+++ b/src/basemodule.rb
@@ -1,5 +1,5 @@
-# Attention : les méthodes peuvent être accédées par plusieurs threads simultanément
-class Basemodule
+
+class Basemodule   
    # Retourne un Hash contenant les ids (de allocine) trouvés indexés par une chaine.
    # Cette chaine contient des infos du film, par exemple le titre et l'année.
    # Cette chaine sert, dans le cas ou il y a plusieurs réponses, à proposer un choix à l'utilisateur.
@@ -15,4 +15,9 @@ class Basemodule
    def load(id)
       raise
    end   
+    
+   # appelé lorsque le module n'est plus utile (permet de libérer des ressource par exemple).
+   def finish
+      
+   end
 end
\ No newline at end of file
diff --git a/src/constantes.rb b/src/constantes.rb
index b0d2428..f7461c2 100644
--- a/src/constantes.rb
+++ b/src/constantes.rb
@@ -16,4 +16,4 @@ LOAD_DATA = true
 NB_CONN_MAX = 1
 
 # une aide pour l'utilisateur
-USAGE = 'USAGE : yopyop.rb -x <xml file> [-d <directory>] [-m <module>]'
\ No newline at end of file
+USAGE = 'USAGE : yopyop.rb -x <xml file> [-d <directory>] [-m <module>] [-a <dir affichettes>]'
\ No newline at end of file
diff --git a/src/film.rb b/src/film.rb
index a282441..309f686 100644
--- a/src/film.rb
+++ b/src/film.rb
@@ -21,18 +21,15 @@ class String
 end
 
 class Film
-   
-   def Film::setModule(m)
-      @@module = m
-   end
-   
+      
    # toutes les données membres sont accessibles par défaut (écriture/lecture)
-   attr_accessor :id, :titre, :url, :fichiers, :annee, :realisateurs, :acteurs, :pays, :duree, :critiquePresse, :critiqueSpectateur, :genres, :synopsis, :budget
+   attr_accessor :id, :titre, :url, :fichiers, :mod, :annee, :realisateurs, :acteurs, :pays, :duree, :critiquePresse, :critiqueSpectateur, :genres, :synopsis, :budget
 
    # Constructeur. N'entreprend aucune action (chargement), crée juste un film vide.
    # p1 [String] : le fichier correspondant au film
-   def initialize(fichier)
+   def initialize(fichier, mod)
       @fichiers = [fichier] # le chemin des fichiers est relatif au repertoire de base
+      @mod = mod
            
       @id = 0
       @titre = ''
@@ -102,7 +99,7 @@ class Film
          end
       end
       
-      @@module.load(@choix[tabNoms[choix-1]], self)
+      @mod.load(@choix[tabNoms[choix-1]], self)
       
       return 1
    end
@@ -135,11 +132,11 @@ class Film
          return self
       end
       
-      reponses = @@module.rechercherFilm(titre)
+      reponses = @mod.rechercherFilm(titre)
       @nbReponses = reponses.size
       
       if @nbReponses == 1
-         @@module.load(reponses.values[0], self)
+         @mod.load(reponses.values[0], self)
       else
          @choix = reponses   
       end
diff --git a/src/films.rb b/src/films.rb
index 585970e..e93e615 100644
--- a/src/films.rb
+++ b/src/films.rb
@@ -1,4 +1,4 @@
-# Représente un ensemble de films
+# Représente un ensemble de films
 
 require 'rexml/document'
 require 'thwait'
@@ -11,9 +11,11 @@ require 'constantes.rb'
 require 'iconv'
 
 class Films
-   def initialize(xmlFile)
+   def initialize(xmlFile, modClasse)
       @xmlFile = xmlFile
       
+      @modClasse = modClasse
+      
       # repertoire de base, par exemple C:/Divx/
       @repBase = ''   
          
@@ -82,6 +84,10 @@ class Films
          i += 1
       }
       
+      @films.each{|t,f|
+         f.mod.finish
+      }
+      
       Dir::chdir(repPrecedant)      
    end
    
@@ -120,7 +126,7 @@ class Films
       racine.each_element{|e|       
          id = e.attribute('id').to_s.to_i
        
-         if id > @idDisponible
+         if id >= @idDisponible
             @idDisponible = id + 1   
          end
          
@@ -138,7 +144,7 @@ class Films
          pays = e.get_elements('lespays')[0].get_elements('pays')
          genres = e.get_elements('genres')[0].get_elements('genre')
          
-         film = Film::new(fichiers[0].get_text.value)
+         film = Film::new(fichiers[0].get_text.value, @modClasse::new)
          
          film.id = id
          film.titre = titre.value unless titre.nil?
@@ -243,8 +249,9 @@ class Films
             @threadsWait.join_nowait(
                Thread::new{
                   begin                  
-                     film = Film::new(fichier).loadData
+                     film = Film::new(fichier, @modClasse::new)
                      film.id = getNewId # on lui donne un nouvel ID
+                     film.loadData # on charge ses données
                      
                      unless film.nil? # le film a été correctement construit
                         ajouterFilm(film)
diff --git a/src/modules/allocine.rb b/src/modules/allocine.rb
index e4173bb..d5da08c 100644
--- a/src/modules/allocine.rb
+++ b/src/modules/allocine.rb
@@ -1,4 +1,5 @@
 require 'net/http'
+require 'uri'
 require 'cgi'
 require 'thread'
 require 'iconv'
@@ -7,16 +8,15 @@ require "basemodule.rb"
 
 # un mixin pour allocine
 class Allocine  < Basemodule
-   
+      
    # Voir le parent.
    def rechercherFilm(titre)
-      Thread.current["connexion"] = Net::HTTP::new('www.allocine.fr') if Thread.current["connexion"].nil?
-      connexion = Thread.current["connexion"]
+      @connexion = Net::HTTP::new('www.allocine.fr') if @connexion.nil?
       
       donneesHtml = nil
       begin
          begin
-            reponse, donneesHtml = connexion.get("/recherche/?rub=1&motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
+            reponse, donneesHtml = @connexion.get("/recherche/?rub=1&motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
          rescue Exception => e
             p e
             puts "[!] Connexion lost, retry.."
@@ -38,7 +38,6 @@ class Allocine  < Basemodule
       
       reponses = {}
       unless titre.nil? or titre.empty?
-            
          r = donneesHtml.scan(/<a href="\/film\/fichefilm_gen_cfilm=(\d+)\.html" class="link1">(.*?)<\/a>(?:<\/h4><h5 style="color: #666666">&nbsp;(.*?)<\/h5>){0,1}(?:<h4><br \/><\/h4>){0,1}(?:<h4 style="color: #666666"> de (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;avec (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;\((.*?)\)<\/h4>){0,1}/)
          
          r.each{|f|
@@ -50,11 +49,27 @@ class Allocine  < Basemodule
    
    # Voir le parent.
    def load(id, film)      
-      Thread.current["connexion"] = Net::HTTP::new('www.allocine.fr') if Thread.current["connexion"].nil?
-      connexion = Thread.current["connexion"]
-         
-      r, ficheHtml = connexion.get("/film/fichefilm_gen_cfilm=#{id}.html") 
+      @connexion = Net::HTTP::new('www.allocine.fr') if @connexion.nil?
+
+      r, ficheHtml = @connexion.get("/film/fichefilm_gen_cfilm=#{id}.html") 
       
+      /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ ficheHtml
+      unless $1.nil?
+         @threadImage = Thread::new($1){|imageUrl|
+            begin
+               imageUrl = URI.parse(imageUrl)               
+               connexionImage = Net::HTTP::new(imageUrl.host)
+               r, image = connexionImage.get(imageUrl.path)
+               f = File::new($repBase + "/" + $repAffichette + film.id.to_s + ".jpg", 'w').binmode
+               f.write(image)
+               f.close
+            rescue Exception => e
+               puts e.message
+               puts e.backtrace            
+            end
+         }
+      end
+
       #convertit le code latin-1 en UTF8
       ficheHtml = Iconv.iconv("UTF-8", "ISO-8859-1", ficheHtml)[0]
 
@@ -121,4 +136,8 @@ class Allocine  < Basemodule
       /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ ficheHtml
       film.budget = $1 unless $1.nil?
    end   
+   
+   def finish
+      @threadImage.join if defined? @threadImage
+   end
 end
\ No newline at end of file
diff --git a/src/yopyop.rb b/src/yopyop.rb
index 786e6a1..6514cec 100644
--- a/src/yopyop.rb
+++ b/src/yopyop.rb
@@ -20,42 +20,44 @@ require 'film.rb'
 $: << Dir::getwd + "/" + __FILE__.split('/')[0]
 
 # vérifie les arguments donnés
-xmlFile = nil
-rep = '.'
+$xmlFile = nil
+$repBase = Dir::getwd
+$repFilms = '.'
+$repAffichette = '../img/affichette/'
 mod = 'Allocine'
 
 aPrec = ''
 $*.each{|a|
    case aPrec
       when '-x'
-         xmlFile = a
+         $xmlFile = a
       when '-d'
-         rep = a
+         $repFilms = a
       when '-m'
          mod = a
+      when '-a'
+         mod = a
    end      
    aPrec = a
 }
 
-if xmlFile.nil?
+if $xmlFile.nil?
    puts USAGE
    exit 0
 end
 
-unless File::directory?(rep)
- puts "'#{rep}' is not a valid directory"
+unless File::directory?($repFilms)
+ puts "'#{$repFilms}' is not a valid directory"
  exit 1
 end      
 
 require "modules/#{mod}"
 
-Film::setModule(Module.class_eval(mod)::new)
-
 # charge les films à partir du fichier xml
-films = Films::new(xmlFile)
+films = Films::new($xmlFile, Module.class_eval(mod))
 
 # parcours le dossier donné et recherche les infos sur le net
-films.pomper(rep)
+films.pomper($repFilms)
 
 # ecrit le fichier XML
 films.sauverFilms()
diff --git a/xml/test.xml b/xml/test.xml
index 8e78ac3..8b710cc 100644
--- a/xml/test.xml
+++ b/xml/test.xml
@@ -1,7 +1,71 @@
 <?xml version='1.0' encoding='UTF-8'?>
 <?xml-stylesheet type="text/xsl" href="../xsl/yopyop.xsl"?>
 <filmographie>
+  <film id='9'>
+    <fichiers>
+      <fichier>Rocky [x264 Aac] [Fr Eng] [Fr Eng].mkv</fichier>
+    </fichiers>
+    <titre>Rocky Balboa</titre>
+    <annee>2006</annee>
+    <realisateurs>
+      <realisateur>Sylvester Stallone</realisateur>
+    </realisateurs>
+    <acteurs>
+      <acteur>Sylvester Stallone</acteur>
+      <acteur>Burt Young</acteur>
+      <acteur>Antonio Tarver</acteur>
+    </acteurs>
+    <lespays>
+      <pays>américain</pays>
+    </lespays>
+    <duree>105</duree>
+    <critiquePresse>4</critiquePresse>
+    <critiqueSpectateur>3</critiqueSpectateur>
+    <genres>
+      <genre>Drame</genre>
+      <genre>Action</genre>
+    </genres>
+    <synopsis>
+      <p>Rocky Balboa, le légendaire boxeur, a depuis longtemps quitté le ring. De ses succès, il ne reste plus que des histoires qu&apos;il raconte aux clients de son restaurant. La mort de son épouse lui pèse chaque jour et son fils ne vient jamais le voir.</p>
+      <p>Le champion d&apos;aujourd&apos;hui s&apos;appelle Mason Dixon, et tout le monde s&apos;accorde à le définir comme un tueur sans élégance ni coeur. Alors que les promoteurs lui cherchent désespérément un adversaire à sa taille, la légende de Rocky refait surface. L&apos;idée d&apos;opposer deux écoles, deux époques et deux titans aussi différents enflamme tout le monde. Pour Balboa, c&apos;est l&apos;occasion de ranimer les braises d&apos;une passion qui ne l&apos;a jamais quitté. L&apos;esprit d&apos;un champion ne meurt jamais...</p>
+    </synopsis>
+    <budget unite='euro'/>
+    <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=109061.html</url>
+  </film>
   <film id='5'>
+    <fichiers>
+      <fichier>Big Boss.avi</fichier>
+    </fichiers>
+    <titre>Big boss</titre>
+    <annee>1971</annee>
+    <realisateurs>
+      <realisateur>Lo Wei</realisateur>
+    </realisateurs>
+    <acteurs>
+      <acteur>Bruce Lee</acteur>
+      <acteur>James Tien</acteur>
+      <acteur>Yin-Chieh Han</acteur>
+    </acteurs>
+    <lespays>
+      <pays>hong-kongais</pays>
+    </lespays>
+    <duree>94</duree>
+    <critiquePresse/>
+    <critiqueSpectateur/>
+    <genres>
+      <genre>Drame</genre>
+      <genre>Arts Martiaux</genre>
+      <genre>Divers</genre>
+      <genre>Action</genre>
+      <genre>Drame</genre>
+    </genres>
+    <synopsis>
+      <p>Un ouvrier venant de la campagne se révolte contre la milice engagée par son patron pour briser une grève.</p>
+    </synopsis>
+    <budget unite='euro'/>
+    <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=53367.html</url>
+  </film>
+  <film id='4'>
     <fichiers>
       <fichier>Banlieue 13.avi</fichier>
     </fichiers>
@@ -32,7 +96,7 @@
     <budget unite='euro'/>
     <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=54107.html</url>
   </film>
-  <film id='9'>
+  <film id='6'>
     <fichiers>
       <fichier>Le 51e Etat.rmvb</fichier>
     </fichiers>
@@ -65,36 +129,7 @@
     <budget unite='euro'/>
     <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=29085.html</url>
   </film>
-  <film id='2'>
-    <fichiers>
-      <fichier>Ace Ventura detective chiens et chats [x264 AC3] [Fr Eng] [Fr Eng] [™]..mkv</fichier>
-    </fichiers>
-    <titre>Ace Ventura, détective chiens et chats</titre>
-    <annee>1994</annee>
-    <realisateurs>
-      <realisateur>Tom Shadyac</realisateur>
-    </realisateurs>
-    <acteurs>
-      <acteur>Jim Carrey</acteur>
-      <acteur>Courteney Cox</acteur>
-      <acteur>Sean Young</acteur>
-    </acteurs>
-    <lespays>
-      <pays>américain</pays>
-    </lespays>
-    <duree>90</duree>
-    <critiquePresse/>
-    <critiqueSpectateur/>
-    <genres>
-      <genre>Comédie</genre>
-    </genres>
-    <synopsis>
-      <p>Ace Ventura, un jeune homme décontracté à la banane arrogante et à la démarche élastique, est le Sherlock Holmes de la gent canine. Le voici à nouveau sur les dents quand le dauphin Flocon de neige, la mascotte de l&apos;équipe de football americain de Miami, manque à l&apos;appel.</p>
-    </synopsis>
-    <budget unite='euro'/>
-    <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=11944.html</url>
-  </film>
-  <film id='12'>
+  <film id='8'>
     <fichiers>
       <fichier>Robocop 3.avi</fichier>
     </fichiers>
@@ -125,7 +160,7 @@
     <budget unite='euro'/>
     <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=8143.html</url>
   </film>
-  <film id='4'>
+  <film id='3'>
     <fichiers>
       <fichier>Assaut sur le central 13 [H264 Aac] [Fr Eng] [Fr Eng Spa] [XCT].mkv</fichier>
     </fichiers>
@@ -140,8 +175,8 @@
       <acteur>John Leguizamo</acteur>
     </acteurs>
     <lespays>
-      <pays>français</pays>
-      <pays> américain</pays>
+      <pays>américain</pays>
+      <pays> français</pays>
     </lespays>
     <duree>110</duree>
     <critiquePresse>4</critiquePresse>
@@ -156,4 +191,95 @@
     <budget unite='euro'/>
     <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=55907.html</url>
   </film>
+  <film id='1'>
+    <fichiers>
+      <fichier>A Toute Epreuve.rmvb</fichier>
+    </fichiers>
+    <titre>A toute epreuve</titre>
+    <annee>1992</annee>
+    <realisateurs>
+      <realisateur>John Woo</realisateur>
+    </realisateurs>
+    <acteurs>
+      <acteur>Tony Leung Chiu Wai</acteur>
+      <acteur>Chow Yun-Fat</acteur>
+      <acteur>Teresa Mo</acteur>
+    </acteurs>
+    <lespays>
+      <pays>hong-kongais</pays>
+      <pays> chinois</pays>
+    </lespays>
+    <duree>130</duree>
+    <critiquePresse/>
+    <critiqueSpectateur/>
+    <genres>
+      <genre>Policier</genre>
+      <genre>Action</genre>
+    </genres>
+    <synopsis>
+      <p>Hong-Kong 1997. Les Britannique vont rendre dans quelques mois a la Chine populaire une ville corrompue par le crime. Alors que les policiers ont baissé les bras, un groupe d&apos;inspecteurs, mene par Yuen, surnommé Tequila, décide de mettre fin a la suprématie des gangs.</p>
+    </synopsis>
+    <budget unite='euro'/>
+    <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=8035.html</url>
+  </film>
+  <film id='10'>
+    <fichiers>
+      <fichier>Sky High.avi</fichier>
+    </fichiers>
+    <titre>L&apos;Ecole fantastique</titre>
+    <annee>2003</annee>
+    <realisateurs>
+      <realisateur>Mike Mitchell</realisateur>
+    </realisateurs>
+    <acteurs>
+      <acteur>Michael Angarano</acteur>
+      <acteur>Danielle Panabaker</acteur>
+      <acteur>Mary Elizabeth Winstead</acteur>
+    </acteurs>
+    <lespays>
+      <pays>américain</pays>
+    </lespays>
+    <duree>102</duree>
+    <critiquePresse/>
+    <critiqueSpectateur/>
+    <genres>
+      <genre>Comédie</genre>
+      <genre>Famille</genre>
+      <genre>Fantastique</genre>
+    </genres>
+    <synopsis>
+      <p>Will est un jeune garçon tout à fait normal si ce n&apos;est qu&apos;il doit intégrer la prestigieuse école de super-héros appelée Sky High et qu&apos;il n&apos;a pour le moment, aucune idée des super-pouvoirs qui le caractérisent... Il devra jongler entre les super-moqueries de ses camarades et la déception de ses parents, un couple de super-héros légendaires...</p>
+    </synopsis>
+    <budget unite='euro'/>
+    <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=50152.html</url>
+  </film>
+  <film id='7'>
+    <fichiers>
+      <fichier>Robocop 1.avi</fichier>
+    </fichiers>
+    <titre>Robocop</titre>
+    <annee>1987</annee>
+    <realisateurs>
+      <realisateur>Paul Verhoeven</realisateur>
+    </realisateurs>
+    <acteurs>
+      <acteur>Nancy Allen</acteur>
+      <acteur>Peter Weller</acteur>
+      <acteur>Dan O&apos;Herlihy</acteur>
+    </acteurs>
+    <lespays>
+      <pays>américain</pays>
+    </lespays>
+    <duree>102</duree>
+    <critiquePresse/>
+    <critiqueSpectateur/>
+    <genres>
+      <genre>Fantastique</genre>
+    </genres>
+    <synopsis>
+      <p>A l&apos;aube de l&apos;an 2000, Detroit est, comme toujours dans cette sorte d&apos;histoire, la proie du crime et de la corruption. Pour pallier ce terrible etat, les services de police inventent une nouvelle arme infaillible, Robocop, mi-homme, mi-robot, policier electronique de chair et d&apos;acier qui a pour mission de sauvegarder la tranquillite de la ville. Mais comme souvent, ce cyborg a aussi une ame.</p>
+    </synopsis>
+    <budget unite='euro'/>
+    <url>http://www.allocine.fr/film/fichefilm_gen_cfilm=3085.html</url>
+  </film>
 </filmographie>
\ No newline at end of file
diff --git a/xsl/yopyop.xsl b/xsl/yopyop.xsl
index e21f409..4ca43e9 100644
--- a/xsl/yopyop.xsl
+++ b/xsl/yopyop.xsl
@@ -12,7 +12,7 @@
    <body onload="doRecherche(true)" >
    
     <div class="entete" >
-     <h1>DivX - TV</h1>
+     <h1>DivX</h1>
      <div id="nbFilms" ></div>
      <img src="../img/logo.png" />
      <form class="formulaireRecherche">
@@ -52,6 +52,9 @@
         <td colspan="5" class="detail">
          <table class="detail" id="detail{@id}">
           <tr>
+           <td rowspan="5">
+            <img src="../img/affichette/{@id}.jpg" />
+           </td>           
            <td class="titreDetail">Genre<xsl:if test="count(genres/genre) > 1">s</xsl:if></td>
            <td><xsl:for-each select="genres/genre"><a onclick="rechercheElement('{.}', 'Genres')"><xsl:value-of select="."/></a><xsl:if test="not(position() = last())">, </xsl:if></xsl:for-each></td>
           </tr>