X-Git-Url: http://git.euphorik.ch/index.cgi?a=blobdiff_plain;f=src%2Fmodules%2Fallocine.rb;h=5a4e759a51646b1902ca5d55b125bfd26a3edf2b;hb=3c0d34648b6522fcd86baa485bf6008ba805f7a3;hp=bdbfa1c74482fce07040671725da1673b0e57f07;hpb=f2d0f55dc2e3dc77561c26703e382b1917498242;p=pompage.git

diff --git a/src/modules/allocine.rb b/src/modules/allocine.rb
index bdbfa1c..5a4e759 100644
--- a/src/modules/allocine.rb
+++ b/src/modules/allocine.rb
@@ -1,33 +1,63 @@
+# coding: utf-8
+
 require 'net/http'
+require 'uri'
 require 'cgi'
 require 'thread'
 require 'iconv'
 
 require "basemodule.rb"
 
-# un mixin pour allocine
+# doc : http://www.ruby-doc.org/stdlib/libdoc/net/http/rdoc/index.html
+Net::HTTP.version_1_2
+
+# hack : http://arosien.blogspot.com/2007/06/increasing-rubys-netbufferedio-buffer.html
+module Net
+   class BufferedIO
+      def rbuf_fill
+         timeout(@read_timeout) { @rbuf << @io.sysread(32768) }
+      end
+   end
+end
+
+# un module d'importation pour le site "www.allocine.fr"
 class Allocine  < Basemodule
    
-   # Voir le parent.
+   def createConnexion
+      begin
+         @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started?
+      rescue 
+         Puts "[!] Impossible de se connecter à Allocine. Retry.."
+         retry
+      end
+   end
+   
+   def fermerConnexion      
+      @connexion.finish if defined? @connexion && @connexion.started?    # on admet qu'après un load on a plus besoin de la connexion
+      @connexion = nil
+   end
+   
+   # voir le parent.
    def rechercherFilm(titre)
-      Thread.current["connexion"] = Net::HTTP::new('www.allocine.fr') if Thread.current["connexion"].nil?
-      connexion = Thread.current["connexion"]
+      createConnexion
       
-      donneesHtml = nil
       begin
+         reponse = nil
          begin
-            reponse, donneesHtml = connexion.get("/recherche/?motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
+            reponse = @connexion.get("/recherche/?rub=1&motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
          rescue Exception => e
             p e
-            puts "[!] Connexion lost, retry.."
+            puts "[!] Erreur lors de la recherche du titre #{titre}, retry.."
+            fermerConnexion
+            createConnexion
             retry
          end
+      
+         # convertit le code latin-1 en UTF8
+         html = Iconv.iconv("UTF-8", "ISO-8859-1", reponse.body)[0]
          
-         #convertit le code latin-1 en UTF8
-         donneesHtml = Iconv.iconv("UTF-8", "ISO-8859-1", donneesHtml)[0]
-         
-         #si pas trouvé alors on enlève un mot à la fin
-         if /.*?Pas de résultats.*?/ =~ donneesHtml || ! donneesHtml.include?("<h3><b>Films <h4>")
+         # si pas trouvé alors on enlève un mot à la fin
+         if /.*?Pas de résultats.*?/ =~ html || ! html.include?("<h3><b>Films <h4>")
             /(.*?)[^ ]+?$/ =~ titre.strip
             titre = $1
             titre.strip!
@@ -38,9 +68,8 @@ class Allocine  < Basemodule
       
       reponses = {}
       unless titre.nil? or titre.empty?
-            
-         r = donneesHtml.scan(/<a href="\/film\/fichefilm_gen_cfilm=(\d+)\.html" class="link1">(.*?)<\/a>(?:<\/h4><h5 style="color: #666666">&nbsp;(.*?)<\/h5>){0,1}(?:<h4><br \/><\/h4>){0,1}(?:<h4 style="color: #666666"> de (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;avec (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;\((.*?)\)<\/h4>){0,1}/)
-         
+         r = html.scan(/<a href="\/film\/fichefilm_gen_cfilm=(\d+)\.html" class="link1">(.*?)<\/a>(?:<\/h4><h5 style="color: #666666">&nbsp;(.*?)<\/h5>){0,1}(?:<h4><br \/><\/h4>){0,1}(?:<h4 style="color: #666666"> de (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;avec (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;\((.*?)\)<\/h4>){0,1}/)
+
          r.each{|f|
             reponses[f[1].virerBalisesHTML + (f[2] != nil ? " " + f[2].virerBalisesHTML : "") + (f[3] != nil ? " de " + f[3].virerBalisesHTML : "") + (f[4] != nil ? " avec " + f[4].virerBalisesHTML : "") + (f[5] != nil ? " (" + f[5].virerBalisesHTML + ")" : "")] = f[0]
          }
@@ -49,76 +78,146 @@ class Allocine  < Basemodule
    end
    
    # Voir le parent.
-   def load(id, film)      
-      Thread.current["connexion"] = Net::HTTP::new('www.allocine.fr') if Thread.current["connexion"].nil?
-      connexion = Thread.current["connexion"]
-         
-      r, ficheHtml = connexion.get("/film/fichefilm_gen_cfilm=#{id}.html") 
+   def load(id, film)   
+      loadPath("/film/fichefilm_gen_cfilm=#{id}.html")
+   end
+   
+   def loadURL(url, film)
+      loadPath(URI.parse(url).path, film)
+   end
+   
+   # Voir le parent.
+   def loadPath(path, film)
+      createConnexion
+
+      html = nil
+      begin
+         html = @connexion.get(path).body 
+      rescue Exception => e
+         p e
+         puts "[!] Erreur lors du chargement de #{film.fichiers[0]}, retry.."
+         fermerConnexion
+         createConnexion
+         retry
+      end
+      
+      puts "Pompage de #{film.titre} (#{film.fichiers[0]}) ..."
+      
+      #convertit le code latin-1 en UTF8      
+      html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0]
       
-      #convertit le code latin-1 en UTF8
-      ficheHtml = Iconv.iconv("UTF-8", "ISO-8859-1", ficheHtml)[0]
+      if take?("image")
+         /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ html
+         unless $1.nil?
+            @threadImage = Thread::start($1){|imageUrl|
+               nbRetry = 0
+               begin
+                  imageUrlParsed = URI.parse(imageUrl)               
+                  connexionImage = Net::HTTP::new(imageUrlParsed.host).start
+                  image = connexionImage.get(imageUrlParsed.path).body
+                  f = File::new($repBase + "/" + $repAffichette + film.id.to_s + ".jpg", 'w').binmode
+                  f.write(image)
+                  f.close
+                  connexionImage.finish
+               rescue Exception => e
+                  puts e.message
+                  puts e.backtrace    
+                  puts "[!] Erreur lors du chargement de l'image '#{imageUrl}', retry.."        
+                  retry if (nbRetry += 1) < 5               
+               end
+            }
+         end
+      end
 
       #url
-      film.url = "http://www.allocine.fr/film/fichefilm_gen_cfilm=#{id}.html"
-      
-      # Titre
-      /<title>(.*?)<\/title>/ =~ ficheHtml
-      film.titre = $1 unless $1.nil?
-      
-      puts "Movie found : #{film.titre} (#{film.fichiers[0]})"
-      
-      # Année
-      /<h4>Année de production : (\d+)<\/h4>/ =~ ficheHtml
-      film.annee = $1 unless $1.nil?
-      
-      # Réalisateurs
-      /<h4>Réalisé par(.*?)<\/h4>/ =~ ficheHtml
-      $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a|
-         film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil?
-      } unless $1.nil?
-      
-      # Acteurs
-      /<h4>Avec(.*?)<\/h4>/ =~ ficheHtml
-      $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a|
-         film.acteurs << Personne::ajouter(a[0]) unless a[0].nil? 
-      } unless $1.nil? 
-                
-      # Pays
-      /<h4>Film (.*?)\.&nbsp;<\/h4>/ =~ ficheHtml
-      $1.split(',').each{|pays|
-         film.pays << Pays::ajouter(pays) unless pays.nil?
-      } unless $1.nil? 
-      
-      # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine
-      /<h4>Durée :(?:.*?)(\d+)h/ =~ ficheHtml
-      heure = $1.nil? ? 0 : $1.to_i
-      
-      /<h4>Durée :(?:.*?)(\d+)min/ =~ ficheHtml
-      min = $1.nil? ? 0 : $1.to_i
-         
-      film.duree = heure * 60 + min
-      
-      # Critiques presse et spectateur
-      /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ ficheHtml
-      film.critiquePresse = $1 unless $1.nil?
-      film.critiqueSpectateur = $2 unless $2.nil?
-      
-      # Genre
-      /<h4>Genre : (.*?)<\/h4>/ =~ ficheHtml
-      $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g|
-         film.genres << Genre::ajouter(g[0]) unless g[0].nil?
-      } unless $1.nil?     
-      
-      # Synopsis            
-      /Synopsis.*?<h4>(.*?)<\/h4>/m =~ ficheHtml
-      unless $1.nil?
-         film.synopsis = $1
-         film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n")
-         film.synopsis.virerBalisesHTML!
-      end
-      
-      # Budget       
-      /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ ficheHtml
-      film.budget = $1 unless $1.nil?
+      if take?("url")
+         film.url = "http://www.allocine.fr" + path
+      end
+      
+      if take?("titre")
+         # Titre
+         /<title>(.*?)<\/title>/ =~ html
+         film.titre = $1 unless $1.nil?
+      end
+      
+      if take?("annee")         
+         # Année
+         /<h4>Année de production : (\d+)<\/h4>/ =~ html
+         film.annee = $1 unless $1.nil?
+      end
+      
+      if take?("realisateurs")
+         # Réalisateurs
+         film.realisateurs.clear
+         /<h4>Réalisé par(.*?)<\/h4>/ =~ html
+         $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a|
+            film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil?
+         } unless $1.nil?
+      end
+      
+      if take?("acteurs")
+         # Acteurs
+         film.acteurs.clear
+         /<h4>Avec(.*?)<\/h4>/ =~ html
+         $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a|
+            film.acteurs << Personne::ajouter(a[0]) unless a[0].nil? 
+         } unless $1.nil? 
+      end
+           
+      if take?("pays")
+         # Pays
+         film.pays.clear
+         /<h4>Film (.*?)\.&nbsp;<\/h4>/ =~ html
+         $1.split(',').each{|pays|
+            film.pays << Pays::ajouter(pays) unless pays.nil?
+         } unless $1.nil? 
+      end
+      
+      if take?("duree")
+         # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine
+         /<h4>Durée :(?:.*?)(\d+)h/ =~ html
+         heure = $1.nil? ? 0 : $1.to_i      
+         /<h4>Durée :(?:.*?)(\d+)min/ =~ html
+         min = $1.nil? ? 0 : $1.to_i         
+         film.duree = heure * 60 + min
+      end
+      
+      if take?("critiquenote")
+         # Critiques presse et spectateur
+         /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html
+         film.critiquePresse = $1 unless $1.nil?
+         film.critiqueSpectateur = $2 unless $2.nil?
+      end
+      
+      if take?("genre")
+         # Genre
+         film.genres.clear
+         /<h4>Genre : (.*?)<\/h4>/ =~ html
+         $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g|
+            film.genres << Genre::ajouter(g[0]) unless g[0].nil?
+         } unless $1.nil?     
+      end
+      
+      if take?("synopsis")
+         # Synopsis            
+         /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html
+         unless $1.nil?
+            film.synopsis = $1
+            film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n")
+            film.synopsis.virerBalisesHTML!
+         end
+      end
+      
+      if take?("budget")
+         # Budget       
+         /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html
+         film.budget = $1 unless $1.nil?
+      end
+      
+      fermerConnexion
    end   
+   
+   def finish
+      @threadImage.join if defined? @threadImage
+   end
 end
\ No newline at end of file