X-Git-Url: http://git.euphorik.ch/?p=pompage.git;a=blobdiff_plain;f=src%2Fmodules%2Fallocine.rb;h=01764f82eed968800aa218e532add70e312a0d8d;hp=893f7ed8c28e10be37bf9a45992eae0678ef11bc;hb=c3b0deb3d8c9f439739c79806e915c29bc1d4b84;hpb=cff6539539a79e014f6ac8df46716cafce2c8472

diff --git a/src/modules/allocine.rb b/src/modules/allocine.rb
index 893f7ed..01764f8 100644
--- a/src/modules/allocine.rb
+++ b/src/modules/allocine.rb
@@ -1,3 +1,5 @@
+# coding: utf-8
+
 require 'net/http'
 require 'uri'
 require 'cgi'
@@ -6,32 +8,52 @@ require 'iconv'
 
 require "basemodule.rb"
 
+# doc : http://www.ruby-doc.org/stdlib/libdoc/net/http/rdoc/index.html
+Net::HTTP.version_1_2
+
+# hack : http://arosien.blogspot.com/2007/06/increasing-rubys-netbufferedio-buffer.html
+module Net
+   class BufferedIO
+      def rbuf_fill
+         timeout(@read_timeout) { @rbuf << @io.sysread(32768) }
+      end
+   end
+end
+
+
 # un module d'importation pour le site "www.allocine.fr"
 class Allocine  < Basemodule
    
    def createConnexion
-      @connexion = Net::HTTP::new('www.allocine.fr') if @connexion.nil?      
+      @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started?
    end
    
-   # Voir le parent.
+   def fermerConnexion      
+      @connexion.finish if defined? @connexion && @connexion.started?    # on admet qu'après un load on a plus besoin de la connexion
+      @connexion = nil
+   end
+   
+   # voir le parent.
    def rechercherFilm(titre)
       createConnexion
 
-      donneesHtml = nil
       begin
+         reponse = nil
          begin
-            reponse, donneesHtml = @connexion.get("/recherche/?rub=1&motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
+            reponse = @connexion.get("/recherche/?rub=1&motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
          rescue Exception => e
             p e
-            puts "[!] Connexion lost, retry.."
+            puts "[!] Erreur lors de la recherche du titre #{titre}, retry.."
+            fermerConnexion
+            createConnexion
             retry
          end
+      
+         # convertit le code latin-1 en UTF8
+         html = Iconv.iconv("UTF-8", "ISO-8859-1", reponse.body)[0]
          
-         #convertit le code latin-1 en UTF8
-         donneesHtml = Iconv.iconv("UTF-8", "ISO-8859-1", donneesHtml)[0]
-         
-         #si pas trouvé alors on enlève un mot à la fin
-         if /.*?Pas de résultats.*?/ =~ donneesHtml || ! donneesHtml.include?("<h3><b>Films <h4>")
+         # si pas trouvé alors on enlève un mot à la fin
+         if /.*?Pas de résultats.*?/ =~ html || ! html.include?("<h3><b>Films <h4>")
             /(.*?)[^ ]+?$/ =~ titre.strip
             titre = $1
             titre.strip!
@@ -42,8 +64,8 @@ class Allocine  < Basemodule
       
       reponses = {}
       unless titre.nil? or titre.empty?
-         r = donneesHtml.scan(/<a href="\/film\/fichefilm_gen_cfilm=(\d+)\.html" class="link1">(.*?)<\/a>(?:<\/h4><h5 style="color: #666666">&nbsp;(.*?)<\/h5>){0,1}(?:<h4><br \/><\/h4>){0,1}(?:<h4 style="color: #666666"> de (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;avec (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;\((.*?)\)<\/h4>){0,1}/)
-         
+         r = html.scan(/<a href="\/film\/fichefilm_gen_cfilm=(\d+)\.html" class="link1">(.*?)<\/a>(?:<\/h4><h5 style="color: #666666">&nbsp;(.*?)<\/h5>){0,1}(?:<h4><br \/><\/h4>){0,1}(?:<h4 style="color: #666666"> de (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;avec (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;\((.*?)\)<\/h4>){0,1}/)
+
          r.each{|f|
             reponses[f[1].virerBalisesHTML + (f[2] != nil ? " " + f[2].virerBalisesHTML : "") + (f[3] != nil ? " de " + f[3].virerBalisesHTML : "") + (f[4] != nil ? " avec " + f[4].virerBalisesHTML : "") + (f[5] != nil ? " (" + f[5].virerBalisesHTML + ")" : "")] = f[0]
          }
@@ -52,84 +74,95 @@ class Allocine  < Basemodule
    end
    
    # Voir le parent.
-   def load(id, film)      
+   def load(id, film)   
       createConnexion
 
-      r, ficheHtml = @connexion.get("/film/fichefilm_gen_cfilm=#{id}.html") 
-      
-      /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ ficheHtml
+      html = nil
+      begin
+         html = @connexion.get("/film/fichefilm_gen_cfilm=#{id}.html").body 
+      rescue Exception => e
+         p e
+         puts "[!] Erreur lors du chargement de #{film.fichiers[0]}, retry.."
+         fermerConnexion
+         createConnexion
+         retry
+      end
+         
+      /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ html
       unless $1.nil?
-         @threadImage = Thread::new($1){|imageUrl|
+         @threadImage = Thread::start($1){|imageUrl|
             begin
                imageUrl = URI.parse(imageUrl)               
-               connexionImage = Net::HTTP::new(imageUrl.host)
-               r, image = connexionImage.get(imageUrl.path)
+               connexionImage = Net::HTTP::new(imageUrl.host).start
+               image = connexionImage.get(imageUrl.path).body
                f = File::new($repBase + "/" + $repAffichette + film.id.to_s + ".jpg", 'w').binmode
                f.write(image)
                f.close
+               connexionImage.finish
             rescue Exception => e
                puts e.message
-               puts e.backtrace            
+               puts e.backtrace    
+               puts "[!] Erreur lors du chargement de l'image #{imageUrl}, retry.."        
+               retry
             end
          }
       end
 
-      #convertit le code latin-1 en UTF8
-      ficheHtml = Iconv.iconv("UTF-8", "ISO-8859-1", ficheHtml)[0]
-
+      #convertit le code latin-1 en UTF8      
+      html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0]
       #url
       film.url = "http://www.allocine.fr/film/fichefilm_gen_cfilm=#{id}.html"
       
       # Titre
-      /<title>(.*?)<\/title>/ =~ ficheHtml
+      /<title>(.*?)<\/title>/ =~ html
       film.titre = $1 unless $1.nil?
       
       puts "Movie found : #{film.titre} (#{film.fichiers[0]})"
       
       # Année
-      /<h4>Année de production : (\d+)<\/h4>/ =~ ficheHtml
+      /<h4>Année de production : (\d+)<\/h4>/ =~ html
       film.annee = $1 unless $1.nil?
       
       # Réalisateurs
-      /<h4>Réalisé par(.*?)<\/h4>/ =~ ficheHtml
+      /<h4>Réalisé par(.*?)<\/h4>/ =~ html
       $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a|
          film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil?
       } unless $1.nil?
       
       # Acteurs
-      /<h4>Avec(.*?)<\/h4>/ =~ ficheHtml
+      /<h4>Avec(.*?)<\/h4>/ =~ html
       $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a|
          film.acteurs << Personne::ajouter(a[0]) unless a[0].nil? 
       } unless $1.nil? 
                 
       # Pays
-      /<h4>Film (.*?)\.&nbsp;<\/h4>/ =~ ficheHtml
+      /<h4>Film (.*?)\.&nbsp;<\/h4>/ =~ html
       $1.split(',').each{|pays|
          film.pays << Pays::ajouter(pays) unless pays.nil?
       } unless $1.nil? 
       
       # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine
-      /<h4>Durée :(?:.*?)(\d+)h/ =~ ficheHtml
+      /<h4>Durée :(?:.*?)(\d+)h/ =~ html
       heure = $1.nil? ? 0 : $1.to_i
       
-      /<h4>Durée :(?:.*?)(\d+)min/ =~ ficheHtml
+      /<h4>Durée :(?:.*?)(\d+)min/ =~ html
       min = $1.nil? ? 0 : $1.to_i
          
       film.duree = heure * 60 + min
       
       # Critiques presse et spectateur
-      /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ ficheHtml
+      /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html
       film.critiquePresse = $1 unless $1.nil?
       film.critiqueSpectateur = $2 unless $2.nil?
       
       # Genre
-      /<h4>Genre : (.*?)<\/h4>/ =~ ficheHtml
+      /<h4>Genre : (.*?)<\/h4>/ =~ html
       $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g|
          film.genres << Genre::ajouter(g[0]) unless g[0].nil?
       } unless $1.nil?     
       
       # Synopsis            
-      /Synopsis.*?<h4>(.*?)<\/h4>/m =~ ficheHtml
+      /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html
       unless $1.nil?
          film.synopsis = $1
          film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n")
@@ -137,8 +170,10 @@ class Allocine  < Basemodule
       end
       
       # Budget       
-      /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ ficheHtml
+      /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html
       film.budget = $1 unless $1.nil?
+      
+      fermerConnexion
    end   
    
    def finish