src/modules/allocine.rb

   1 # coding: utf-8
   2
   3 require 'net/http'
   4 require 'uri'
   5 require 'cgi'
   6 require 'thread'
   7 require 'iconv'
   8
   9 require "basemodule.rb"
  10
  11 # doc : http://www.ruby-doc.org/stdlib/libdoc/net/http/rdoc/index.html
  12 Net::HTTP.version_1_2
  13
  14 # hack : http://arosien.blogspot.com/2007/06/increasing-rubys-netbufferedio-buffer.html
  15 module Net
  16    class BufferedIO
  17       def rbuf_fill
  18          timeout(@read_timeout) { @rbuf << @io.sysread(32768) }
  19       end
  20    end
  21 end
  22
  23 # Un module d'importation pour le site "www.allocine.fr".
  24 class Allocine  < Basemodule
  25
  26    def createConnexion
  27       begin
  28          @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started?
  29       rescue
  30          Puts "[!] Impossible de se connecter à Allocine. Retry.."
  31          retry
  32       end
  33    end
  34
  35    def fermerConnexion
  36       @connexion.finish if defined? @connexion && @connexion.started?    # on admet qu'après un load on a plus besoin de la connexion
  37       @connexion = nil
  38    end
  39
  40    # Voir le parent.
  41    def rechercherFilm(titre)
  42       createConnexion
  43
  44       begin
  45          reponse = nil
  46          begin
  47             reponse = @connexion.get("/recherche/?rub=1&motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
  48          rescue Exception => e
  49             p e
  50             puts "[!] Erreur lors de la recherche du titre #{titre}, retry.."
  51             fermerConnexion
  52             createConnexion
  53             retry
  54          end
  55
  56          # convertit le code latin-1 en UTF8
  57          html = Iconv.iconv("UTF-8", "ISO-8859-1", reponse.body)[0]
  58
  59          # si pas trouvé alors on enlève un mot à la fin
  60          if /.*?Pas de résultats.*?/ =~ html || ! html.include?("<h3><b>Films <h4>")
  61             /(.*?)[^ ]+?$/ =~ titre.strip
  62             titre = $1
  63             titre.strip!
  64          else
  65             break;
  66          end
  67       end while not titre.nil? and not titre.empty?
  68
  69       reponses = {}
  70       unless titre.nil? or titre.empty?
  71          r = html.scan(/<a href="\/film\/fichefilm_gen_cfilm=(\d+)\.html" class="link1">(.*?)<\/a>(?:<\/h4><h5 style="color: #666666">&nbsp;(.*?)<\/h5>){0,1}(?:<h4><br \/><\/h4>){0,1}(?:<h4 style="color: #666666"> de (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;avec (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;\((.*?)\)<\/h4>){0,1}/)
  72
  73          r.each{|f|
  74             reponses[f[1].virerBalisesHTML + (f[2] != nil ? " " + f[2].virerBalisesHTML : "") + (f[3] != nil ? " de " + f[3].virerBalisesHTML : "") + (f[4] != nil ? " avec " + f[4].virerBalisesHTML : "") + (f[5] != nil ? " (" + f[5].virerBalisesHTML + ")" : "")] = f[0]
  75          }
  76       end
  77       reponses
  78    end
  79
  80    # Voir le parent.
  81    def load(id, film)
  82       loadPath("/film/fichefilm_gen_cfilm=#{id}.html", film)
  83    end
  84
  85    # Voir le parent.
  86    def loadURL(url, film)
  87       loadPath(URI.parse(url).path, film)
  88    end
  89
  90    def loadPath(path, film)
  91       createConnexion
  92
  93       html = nil
  94       begin
  95          html = @connexion.get(path).body
  96       rescue Exception => e
  97          p e
  98          puts "[!] Erreur lors du chargement de #{film.fichiers[0]}, retry.."
  99          fermerConnexion
 100          createConnexion
 101          retry
 102       end
 103
 104       puts "Pompage de #{film.titre} (#{film.fichiers[0]}) ..."
 105
 106       # convertit le code latin-1 en UTF8
 107       html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0]
 108
 109       # pompage de l'image dans un thread séparé
 110       if take?("image") && ($force || !film.possedeImage?)
 111          /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ html
 112          unless $1.nil?
 113             @threadImage = Thread::start($1){|imageUrl|
 114                nbRetry = 0
 115                begin
 116                   imageUrlParsed = URI.parse(imageUrl)
 117                   connexionImage = Net::HTTP::new(imageUrlParsed.host).start
 118                   film.setImage(connexionImage.get(imageUrlParsed.path).body)
 119                   connexionImage.finish
 120                rescue Exception => e
 121                   puts e.message
 122                   puts e.backtrace
 123                   puts "[!] Erreur lors du chargement de l'image '#{imageUrl}', retry.."
 124                   retry if (nbRetry += 1) < 5
 125                end
 126             }
 127          end
 128       end
 129
 130       if take?("url") && ($force || film.url == nil)
 131          #url
 132          film.url = "http://www.allocine.fr" + path
 133       end
 134
 135       if take?("titre")
 136          # Titre
 137          /<title>(.*?)<\/title>/ =~ html
 138          film.titre = $1
 139       end
 140
 141       if take?("annee") && ($force || film.annee == nil)
 142          # Année
 143          /<h4>Année de production : (\d+)<\/h4>/ =~ html
 144          film.annee = $1 unless $1.nil?
 145       end
 146
 147       if take?("realisateurs") && ($force || film.realisateurs.empty?)
 148          # Réalisateurs
 149          film.realisateurs.clear
 150          /<h4>Réalisé par(.*?)<\/h4>/ =~ html
 151          $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a|
 152             film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil?
 153          } unless $1.nil?
 154       end
 155
 156       if take?("acteurs") && ($force || film.acteurs.empty?)
 157          # Acteurs
 158          film.acteurs.clear
 159          /<h4>Avec(.*?)<\/h4>/ =~ html
 160          $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a|
 161             film.acteurs << Personne::ajouter(a[0]) unless a[0].nil?
 162          } unless $1.nil?
 163       end
 164
 165       if take?("pays") && ($force || film.pays.empty?)
 166          # Pays
 167          film.pays.clear
 168          /<h4>Film (.*?)\.&nbsp;<\/h4>/ =~ html
 169          $1.split(',').each{|pays|
 170             film.pays << Pays::ajouter(pays) unless pays.nil?
 171          } unless $1.nil?
 172       end
 173
 174       if take?("duree") && ($force || film.duree == nil)
 175          # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine
 176          /<h4>Durée :(?:.*?)(\d+)h/ =~ html
 177          heure = $1.nil? ? 0 : $1.to_i
 178          /<h4>Durée :(?:.*?)(\d+)min/ =~ html
 179          min = $1.nil? ? 0 : $1.to_i
 180          film.duree = heure * 60 + min
 181       end
 182
 183       if take?("critiquenote") && ($force || film.critiquePresse == nil || film.critiqueSpectateur == nil)
 184          # Critiques presse et spectateur
 185          /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html
 186          film.critiquePresse = $1 unless $1.nil?
 187          film.critiqueSpectateur = $2 unless $2.nil?
 188       end
 189
 190       if take?("genres") && ($force || film.genres.empty?)
 191          # Genre
 192          film.genres.clear
 193          /<h4>Genre : (.*?)<\/h4>/ =~ html
 194          $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g|
 195             film.genres << Genre::ajouter(g[0]) unless g[0].nil?
 196          } unless $1.nil?
 197       end
 198
 199       if take?("synopsis") && ($force || film.synopsis == nil)
 200          # Synopsis
 201          /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html
 202          unless $1.nil?
 203             film.synopsis = $1
 204             film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n")
 205             film.synopsis.virerBalisesHTML!
 206          end
 207       end
 208
 209       if take?("budget") && ($force || film.budget == nil)
 210          # Budget
 211          /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html
 212          film.budget = $1 unless $1.nil?
 213       end
 214
 215       fermerConnexion
 216    end
 217
 218    def finish
 219       # on attend que tous les threads de pompage d'image aient terminé
 220       @threadImage.join if defined? @threadImage
 221    end
 222 end