src/modules/allocine.rb

   1 # coding: utf-8
   2
   3 require 'net/http'
   4 require 'uri'
   5 require 'cgi'
   6 require 'thread'
   7 require 'iconv'
   8
   9 require "basemodule.rb"
  10
  11 # doc : http://www.ruby-doc.org/stdlib/libdoc/net/http/rdoc/index.html
  12 Net::HTTP.version_1_2
  13
  14 # hack : http://arosien.blogspot.com/2007/06/increasing-rubys-netbufferedio-buffer.html
  15 module Net
  16    class BufferedIO
  17       def rbuf_fill
  18          timeout(@read_timeout) { @rbuf << @io.sysread(32768) }
  19       end
  20    end
  21 end
  22
  23 # un module d'importation pour le site "www.allocine.fr"
  24 class Allocine  < Basemodule
  25
  26    def createConnexion
  27       begin
  28          @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started?
  29       rescue
  30          Puts "[!] Impossible de se connecter à Allocine. Retry.."
  31          retry
  32       end
  33    end
  34
  35    def fermerConnexion
  36       @connexion.finish if defined? @connexion && @connexion.started?    # on admet qu'après un load on a plus besoin de la connexion
  37       @connexion = nil
  38    end
  39
  40    # voir le parent.
  41    def rechercherFilm(titre)
  42       createConnexion
  43
  44       begin
  45          reponse = nil
  46          begin
  47             reponse = @connexion.get("/recherche/?rub=1&motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
  48          rescue Exception => e
  49             p e
  50             puts "[!] Erreur lors de la recherche du titre #{titre}, retry.."
  51             fermerConnexion
  52             createConnexion
  53             retry
  54          end
  55
  56          # convertit le code latin-1 en UTF8
  57          html = Iconv.iconv("UTF-8", "ISO-8859-1", reponse.body)[0]
  58
  59          # si pas trouvé alors on enlève un mot à la fin
  60          if /.*?Pas de résultats.*?/ =~ html || ! html.include?("<h3><b>Films <h4>")
  61             /(.*?)[^ ]+?$/ =~ titre.strip
  62             titre = $1
  63             titre.strip!
  64          else
  65             break;
  66          end
  67       end while not titre.nil? and not titre.empty?
  68
  69       reponses = {}
  70       unless titre.nil? or titre.empty?
  71          r = html.scan(/<a href="\/film\/fichefilm_gen_cfilm=(\d+)\.html" class="link1">(.*?)<\/a>(?:<\/h4><h5 style="color: #666666">&nbsp;(.*?)<\/h5>){0,1}(?:<h4><br \/><\/h4>){0,1}(?:<h4 style="color: #666666"> de (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;avec (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;\((.*?)\)<\/h4>){0,1}/)
  72
  73          r.each{|f|
  74             reponses[f[1].virerBalisesHTML + (f[2] != nil ? " " + f[2].virerBalisesHTML : "") + (f[3] != nil ? " de " + f[3].virerBalisesHTML : "") + (f[4] != nil ? " avec " + f[4].virerBalisesHTML : "") + (f[5] != nil ? " (" + f[5].virerBalisesHTML + ")" : "")] = f[0]
  75          }
  76       end
  77       reponses
  78    end
  79
  80    # Voir le parent.
  81    def load(id, film)
  82       loadPath("/film/fichefilm_gen_cfilm=#{id}.html", film)
  83    end
  84
  85    def loadURL(url, film)
  86       loadPath(URI.parse(url).path, film)
  87    end
  88
  89    # Voir le parent.
  90    def loadPath(path, film)
  91       createConnexion
  92
  93       html = nil
  94       begin
  95          html = @connexion.get(path).body
  96       rescue Exception => e
  97          p e
  98          puts "[!] Erreur lors du chargement de #{film.fichiers[0]}, retry.."
  99          fermerConnexion
 100          createConnexion
 101          retry
 102       end
 103
 104       puts "Pompage de #{film.titre} (#{film.fichiers[0]}) ..."
 105
 106       #convertit le code latin-1 en UTF8
 107       html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0]
 108
 109       if take?("image") && ($force || !film.possedeImage?)
 110          /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ html
 111          unless $1.nil?
 112             @threadImage = Thread::start($1){|imageUrl|
 113                nbRetry = 0
 114                begin
 115                   imageUrlParsed = URI.parse(imageUrl)
 116                   connexionImage = Net::HTTP::new(imageUrlParsed.host).start
 117                   film.setImage(connexionImage.get(imageUrlParsed.path).body)
 118                   connexionImage.finish
 119                rescue Exception => e
 120                   puts e.message
 121                   puts e.backtrace
 122                   puts "[!] Erreur lors du chargement de l'image '#{imageUrl}', retry.."
 123                   retry if (nbRetry += 1) < 5
 124                end
 125             }
 126          end
 127       end
 128
 129       if take?("url") && ($force || film.url == nil)
 130          #url
 131          film.url = "http://www.allocine.fr" + path
 132       end
 133
 134       if take?("titre")
 135          # Titre
 136          /<title>(.*?)<\/title>/ =~ html
 137          film.titre = $1
 138       end
 139
 140       if take?("annee") && ($force || film.annee == nil)
 141          # Année
 142          /<h4>Année de production : (\d+)<\/h4>/ =~ html
 143          film.annee = $1 unless $1.nil?
 144       end
 145
 146       if take?("realisateurs") && ($force || film.realisateurs.empty?)
 147          # Réalisateurs
 148          film.realisateurs.clear
 149          /<h4>Réalisé par(.*?)<\/h4>/ =~ html
 150          $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a|
 151             film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil?
 152          } unless $1.nil?
 153       end
 154
 155       if take?("acteurs") && ($force || film.acteurs.empty?)
 156          # Acteurs
 157          film.acteurs.clear
 158          /<h4>Avec(.*?)<\/h4>/ =~ html
 159          $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a|
 160             film.acteurs << Personne::ajouter(a[0]) unless a[0].nil?
 161          } unless $1.nil?
 162       end
 163
 164       if take?("pays") && ($force || film.pays.empty?)
 165          # Pays
 166          film.pays.clear
 167          /<h4>Film (.*?)\.&nbsp;<\/h4>/ =~ html
 168          $1.split(',').each{|pays|
 169             film.pays << Pays::ajouter(pays) unless pays.nil?
 170          } unless $1.nil?
 171       end
 172
 173       if take?("duree") && ($force || film.duree == nil)
 174          # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine
 175          /<h4>Durée :(?:.*?)(\d+)h/ =~ html
 176          heure = $1.nil? ? 0 : $1.to_i
 177          /<h4>Durée :(?:.*?)(\d+)min/ =~ html
 178          min = $1.nil? ? 0 : $1.to_i
 179          film.duree = heure * 60 + min
 180       end
 181
 182       if take?("critiquenote") && ($force || film.critiquePresse == nil || film.critiqueSpectateur == nil)
 183          # Critiques presse et spectateur
 184          /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html
 185          film.critiquePresse = $1 unless $1.nil?
 186          film.critiqueSpectateur = $2 unless $2.nil?
 187       end
 188
 189       if take?("genres") && ($force || film.genres.empty?)
 190          # Genre
 191          film.genres.clear
 192          /<h4>Genre : (.*?)<\/h4>/ =~ html
 193          $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g|
 194             film.genres << Genre::ajouter(g[0]) unless g[0].nil?
 195          } unless $1.nil?
 196       end
 197
 198       if take?("synopsis") && ($force || film.synopsis == nil)
 199          # Synopsis
 200          /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html
 201          unless $1.nil?
 202             film.synopsis = $1
 203             film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n")
 204             film.synopsis.virerBalisesHTML!
 205          end
 206       end
 207
 208       if take?("budget") && ($force || film.budget == nil)
 209          # Budget
 210          /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html
 211          film.budget = $1 unless $1.nil?
 212       end
 213
 214       fermerConnexion
 215    end
 216
 217    def finish
 218       @threadImage.join if defined? @threadImage
 219    end
 220 end