src/modules/allocine.rb

   1 # coding: utf-8
   2
   3 require 'net/http'
   4 require 'uri'
   5 require 'cgi'
   6 require 'thread'
   7 require 'iconv'
   8
   9 require "basemodule.rb"
  10
  11 # doc : http://www.ruby-doc.org/stdlib/libdoc/net/http/rdoc/index.html
  12 Net::HTTP.version_1_2
  13
  14 # hack : http://arosien.blogspot.com/2007/06/increasing-rubys-netbufferedio-buffer.html
  15 module Net
  16    class BufferedIO
  17       def rbuf_fill
  18          timeout(@read_timeout) { @rbuf << @io.sysread(32768) }
  19       end
  20    end
  21 end
  22
  23 # Un module d'importation pour le site "www.allocine.fr".
  24 class Allocine  < Basemodule
  25
  26    def createConnexion
  27       begin
  28          @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started?
  29       rescue
  30          Puts "[!] Impossible de se connecter à Allocine. Retry.."
  31          retry
  32       end
  33    end
  34
  35    def fermerConnexion
  36       @connexion.finish if defined? @connexion && @connexion.started?    # on admet qu'après un load on a plus besoin de la connexion
  37       @connexion = nil
  38    end
  39
  40    # Voir le parent.
  41    def rechercherFilm(titre)
  42       createConnexion
  43
  44       begin
  45          reponse = nil
  46          begin
  47             reponse = @connexion.get("/recherche/?rub=1&motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
  48          rescue Exception => e
  49             p e
  50             puts "[!] Erreur lors de la recherche du titre #{titre}, retry.."
  51             fermerConnexion
  52             createConnexion
  53             retry
  54          end
  55
  56          # convertit le code latin-1 en UTF8
  57          html = Iconv.iconv("UTF-8", "ISO-8859-1", reponse.body)[0]
  58
  59          # si pas trouvé alors on enlève un mot à la fin
  60          if /.*?Pas de résultats.*?/ =~ html || ! html.include?("<h3><b>Films <h4>")
  61             /(.*?)[^ ]+?$/ =~ titre.strip
  62             titre = $1
  63             titre.strip!
  64          else
  65             break;
  66          end
  67       end while not titre.nil? and not titre.empty?
  68
  69       reponses = {}
  70       unless titre.nil? or titre.empty?
  71          r = html.scan(/<h4><a href="\/film\/fichefilm_gen_cfilm=(\d+)\.html".*?>(.*?)<\/a><\/h4>(?:<h5><a .*?>&nbsp;(.*?)<\/a><\/h5>)?(?:<div.*?><h4.*?>(\d*?){4}<\/h4><\/div>)?(?:<div.*?><h5.*?>de (.*?)<\/h5><\/div>)?(?:<div.*?><h5.*?>avec (.*?)<\/h5><\/div>)?/)
  72          # f[0] : l'id allocine du film
  73          # f[1] : nom
  74          # f[2] : nom original
  75          # f[3] : année
  76          # f[4] : réalisateur
  77          # f[5] : acteurs
  78          r.each{|f|
  79             reponses[f[1].virerBalisesHTML + (f[2] != nil ? " " + f[2].virerBalisesHTML : "") + (f[4] != nil ? " de " + f[4].virerBalisesHTML : "") + (f[5] != nil ? " avec " + f[5].virerBalisesHTML : "") + (f[3] != nil ? " (" + f[3].virerBalisesHTML + ")" : "")] = f[0]
  80          }
  81       end
  82       reponses
  83    end
  84
  85    # Voir le parent.
  86    def load(id, film)
  87       loadPath("/film/fichefilm_gen_cfilm=#{id}.html", film)
  88    end
  89
  90    # Voir le parent.
  91    def loadURL(url, film)
  92       loadPath(URI.parse(url).path, film)
  93    end
  94
  95    def loadPath(path, film)
  96       createConnexion
  97
  98       html = nil
  99       begin
 100          html = @connexion.get(path).body
 101       rescue Exception => e
 102          p e
 103          puts "[!] Erreur lors du chargement de #{film.fichiers[0]}, retry.."
 104          fermerConnexion
 105          createConnexion
 106          retry
 107       end
 108
 109       puts "Pompage de #{film.titre} (#{film.fichiers[0]}) ..."
 110
 111       # convertit le code latin-1 en UTF8
 112       html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0]
 113
 114       # pompage de l'image dans un thread séparé
 115       if take?("image") && ($force || !film.possedeImage?)
 116          /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ html
 117          unless $1.nil?
 118             @threadImage = Thread::start($1){|imageUrl|
 119                nbRetry = 0
 120                begin
 121                   imageUrlParsed = URI.parse(imageUrl)
 122                   connexionImage = Net::HTTP::new(imageUrlParsed.host).start
 123                   film.setImage(connexionImage.get(imageUrlParsed.path).body)
 124                   connexionImage.finish
 125                rescue Exception => e
 126                   puts e.message
 127                   puts e.backtrace
 128                   puts "[!] Erreur lors du chargement de l'image '#{imageUrl}', retry.."
 129                   retry if (nbRetry += 1) < 5
 130                end
 131             }
 132          end
 133       end
 134
 135       if take?("url") && ($force || film.url == nil)
 136          #url
 137          film.url = "http://www.allocine.fr" + path
 138       end
 139
 140       if take?("titre")
 141          # Titre
 142          /<title>(.*?)<\/title>/ =~ html
 143          film.titre = $1
 144       end
 145
 146       if take?("annee") && ($force || film.annee == nil)
 147          # Année
 148          /<h4>Année de production : (\d+)<\/h4>/ =~ html
 149          film.annee = $1 unless $1.nil?
 150       end
 151
 152       if take?("realisateurs") && ($force || film.realisateurs.empty?)
 153          # Réalisateurs
 154          film.realisateurs.clear
 155          /<h4>Réalisé par(.*?)<\/h4>/ =~ html
 156          $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a|
 157             film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil?
 158          } unless $1.nil?
 159       end
 160
 161       if take?("acteurs") && ($force || film.acteurs.empty?)
 162          # Acteurs
 163          film.acteurs.clear
 164          /<h4>Avec(.*?)<\/h4>/ =~ html
 165          $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a|
 166             film.acteurs << Personne::ajouter(a[0]) unless a[0].nil?
 167          } unless $1.nil?
 168       end
 169
 170       if take?("pays") && ($force || film.pays.empty?)
 171          # Pays
 172          film.pays.clear
 173          /<h4>Film (.*?)\.&nbsp;<\/h4>/ =~ html
 174          $1.split(',').each{|pays|
 175             film.pays << Pays::ajouter(pays.strip) unless pays.nil?
 176          } unless $1.nil?
 177       end
 178
 179       if take?("duree") && ($force || film.duree == nil)
 180          # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine
 181          /<h4>Durée :(?:.*?)(\d+)h/ =~ html
 182          heure = $1.nil? ? 0 : $1.to_i
 183          /<h4>Durée :(?:.*?)(\d+)min/ =~ html
 184          min = $1.nil? ? 0 : $1.to_i
 185          film.duree = heure * 60 + min
 186       end
 187
 188       if take?("critiquenote") && ($force || film.critiquePresse == nil || film.critiqueSpectateur == nil)
 189          # Critiques presse et spectateur
 190          /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html
 191          film.critiquePresse = $1 unless $1.nil?
 192          film.critiqueSpectateur = $2 unless $2.nil?
 193       end
 194
 195       if take?("genres") && ($force || film.genres.empty?)
 196          # Genre
 197          film.genres.clear
 198          /<h4>Genre : (.*?)<\/h4>/ =~ html
 199          $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g|
 200             film.genres << Genre::ajouter(g[0]) unless g[0].nil?
 201          } unless $1.nil?
 202       end
 203
 204       if take?("synopsis") && ($force || film.synopsis == nil)
 205          # Synopsis
 206          /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html
 207          unless $1.nil?
 208             film.synopsis = $1
 209             film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n")
 210             film.synopsis.virerBalisesHTML!
 211          end
 212       end
 213
 214       if take?("budget") && ($force || film.budget == nil)
 215          # Budget
 216          /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html
 217          film.budget = $1 unless $1.nil?
 218       end
 219
 220       fermerConnexion
 221    end
 222
 223    def finish
 224       # on attend que tous les threads de pompage d'image aient terminé
 225       @threadImage.join if defined? @threadImage
 226    end
 227 end