X-Git-Url: http://git.euphorik.ch/?a=blobdiff_plain;f=src%2Fmodules%2Fallocine.rb;h=1a28000f705b5de3bfeb01e8a6686d309e4f0b3e;hb=2cf96462fb75a5e95cf70ac288e8ffd08aad29de;hp=01764f82eed968800aa218e532add70e312a0d8d;hpb=c3b0deb3d8c9f439739c79806e915c29bc1d4b84;p=pompage.git diff --git a/src/modules/allocine.rb b/src/modules/allocine.rb index 01764f8..1a28000 100644 --- a/src/modules/allocine.rb +++ b/src/modules/allocine.rb @@ -20,12 +20,16 @@ module Net end end - -# un module d'importation pour le site "www.allocine.fr" +# Un module d'importation pour le site "www.allocine.fr". class Allocine < Basemodule def createConnexion - @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started? + begin + @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started? + rescue + Puts "[!] Impossible de se connecter à Allocine. Retry.." + retry + end end def fermerConnexion @@ -33,10 +37,10 @@ class Allocine < Basemodule @connexion = nil end - # voir le parent. + # Voir le parent. def rechercherFilm(titre) createConnexion - + begin reponse = nil begin @@ -64,10 +68,15 @@ class Allocine < Basemodule reponses = {} unless titre.nil? or titre.empty? - r = html.scan(/(.*?)<\/a>(?:<\/h4>
 (.*?)<\/h5>){0,1}(?:


<\/h4>){0,1}(?:

de (.*?)<\/h4>){0,1}(?:

 avec (.*?)<\/h4>){0,1}(?:

 \((.*?)\)<\/h4>){0,1}/) - + r = html.scan(/

(.*?)<\/a><\/h4>(?:
 (.*?)<\/a><\/h5>)?(?:(\d*?){4}<\/h4><\/div>)?(?:de (.*?)<\/h5><\/div>)?(?:avec (.*?)<\/h5><\/div>)?/) + # f[0] : l'id allocine du film + # f[1] : nom + # f[2] : nom original + # f[3] : année + # f[4] : réalisateur + # f[5] : acteurs r.each{|f| - reponses[f[1].virerBalisesHTML + (f[2] != nil ? " " + f[2].virerBalisesHTML : "") + (f[3] != nil ? " de " + f[3].virerBalisesHTML : "") + (f[4] != nil ? " avec " + f[4].virerBalisesHTML : "") + (f[5] != nil ? " (" + f[5].virerBalisesHTML + ")" : "")] = f[0] + reponses[f[1].virerBalisesHTML + (f[2] != nil ? " " + f[2].virerBalisesHTML : "") + (f[4] != nil ? " de " + f[4].virerBalisesHTML : "") + (f[5] != nil ? " avec " + f[5].virerBalisesHTML : "") + (f[3] != nil ? " (" + f[3].virerBalisesHTML + ")" : "")] = f[0] } end reponses @@ -75,11 +84,20 @@ class Allocine < Basemodule # Voir le parent. def load(id, film) + loadPath("/film/fichefilm_gen_cfilm=#{id}.html", film) + end + + # Voir le parent. + def loadURL(url, film) + loadPath(URI.parse(url).path, film) + end + + def loadPath(path, film) createConnexion html = nil begin - html = @connexion.get("/film/fichefilm_gen_cfilm=#{id}.html").body + html = @connexion.get(path).body rescue Exception => e p e puts "[!] Erreur lors du chargement de #{film.fichiers[0]}, retry.." @@ -87,96 +105,123 @@ class Allocine < Basemodule createConnexion retry end - - // =~ html - unless $1.nil? - @threadImage = Thread::start($1){|imageUrl| - begin - imageUrl = URI.parse(imageUrl) - connexionImage = Net::HTTP::new(imageUrl.host).start - image = connexionImage.get(imageUrl.path).body - f = File::new($repBase + "/" + $repAffichette + film.id.to_s + ".jpg", 'w').binmode - f.write(image) - f.close - connexionImage.finish - rescue Exception => e - puts e.message - puts e.backtrace - puts "[!] Erreur lors du chargement de l'image #{imageUrl}, retry.." - retry - end - } - end - - #convertit le code latin-1 en UTF8 - html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0] - #url - film.url = "http://www.allocine.fr/film/fichefilm_gen_cfilm=#{id}.html" - # Titre - /(.*?)<\/title>/ =~ html - film.titre = $1 unless $1.nil? + puts "Pompage de #{film.titre} (#{film.fichiers[0]}) ..." - puts "Movie found : #{film.titre} (#{film.fichiers[0]})" + # convertit le code latin-1 en UTF8 + html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0] + + # pompage de l'image dans un thread séparé + if take?("image") && ($force || !film.possedeImage?) + /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ html + unless $1.nil? + @threadImage = Thread::start($1){|imageUrl| + nbRetry = 0 + begin + imageUrlParsed = URI.parse(imageUrl) + connexionImage = Net::HTTP::new(imageUrlParsed.host).start + film.setImage(connexionImage.get(imageUrlParsed.path).body) + connexionImage.finish + rescue Exception => e + puts e.message + puts e.backtrace + puts "[!] Erreur lors du chargement de l'image '#{imageUrl}', retry.." + retry if (nbRetry += 1) < 5 + end + } + end + end + + if take?("url") && ($force || film.url == nil) + #url + film.url = "http://www.allocine.fr" + path + end - # Année - /<h4>Année de production : (\d+)<\/h4>/ =~ html - film.annee = $1 unless $1.nil? + if take?("titre") + # Titre + /<title>(.*?)<\/title>/ =~ html + film.titre = $1 + end - # Réalisateurs - /<h4>Réalisé par(.*?)<\/h4>/ =~ html - $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a| - film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil? - } unless $1.nil? + if take?("annee") && ($force || film.annee == nil) + # Année + /<h4>Année de production : (\d+)<\/h4>/ =~ html + film.annee = $1 unless $1.nil? + end - # Acteurs - /<h4>Avec(.*?)<\/h4>/ =~ html - $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a| - film.acteurs << Personne::ajouter(a[0]) unless a[0].nil? - } unless $1.nil? - - # Pays - /<h4>Film (.*?)\. <\/h4>/ =~ html - $1.split(',').each{|pays| - film.pays << Pays::ajouter(pays) unless pays.nil? - } unless $1.nil? + if take?("realisateurs") && ($force || film.realisateurs.empty?) + # Réalisateurs + film.realisateurs.clear + /<h4>Réalisé par(.*?)<\/h4>/ =~ html + $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a| + film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil? + } unless $1.nil? + end - # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine - /<h4>Durée :(?:.*?)(\d+)h/ =~ html - heure = $1.nil? ? 0 : $1.to_i + if take?("acteurs") && ($force || film.acteurs.empty?) + # Acteurs + film.acteurs.clear + /<h4>Avec(.*?)<\/h4>/ =~ html + $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a| + film.acteurs << Personne::ajouter(a[0]) unless a[0].nil? + } unless $1.nil? + end + + if take?("pays") && ($force || film.pays.empty?) + # Pays + film.pays.clear + /<h4>Film (.*?)\. <\/h4>/ =~ html + $1.split(',').each{|pays| + film.pays << Pays::ajouter(pays.strip) unless pays.nil? + } unless $1.nil? + end - /<h4>Durée :(?:.*?)(\d+)min/ =~ html - min = $1.nil? ? 0 : $1.to_i - - film.duree = heure * 60 + min + if take?("duree") && ($force || film.duree == nil) + # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine + /<h4>Durée :(?:.*?)(\d+)h/ =~ html + heure = $1.nil? ? 0 : $1.to_i + /<h4>Durée :(?:.*?)(\d+)min/ =~ html + min = $1.nil? ? 0 : $1.to_i + film.duree = heure * 60 + min + end - # Critiques presse et spectateur - /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html - film.critiquePresse = $1 unless $1.nil? - film.critiqueSpectateur = $2 unless $2.nil? + if take?("critiquenote") && ($force || film.critiquePresse == nil || film.critiqueSpectateur == nil) + # Critiques presse et spectateur + /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html + film.critiquePresse = $1 unless $1.nil? + film.critiqueSpectateur = $2 unless $2.nil? + end - # Genre - /<h4>Genre : (.*?)<\/h4>/ =~ html - $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g| - film.genres << Genre::ajouter(g[0]) unless g[0].nil? - } unless $1.nil? + if take?("genres") && ($force || film.genres.empty?) + # Genre + film.genres.clear + /<h4>Genre : (.*?)<\/h4>/ =~ html + $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g| + film.genres << Genre::ajouter(g[0]) unless g[0].nil? + } unless $1.nil? + end - # Synopsis - /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html - unless $1.nil? - film.synopsis = $1 - film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n") - film.synopsis.virerBalisesHTML! + if take?("synopsis") && ($force || film.synopsis == nil) + # Synopsis + /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html + unless $1.nil? + film.synopsis = $1 + film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n") + film.synopsis.virerBalisesHTML! + end end - # Budget - /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html - film.budget = $1 unless $1.nil? + if take?("budget") && ($force || film.budget == nil) + # Budget + /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html + film.budget = $1 unless $1.nil? + end fermerConnexion - end + end def finish + # on attend que tous les threads de pompage d'image aient terminé @threadImage.join if defined? @threadImage end end \ No newline at end of file