X-Git-Url: http://git.euphorik.ch/?a=blobdiff_plain;f=src%2Fmodules%2Fallocine.rb;h=e441f310e1fbd460e20dc65277d00fbdab9d52b1;hb=9dfa911b2000f89093627cc8cc95e1762c4310d2;hp=7f232f221400ec97c5b87c60d2bd96e0a13c8e1a;hpb=65b1d997960b1600d25878c78664d4d43e2b37c0;p=pompage.git diff --git a/src/modules/allocine.rb b/src/modules/allocine.rb index 7f232f2..e441f31 100644 --- a/src/modules/allocine.rb +++ b/src/modules/allocine.rb @@ -20,12 +20,16 @@ module Net end end - -# un module d'importation pour le site "www.allocine.fr" +# Un module d'importation pour le site "www.allocine.fr". class Allocine < Basemodule def createConnexion - @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started? + begin + @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started? + rescue + Puts "[!] Impossible de se connecter à Allocine. Retry.." + retry + end end def fermerConnexion @@ -33,10 +37,10 @@ class Allocine < Basemodule @connexion = nil end - # voir le parent. + # Voir le parent. def rechercherFilm(titre) createConnexion - + begin reponse = nil begin @@ -64,7 +68,7 @@ class Allocine < Basemodule reponses = {} unless titre.nil? or titre.empty? - r = html.scan(/(.*?)<\/a>(?:<\/h4>
 (.*?)<\/h5>){0,1}(?:


<\/h4>){0,1}(?:

de (.*?)<\/h4>){0,1}(?:

 avec (.*?)<\/h4>){0,1}(?:

 \((.*?)\)<\/h4>){0,1}/) + r = html.scan(/(.*?)<\/a>(?:<\/h4>
 (.*?)<\/h5>)?(?:


de (.*?)<\/h4>)?(?:


avec (.*?)<\/h4>)?(?:

 \((.*?)\)<\/h4>)?/) r.each{|f| reponses[f[1].virerBalisesHTML + (f[2] != nil ? " " + f[2].virerBalisesHTML : "") + (f[3] != nil ? " de " + f[3].virerBalisesHTML : "") + (f[4] != nil ? " avec " + f[4].virerBalisesHTML : "") + (f[5] != nil ? " (" + f[5].virerBalisesHTML + ")" : "")] = f[0] @@ -75,11 +79,20 @@ class Allocine < Basemodule # Voir le parent. def load(id, film) + loadPath("/film/fichefilm_gen_cfilm=#{id}.html", film) + end + + # Voir le parent. + def loadURL(url, film) + loadPath(URI.parse(url).path, film) + end + + def loadPath(path, film) createConnexion html = nil begin - html = @connexion.get("/film/fichefilm_gen_cfilm=#{id}.html").body + html = @connexion.get(path).body rescue Exception => e p e puts "[!] Erreur lors du chargement de #{film.fichiers[0]}, retry.." @@ -87,97 +100,123 @@ class Allocine < Basemodule createConnexion retry end - - // =~ html - unless $1.nil? - @threadImage = Thread::start($1){|imageUrl| - nbRetry = 0 - begin - imageUrl = URI.parse(imageUrl) - connexionImage = Net::HTTP::new(imageUrl.host).start - image = connexionImage.get(imageUrl.path).body - f = File::new($repBase + "/" + $repAffichette + film.id.to_s + ".jpg", 'w').binmode - f.write(image) - f.close - connexionImage.finish - rescue Exception => e - puts e.message - puts e.backtrace - puts "[!] Erreur lors du chargement de l'image '#{imageUrl}', retry.." - retry if (nbRetry += 1) < 5 - end - } - end - - #convertit le code latin-1 en UTF8 - html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0] - #url - film.url = "http://www.allocine.fr/film/fichefilm_gen_cfilm=#{id}.html" - # Titre - /(.*?)<\/title>/ =~ html - film.titre = $1 unless $1.nil? + puts "Pompage de #{film.titre} (#{film.fichiers[0]}) ..." - puts "Movie found : #{film.titre} (#{film.fichiers[0]})" + # convertit le code latin-1 en UTF8 + html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0] + + # pompage de l'image dans un thread séparé + if take?("image") && ($force || !film.possedeImage?) + /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ html + unless $1.nil? + @threadImage = Thread::start($1){|imageUrl| + nbRetry = 0 + begin + imageUrlParsed = URI.parse(imageUrl) + connexionImage = Net::HTTP::new(imageUrlParsed.host).start + film.setImage(connexionImage.get(imageUrlParsed.path).body) + connexionImage.finish + rescue Exception => e + puts e.message + puts e.backtrace + puts "[!] Erreur lors du chargement de l'image '#{imageUrl}', retry.." + retry if (nbRetry += 1) < 5 + end + } + end + end + + if take?("url") && ($force || film.url == nil) + #url + film.url = "http://www.allocine.fr" + path + end - # Année - /<h4>Année de production : (\d+)<\/h4>/ =~ html - film.annee = $1 unless $1.nil? + if take?("titre") + # Titre + /<title>(.*?)<\/title>/ =~ html + film.titre = $1 + end - # Réalisateurs - /<h4>Réalisé par(.*?)<\/h4>/ =~ html - $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a| - film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil? - } unless $1.nil? + if take?("annee") && ($force || film.annee == nil) + # Année + /<h4>Année de production : (\d+)<\/h4>/ =~ html + film.annee = $1 unless $1.nil? + end - # Acteurs - /<h4>Avec(.*?)<\/h4>/ =~ html - $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a| - film.acteurs << Personne::ajouter(a[0]) unless a[0].nil? - } unless $1.nil? - - # Pays - /<h4>Film (.*?)\. <\/h4>/ =~ html - $1.split(',').each{|pays| - film.pays << Pays::ajouter(pays) unless pays.nil? - } unless $1.nil? + if take?("realisateurs") && ($force || film.realisateurs.empty?) + # Réalisateurs + film.realisateurs.clear + /<h4>Réalisé par(.*?)<\/h4>/ =~ html + $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a| + film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil? + } unless $1.nil? + end - # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine - /<h4>Durée :(?:.*?)(\d+)h/ =~ html - heure = $1.nil? ? 0 : $1.to_i + if take?("acteurs") && ($force || film.acteurs.empty?) + # Acteurs + film.acteurs.clear + /<h4>Avec(.*?)<\/h4>/ =~ html + $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a| + film.acteurs << Personne::ajouter(a[0]) unless a[0].nil? + } unless $1.nil? + end + + if take?("pays") && ($force || film.pays.empty?) + # Pays + film.pays.clear + /<h4>Film (.*?)\. <\/h4>/ =~ html + $1.split(',').each{|pays| + film.pays << Pays::ajouter(pays.trim) unless pays.nil? + } unless $1.nil? + end - /<h4>Durée :(?:.*?)(\d+)min/ =~ html - min = $1.nil? ? 0 : $1.to_i - - film.duree = heure * 60 + min + if take?("duree") && ($force || film.duree == nil) + # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine + /<h4>Durée :(?:.*?)(\d+)h/ =~ html + heure = $1.nil? ? 0 : $1.to_i + /<h4>Durée :(?:.*?)(\d+)min/ =~ html + min = $1.nil? ? 0 : $1.to_i + film.duree = heure * 60 + min + end - # Critiques presse et spectateur - /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html - film.critiquePresse = $1 unless $1.nil? - film.critiqueSpectateur = $2 unless $2.nil? + if take?("critiquenote") && ($force || film.critiquePresse == nil || film.critiqueSpectateur == nil) + # Critiques presse et spectateur + /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html + film.critiquePresse = $1 unless $1.nil? + film.critiqueSpectateur = $2 unless $2.nil? + end - # Genre - /<h4>Genre : (.*?)<\/h4>/ =~ html - $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g| - film.genres << Genre::ajouter(g[0]) unless g[0].nil? - } unless $1.nil? + if take?("genres") && ($force || film.genres.empty?) + # Genre + film.genres.clear + /<h4>Genre : (.*?)<\/h4>/ =~ html + $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g| + film.genres << Genre::ajouter(g[0]) unless g[0].nil? + } unless $1.nil? + end - # Synopsis - /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html - unless $1.nil? - film.synopsis = $1 - film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n") - film.synopsis.virerBalisesHTML! + if take?("synopsis") && ($force || film.synopsis == nil) + # Synopsis + /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html + unless $1.nil? + film.synopsis = $1 + film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n") + film.synopsis.virerBalisesHTML! + end end - # Budget - /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html - film.budget = $1 unless $1.nil? + if take?("budget") && ($force || film.budget == nil) + # Budget + /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html + film.budget = $1 unless $1.nil? + end fermerConnexion - end + end def finish + # on attend que tous les threads de pompage d'image aient terminé @threadImage.join if defined? @threadImage end end \ No newline at end of file