c26c214d0e85ef5e65eb9510965cef5d53a1d916
[pompage.git] / src / modules / allocine.rb
1 # coding: utf-8
2
3 require 'net/http'
4 require 'uri'
5 require 'cgi'
6 require 'thread'
7 require 'iconv'
8
9 require "basemodule.rb"
10
11 # doc : http://www.ruby-doc.org/stdlib/libdoc/net/http/rdoc/index.html
12 Net::HTTP.version_1_2
13
14 # hack : http://arosien.blogspot.com/2007/06/increasing-rubys-netbufferedio-buffer.html
15 module Net
16 class BufferedIO
17 def rbuf_fill
18 timeout(@read_timeout) { @rbuf << @io.sysread(32768) }
19 end
20 end
21 end
22
23 # Un module d'importation pour le site "www.allocine.fr".
24 class Allocine < Basemodule
25
26 def createConnexion
27 begin
28 @connexion = Net::HTTP::new('www.allocine.fr').start if @connexion == nil || !@connexion.started?
29 rescue
30 Puts "[!] Impossible de se connecter à Allocine. Retry.."
31 retry
32 end
33 end
34
35 def fermerConnexion
36 @connexion.finish if defined? @connexion && @connexion.started? # on admet qu'après un load on a plus besoin de la connexion
37 @connexion = nil
38 end
39
40 # Voir le parent.
41 def rechercherFilm(titre)
42 createConnexion
43
44 begin
45 reponse = nil
46 begin
47 reponse = @connexion.get("/recherche/?rub=1&motcle=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
48 rescue Exception => e
49 p e
50 puts "[!] Erreur lors de la recherche du titre #{titre}, retry.."
51 fermerConnexion
52 createConnexion
53 retry
54 end
55
56 # convertit le code latin-1 en UTF8
57 html = Iconv.iconv("UTF-8", "ISO-8859-1", reponse.body)[0]
58
59 # si pas trouvé alors on enlève un mot à la fin
60 if /.*?Pas de résultats.*?/ =~ html || ! html.include?("<h3><b>Films <h4>")
61 /(.*?)[^ ]+?$/ =~ titre.strip
62 titre = $1
63 titre.strip!
64 else
65 break;
66 end
67 end while not titre.nil? and not titre.empty?
68
69 reponses = {}
70 unless titre.nil? or titre.empty?
71 r = html.scan(/<a href="\/film\/fichefilm_gen_cfilm=(\d+)\.html" class="link1">(.*?)<\/a>(?:<\/h4><h5 style="color: #666666">&nbsp;(.*?)<\/h5>){0,1}(?:<h4><br \/><\/h4>){0,1}(?:<h4 style="color: #666666"> de (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;avec (.*?)<\/h4>){0,1}(?:<h4 style="color: #666666">&nbsp;\((.*?)\)<\/h4>){0,1}/)
72
73 r.each{|f|
74 reponses[f[1].virerBalisesHTML + (f[2] != nil ? " " + f[2].virerBalisesHTML : "") + (f[3] != nil ? " de " + f[3].virerBalisesHTML : "") + (f[4] != nil ? " avec " + f[4].virerBalisesHTML : "") + (f[5] != nil ? " (" + f[5].virerBalisesHTML + ")" : "")] = f[0]
75 }
76 end
77 reponses
78 end
79
80 # Voir le parent.
81 def load(id, film)
82 loadPath("/film/fichefilm_gen_cfilm=#{id}.html", film)
83 end
84
85 # Voir le parent.
86 def loadURL(url, film)
87 loadPath(URI.parse(url).path, film)
88 end
89
90 def loadPath(path, film)
91 createConnexion
92
93 html = nil
94 begin
95 html = @connexion.get(path).body
96 rescue Exception => e
97 p e
98 puts "[!] Erreur lors du chargement de #{film.fichiers[0]}, retry.."
99 fermerConnexion
100 createConnexion
101 retry
102 end
103
104 puts "Pompage de #{film.titre} (#{film.fichiers[0]}) ..."
105
106 # convertit le code latin-1 en UTF8
107 html = Iconv.iconv("UTF-8", "ISO-8859-1", html)[0]
108
109 # pompage de l'image dans un thread séparé
110 if take?("image") && ($force || !film.possedeImage?)
111 /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ html
112 unless $1.nil?
113 @threadImage = Thread::start($1){|imageUrl|
114 nbRetry = 0
115 begin
116 imageUrlParsed = URI.parse(imageUrl)
117 connexionImage = Net::HTTP::new(imageUrlParsed.host).start
118 film.setImage(connexionImage.get(imageUrlParsed.path).body)
119 connexionImage.finish
120 rescue Exception => e
121 puts e.message
122 puts e.backtrace
123 puts "[!] Erreur lors du chargement de l'image '#{imageUrl}', retry.."
124 retry if (nbRetry += 1) < 5
125 end
126 }
127 end
128 end
129
130 if take?("url") && ($force || film.url == nil)
131 #url
132 film.url = "http://www.allocine.fr" + path
133 end
134
135 if take?("titre")
136 # Titre
137 /<title>(.*?)<\/title>/ =~ html
138 film.titre = $1
139 end
140
141 if take?("annee") && ($force || film.annee == nil)
142 # Année
143 /<h4>Année de production : (\d+)<\/h4>/ =~ html
144 film.annee = $1 unless $1.nil?
145 end
146
147 if take?("realisateurs") && ($force || film.realisateurs.empty?)
148 # Réalisateurs
149 film.realisateurs.clear
150 /<h4>Réalisé par(.*?)<\/h4>/ =~ html
151 $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a>\s*/m){|a|
152 film.realisateurs << Personne::ajouter(a[0]) unless a[0].nil?
153 } unless $1.nil?
154 end
155
156 if take?("acteurs") && ($force || film.acteurs.empty?)
157 # Acteurs
158 film.acteurs.clear
159 /<h4>Avec(.*?)<\/h4>/ =~ html
160 $1.scan(/\s*<a class="link1" href="\/personne\/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a>\s*/m){|a|
161 film.acteurs << Personne::ajouter(a[0]) unless a[0].nil?
162 } unless $1.nil?
163 end
164
165 if take?("pays") && ($force || film.pays.empty?)
166 # Pays
167 film.pays.clear
168 /<h4>Film (.*?)\.&nbsp;<\/h4>/ =~ html
169 $1.split(',').each{|pays|
170 film.pays << Pays::ajouter(pays) unless pays.nil?
171 } unless $1.nil?
172 end
173
174 if take?("duree") && ($force || film.duree == nil)
175 # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine
176 /<h4>Durée :(?:.*?)(\d+)h/ =~ html
177 heure = $1.nil? ? 0 : $1.to_i
178 /<h4>Durée :(?:.*?)(\d+)min/ =~ html
179 min = $1.nil? ? 0 : $1.to_i
180 film.duree = heure * 60 + min
181 end
182
183 if take?("critiquenote") && ($force || film.critiquePresse == nil || film.critiqueSpectateur == nil)
184 # Critiques presse et spectateur
185 /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m =~ html
186 film.critiquePresse = $1 unless $1.nil?
187 film.critiqueSpectateur = $2 unless $2.nil?
188 end
189
190 if take?("genres") && ($force || film.genres.empty?)
191 # Genre
192 film.genres.clear
193 /<h4>Genre : (.*?)<\/h4>/ =~ html
194 $1.scan(/<a href="\/film\/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a>/m){|g|
195 film.genres << Genre::ajouter(g[0]) unless g[0].nil?
196 } unless $1.nil?
197 end
198
199 if take?("synopsis") && ($force || film.synopsis == nil)
200 # Synopsis
201 /Synopsis.*?<h4>(.*?)<\/h4>/m =~ html
202 unless $1.nil?
203 film.synopsis = $1
204 film.synopsis.gsub!(/<br\s*\/>|<br\s*>/, "\n")
205 film.synopsis.virerBalisesHTML!
206 end
207 end
208
209 if take?("budget") && ($force || film.budget == nil)
210 # Budget
211 /Budget<\/b> : (.+?) millions d'euros<\/h4>/ =~ html
212 film.budget = $1 unless $1.nil?
213 end
214
215 fermerConnexion
216 end
217
218 def finish
219 # on attend que tous les threads de pompage d'image aient terminé
220 @threadImage.join if defined? @threadImage
221 end
222 end