在CSV文件中存储 - Ruby分隔符

Question

我正在尝试将我的爬虫结果存储到CSV文件中。

当前的CSV文件给出了以下输出：

Name of Movie 1

Rating 1

Name of Movie 2 

Rating 2     

我希望获得以下输出：

Name of Movie 1 Rating 1 

Name of Movie 2 Rating 2 

这是我的代码，我猜它需要处理行/列分隔符：

require 'open-uri'
require 'nokogiri'
require 'csv'

array = []


for i in 1..10
  url = "http://www.allocine.fr/film/meilleurs//?page=#{i}"
  html_file = open(url).read
  html_doc = Nokogiri::HTML(html_file)


  html_doc.search('.img_side_content').each do |element|
    array << element.search('.no_underline').inner_text
    element.search('.note').each do |data|
      array << data.inner_text
    end
  end
end

puts array


csv_options = { row_sep: ',', force_quotes: true, quote_char: '"' }
filepath    = 'allocine.csv'

CSV.open(filepath, 'wb', csv_options) do |csv|
  array.each { |item| csv << [item] }
end

- Pierre Laburthe

---

嗨@Pierrre，有两种评级：Presse和Spectateurs。你期望的输出是什么？Coco,4.1,4.6？ - fongfan999

Answer 1

我认为这里的问题是您没有正确地将元素推入array变量中。基本上，您的数组最终看起来像这样：

['Movie 1 Title', 'Movie 1 rating', 'Movie 2 Title', 'Movie 2 rating', ...]

您实际需要的是一个二维数组，像这样：

[
  ['Movie 1 Title', 'Movie 1 rating'],
  ['Movie 2 Title', 'Movie 2 rating'],
  ...
]

当你的数组设置正确后，甚至不需要在CSV选项中指定行分隔符。

以下内容可以解决问题：

require 'open-uri'
require 'nokogiri'
require 'csv'

array = []


10.times do |i|
  url = "http://www.allocine.fr/film/meilleurs//?page=#{i}"
  html_file = open(url).read
  html_doc = Nokogiri::HTML(html_file)


  html_doc.search('.img_side_content').each do |element|
    title = element.search('.no_underline').inner_text.strip
    notes = element.search('.note').map { |note| note.inner_text }
    array << [title, notes].flatten
  end
end

puts array

filepath    = 'allocine.csv'
csv_options = { force_quotes: true, quote_char: '"' }

CSV.open(filepath, 'w', csv_options) do |csv|
  array.each do |item|
    csv << item
  end
end

（我还自作主张地将您的for循环改成了times，这更符合 Ruby 的语法 ;)）

- ldeld