vanityとchankoを使ってRailsで簡単安全にABテストをする

vanityはRailsのABテスト用ライブラリ。導入が一番簡単っぽい。
 元々はテキストとか画像をのABテストを行うためのもののようだが、 chankoという限定公開用のライブラリを使って、機能単位でもABテストができるようにしてみる。

まずはGemfileに

view plainprint?

1. gem 'chanko', :git => 'git://github.com/cookpad/chanko.git'  
2. gem "vanity"  

gem 'chanko', :git => 'git://github.com/cookpad/chanko.git'
gem "vanity"

を記述して、
# bundle install

それぞれに必要な初期設定をする。
# rails generate chanko:install
# rails generate vanity
# rake db:migrate

config/vanity.ymlを作成

view plainprint?

1. development:  
2.   adapter: active_record  
3.   active_record_adapter: mysql2  
4.   host: localhost  
5.   database: DBNAME  
6.   user: USERNAME  
7.   password: PASSWORD  

development:
  adapter: active_record
  active_record_adapter: mysql2
  host: localhost
  database: DBNAME
  user: USERNAME
  password: PASSWORD

development.rbに以下を記述

view plainprint?

1. Vanity.playground.collecting = true  

 Vanity.playground.collecting = true

vanityのDashboard用コントローラを作成

view plainprint?

1. class VanityController < ApplicationController  
2.   include Vanity::Rails::Dashboard  
3. end   

class VanityController < ApplicationController
  include Vanity::Rails::Dashboard
end 

ルーティングを設定

view plainprint?

1. match '/vanity(/:action(/:id(.:format)))', :controller=>:vanity  

match '/vanity(/:action(/:id(.:format)))', :controller=>:vanity

測定用のユーザアイデンティティを設定。

view plainprint?

1. class ApplicationController < ActionController::Base  
2.   use_vanity :current_user  
3. end  

class ApplicationController < ActionController::Base
  use_vanity :current_user
end

Railsのルートディレクトリ下にテストと測定用のファイルを作成
#mkdir -p experiments/metrics

postした回数測定用のファイルを作成
experiments/metrics/post.rb

view plainprint?

1. metric "Post" do  
2.   description "Postした回数"  
3. end  

metric "Post" do
  description "Postした回数"
end

コントローラの好きな場所に、 track! :post を入力すれば、その場所がよばれた回数を測定できるようになります。

view plainprint?

1. class PostController < ApplicationController  
2.   def create  
3.      track! :post  
4.        # ...投稿する処理  
5.      end  
6.   end  
7. end  

class PostController < ApplicationController
  def create
     track! :post
       # ...投稿する処理
     end
  end
end

テスト用ファイルを作成
experiments/post_labels.rb

view plainprint?

1. ab_test "Post labels" do  
2.   description "テスト"  
3.   alternatives true, false  
4.   metrics :post  
5. end  

ab_test "Post labels" do
  description "テスト"
  alternatives true, false
  metrics :post
end

次にchanko用設定
# rails generate chanko sample

view plainprint?

1. module Sample  
2.   include Chanko::Unit  
3.   
4.   active_if do |context, options|  
5.     ab_test(:price_options)   
6.   end  
7.   scope(:controller) do  
8.     function(:controller_show) do  
9.       # controller code here  
10.     end  
11.   end  
12.   scope(:view) do  
13.     function(:view_show) do  
14.       render :partial => "/show"  
15.     end  
16.   end  
17. end  

module Sample
  include Chanko::Unit

  active_if do |context, options|
    ab_test(:price_options) 
  end
  scope(:controller) do
    function(:controller_show) do
      # controller code here
    end
  end
  scope(:view) do
    function(:view_show) do
      render :partial => "/show"
    end
  end
end

で、好きな場所にinvoke(:sample, :controller_show) をおいたり、
invoke(:sample, :show) を置けばOK。
chankoの詳しい使い方はこちらを参考に。

どちらが優位かなんてのは、Vanityが表示してくるので、 評価しやすいはず。

production環境でうまく動かなかったので、
そのときはredisによる接続をためしてみるといいかも。

view plainprint?

1. production:  
2.   adapter: redis  
3.   host: localhost  

production:
  adapter: redis
  host: localhost

 参考：
http://eccyan.hatenablog.com/entry/2011/12/08/223603
https://github.com/assaf/vanity
http://webandy.com/articles/a-b-testing-with-vanity