ホーム

へぼい日記

Encode::JP::Mobile::Vodafone関連の不具合の修正パッチ

  • 投稿者: chiba
  • 2007/6/10 日曜日 20:05:46
  • perl

今日書いたばかりの
Encode::JP::Mobileにvodafoneの絵文字相互変換させるパッチ達
に早速不具合発見。
aliasの張り方を間違って(define_aliasが反対だった)shift_jis-softbank-privateが使えてなかったです。
そのパッチがこれ。

diff -ruN Encode-JP-Mobile-0.05.org/lib/Encode/JP/Mobile.pm Encode-JP-Mobile-0.05/lib/Encode/JP/Mobile.pm
--- Encode-JP-Mobile-0.05.org/lib/Encode/JP/Mobile.pm   2007-06-10 19:53:57.000000000 +0900
+++ Encode-JP-Mobile-0.05/lib/Encode/JP/Mobile.pm       2007-06-10 19:49:52.000000000 +0900
@@ -9,7 +9,7 @@
 define_alias('shift_jis-docomo' => 'shift_jis-imode');
 define_alias('shift_jis-ezweb' => 'shift_jis-kddi');
 define_alias('shift_jis-airh' => 'shift_jis-airedge');
-define_alias('shift_jis-vodafone-private' => 'shift_jis-softbank-private');
+define_alias('shift_jis-softbank-private' => 'shift_jis-vodafone-private');

 use Encode::JP::Mobile::Vodafone;

で、もひとつ。これは自分の修正とは関係ない部分なんですが、Encode::JP::Mobile::Vodafone::_encode_vodafoneのビット演算に
誤りがあって、$highが必ず0xE000になってページ1の絵文字に集約されてしまうというバグが。
というわけで下記が修正パッチです。

diff -ruN Encode-JP-Mobile-0.05.org/lib/Encode/JP/Mobile/Vodafone.pm Encode-JP-Mobile-0.05/lib/Encode/JP/Mobile/Vodafone.pm
--- Encode-JP-Mobile-0.05.org/lib/Encode/JP/Mobile/Vodafone.pm	2007-06-10 19:53:57.000000000 +0900
+++ Encode-JP-Mobile-0.05/lib/Encode/JP/Mobile/Vodafone.pm	2007-06-10 19:45:35.000000000 +0900
@@ -47,7 +47,7 @@
     my $res = "x1bx24";
     my $buf = '';
     for my $str (@str) {
-        my $high = ord($str) & 0xF000;
+        my $high = ord($str) & 0xEF00;
         my $low  = ord($str) & 0x00FF;
         if ($buf ne $high) {
             $res .= $HighBitToChar{$high};

で、それぞれの修正に対応したテストも書いたので(まとまっちゃってますが)それもおいておきます。

diff -ruN Encode-JP-Mobile-0.05.org/t/Mobile.t Encode-JP-Mobile-0.05/t/Mobile.t
--- Encode-JP-Mobile-0.05.org/t/Mobile.t	2007-05-16 18:46:16.000000000 +0900
+++ Encode-JP-Mobile-0.05/t/Mobile.t	2007-06-10 19:41:34.000000000 +0900
@@ -1,5 +1,5 @@
 use strict;
-use Test::More tests => 18;
+use Test::More tests => 42;

 use_ok('Encode');
 use_ok('Encode::JP::Mobile');
@@ -13,6 +13,20 @@
 test_rt("shift_jis-vodafone", "x82xb1x1bx24x47x21x22x0f", "x{3053}x{e001}x{e002}");
 test_rt("shift_jis-softbank", "x82xb1x1bx24x47x21x22x0f", "x{3053}x{e001}x{e002}");

+test_rt("shift_jis-vodafone", "x82xb1x1bx24x45x21x22x0f", "x{3053}x{e101}x{e102}");
+test_rt("shift_jis-softbank", "x82xb1x1bx24x45x21x22x0f", "x{3053}x{e101}x{e102}");
+test_rt("shift_jis-vodafone", "x82xb1x1bx24x46x21x22x0f", "x{3053}x{e201}x{e202}");
+test_rt("shift_jis-softbank", "x82xb1x1bx24x46x21x22x0f", "x{3053}x{e201}x{e202}");
+test_rt("shift_jis-vodafone", "x82xb1x1bx24x4fx21x22x0f", "x{3053}x{e301}x{e302}");
+test_rt("shift_jis-softbank", "x82xb1x1bx24x4fx21x22x0f", "x{3053}x{e301}x{e302}");
+test_rt("shift_jis-vodafone", "x82xb1x1bx24x50x21x22x0f", "x{3053}x{e401}x{e402}");
+test_rt("shift_jis-softbank", "x82xb1x1bx24x50x21x22x0f", "x{3053}x{e401}x{e402}");
+test_rt("shift_jis-vodafone", "x82xb1x1bx24x51x21x22x0f", "x{3053}x{e501}x{e502}");
+test_rt("shift_jis-softbank", "x82xb1x1bx24x51x21x22x0f", "x{3053}x{e501}x{e502}");
+
+test_rt("shift_jis-vodafone-private", "x82xb1xf9x41xf9x42", "x{3053}x{e001}x{e002}");
+test_rt("shift_jis-softbank-private", "x82xb1xf9x41xf9x42", "x{3053}x{e001}x{e002}");
+
 sub test_rt {
     my ( $enc, $byte, $uni ) = @_;
     is esc( decode( $enc, $byte ) ), esc($uni), "decode $enc";

一応これはmiyagawaさんにメールしておこうかな。
というかバグ報告なんてわざわざ自分のblogに載せるもんじゃない気がしてきたorz
まぁ今回はvodafone-private追加からの流れなのでいっか…。
CPANのこことかは使われてるもんなのかなぁ。

はてなブックマーク - Encode::JP::Mobile::Vodafone関連の不具合の修正パッチ

Encode::JP::Mobileにvodafoneの絵文字相互変換させるパッチ達

  • 投稿者: chiba
  • 12:54:57
  • perl

はぁー疲れた。
絵文字変換をUnicode::Japaneseをつかってやろうといろいろと試行錯誤してたのですがUnicode私用領域にマップするので4byte文字になってmysqlにbinary型にしないと格納できなかったり:”mysql 13823] MySQLの現行UTF-8の問題とその対処方法について”:http://www.mysql.gr.jp/mysqlml/mysql/msg/13823/ 、softbank(vodafone)のShift_JIS外字にマップされて送信されてくる絵文字:”3GC型端末の中には絵文字を違う形式で送ってくる端末がある(HTML編)”:http://labs.unoh.net/2006/10/softbank.html に対応してなかったりと苦労が多いので、どうせ苦労するならいっそのことと、カッとなってPerl的には由緒正しいであろうEncode::JP::Mobileで挑戦することにした。今は反省している。

Encode::JP::Mobile に i-mode と ezweb 間での絵文字相互変換をさせるパッチ
でi-mode< =>ezwebの相互変換が実装されて本体にもとりこまれてるようなので同じようにVodafoneのShift_JIS外字の絵文字でもやってみるかぁと思ったが結構めんどくさかったのでした・・・。というわけで以下作業メモです。

まぁまずは何はともあれucmファイルを作らないとだよね。ucmファイルって何なのかさっぱり分かってないけど。まぁ見よう見まね。ようはUnicodeと他の文字コードをマッピングするもんでしょ。

とりあえずEncode::JP::Mobileのshift_jis-imode.ucmを参考に。
ふむふむ。id:tokuhiromさんが作ってたのは

# below are KDDI => i-mode pictogram convert map.

この部分ね。

まぁとりあえずそれはおいといて純粋なucmファイルを作りましょう。
SoftBankの技術資料HTML編の211-222pにその対応表があるんだけど・・・げげっこれテキストコピーできないじゃん。そういう権限設定らしい。

と、ここで2時間ほどはまる。テキストコピーできる表がないかググってみたり、PDFを印刷してOCRにかけてみたり(いまいちな結果だった・・)。最終的にはxdoc2txtの-nオプションとやらで解決しましたが・・・いいんだろうか?

で、まぁできたファイルがこれ。
pre_shift_jis-vodafone-private.ucm
encodeing名はshift_jis-vodafone-privateにとりあえず決定。

さて、元となるucmファイルはできたので次は相互変換分のエントリを作るのですが、せっかくスクリプトを公開してくれていたので
前述のid:tokuhirom氏のrubyスクリプトを使わせてもらうことにする。なので同じように絵文字の相互変換リストSoftBank → i-mode, EZwebからとってくる。ただし、こいつの2番目の要素は”Webコードの一部”となっていて今回やりたいShift_JIS外字には適さないのでこれをi-modeやezwebと同じようにShift_JISのコードに変換したいんだけど、またこれがちと大変でした。
一応元にしたのは
SoftBank技術資料の絵文字一覧
と先ほどのPDF。PDFのほうにはウェブコードとやらは乗ってないのでUnicodeを経由してウェブコードをShift_JISに変換する。
んで、できたのがこれ。

emoji_v2ie_private.txt

v(odafone)だのs(oftbank)だのが入り混じっててややこしいですが、まぁ気にしないということで。

で、次はrubyスクリプトのほうに手をいれてみましょう。まぁこんな感じのパッチになりました。

--- make_convert.rb.org	2007-06-10 12:13:31.000000000 +0900
+++ make_convert.rb	2007-06-10 12:15:15.000000000 +0900
@@ -1,18 +1,20 @@
 ucm_for = {
     :i => 'ucm/shift_jis-imode.ucm',
     :e => 'ucm/shift_jis-kddi.ucm',
+    :v => 'ucm/shift_jis-vodafone-private.ucm',
 }   

 map_for = {
     :e => 'emoji_e2is.txt',
     :i => 'emoji_i2es.txt',
+    :v => 'emoji_v2ie_private.txt',
 }   

 uni2bytes = { :v => {}, :e => {}, :i => {}, :h => {} }
 bytes2uni = { :v => {}, :e => {}, :i => {}, :h => {} }
-no2byte   = { :e => {}, :i => {} }
-no2no     = { :e2i => {}, :i2e => {} }
-name_for  = { :i => 'DoCoMo pictogram', :e => 'KDDI/AU Pictogram' }
+no2byte   = { :e => {}, :i => {}, :v => {} }
+no2no     = { :e2i => {}, :e2v => {}, :i2e => {}, :i2v => {}, :v2i => {}, :v2e => {} }
+name_for  = { :i => 'DoCoMo pictogram', :e => 'KDDI/AU Pictogram', :v => 'Vodafone Pictogram' }   

 ucm_for.each {|carrier, fname|
     open(fname) {|io|
@@ -31,18 +33,26 @@
         io.readline   

         io.each {|line|
+            line.chomp!
             case carrier
             when :e
-                # EZwebネヨケ・Shift_JIS(web/hex)	i-mode	SoftBank
-                eno, byte, ino, sno =line.split(/t/)
+                # EZwebネヨケ・Shift_JIS(web/hex)	i-mode	Vodafone
+                eno, byte, ino, vno =line.split(/t/)
                 no2byte[eno] = byte.gsub(/(..)/) { "x#{$1}" }
                 no2no[:e2i][eno] = ino
+                no2no[:e2v][eno] = vno
             when :i
-                # i-modeネヨケ・Shift_JIS(hex)	EZweb	SoftBank	EZweb(web、ヌ、ホシォニーハムエケ)
-                ino, byte, eno, sno =line.split(/t/)
+                # i-modeネヨケ・Shift_JIS(hex)	EZweb	Vodafone	EZweb(web、ヌ、ホシォニーハムエケ)
+                ino, byte, eno, vno =line.split(/t/)
                 no2byte[ino] = byte.gsub(/(..)/) { "x#{$1}" }
                 no2no[:i2e][ino] = eno
+                no2no[:i2v][ino] = vno
             when :v
+                # Vodafoneネヨケ・Shift_JIS(hex)	i-mode  EZweb
+                vno, byte, ino, eno =line.split(/t/)
+                no2byte[vno] = byte.gsub(/(..)/) { "x#{$1}" }
+                no2no[:v2i][vno] = ino
+                no2no[:v2e][vno] = eno
             else
                 print "ORZ"
                 exit
@@ -59,6 +69,8 @@
         srccarrier = :i
     when 'e'
         srccarrier = :e
+    when 'v'
+        srccarrier = :v
     end   

     srccarrier = eval ":#{srccarrier}"

で、これを実行すると[iev]2[iev].txtが6個できるのでそのうちvに関係するものをEncode::JP::Mobileのucmファイルに突っ込む。
shift_jis-vodafone-private.ucmに関してはさっき作ったファイルに追記。
優先順位は基本i-modeを優先としてみた。

あとはテストを書いて、MakeFileに追記していつもの

perl Makefile.pl

make test

make install

して完了。

うまくいきました。

ちょっと気をよくしたので、ついでにshift_jis-vodafoneのほうにも手を加えて相互変換できるようにしてみました。
そんなわけで、Encode::JP::Mobile全体のパッチを以下においときます。

Encode-JP-Mobile.patch

ひとつ気になるのがここ。

+    $str = Encode::decode("shift_jis-vodafone-private", Encode::encode("shift_jis-vodafone-private", $str, $check), $check);

Encode::JP::Mobile::Vodafoneの変更はこんな感じでいいんかなぁ。
とりあえずテストは通ったからいいことにするけど・・・。
もっと良い方法あったら誰か教えてください。

というわけでおしまい。
これに絡むCatalyst回りの話なんかもあるんだけど・・・まぁまた今度時間があったら書きます。

追記
あっ、auとvodafone(softbank)はunicodeのマッピングが一部被ってた。
auを優先にしてみたけど・・・どうするのが正しいのだろうか・・・。

追記
Encode::JP::Mobile::Vodafone関連の不具合の修正パッチ

はてなブックマーク - Encode::JP::Mobileにvodafoneの絵文字相互変換させるパッチ達

じゃじゃまる~ぴっころ~ぽ~ろり~ん

  • 投稿者: chiba
  • 2007/6/8 金曜日 23:54:17
  • webservice

極悪犯罪人としても有名な西村博之さんも関わっておられるニワンゴさんが

ニコニコブックマークをローンチされました。

いやぁこれは楽しいですね。

ちょっと前に百式で、LineBuzzが紹介されてて
ほぼこれは、ニコニコブックマークと同じなんだけどやぱニコニコのほうが簡単に使えて楽しい。

で、このLineBuzzの記事を自分がブックマークしたときのコメントが。これ。

[webservice]あ、これelement単位でコメントとかは考えてた。
http://b.hatena.ne.jp/nihen/20070516#bookmark-4729738

んで、ニコニコのときのブックマーク

[sbm][niconico]おもしろい。こうゆうのやりたかった・・・。
http://b.hatena.ne.jp/nihen/20070608#bookmark-4934701

(タグ付適当だなぁ)

そう。こういうの作りたかったんだよ~。
まぁいまさらいっても遅いけど。

といっても自分のアイデアはもうちょい違うので、そのうち作りたいと思いますが。

はてなブックマーク - じゃじゃまる~ぴっころ~ぽ~ろり~ん

Catalystで携帯端末ID取得

  • 投稿者: chiba
  • 2007/6/7 木曜日 19:13:28
  • perl

Catalystで携帯の端末IDを取得することになったので

Catalyst::Plugin::MobileUserID
http://d.hatena.ne.jp/fbis/20070506/1178464915

を使うことにする。

しかしまず自分の携帯であるau端末のIDが取れない。

んーなんでだ?と調べてみたところ

Catalyst::Plugin::MobileAgent

に問題がありそう。

下記のコード部分。

$c->req->mobile_agent(HTTP::MobileAgent->new($c->req->user_agent));

HTTP::MobileAgentのインスタンス生成の際の引数は
HTTP::MobileAgent::Request
に直接渡される仕組みになってるんだけど、ここでUserAgentも渡せることになっていて、
その仕組みを利用しているようだけど、これだと他のヘッダが取得できなくなる。
HTTP::Headersも渡せるので、$c->req->headersがそれなのでそいつを渡すように

$c->req->mobile_agent(HTTP::MobileAgent->new($c->req->headers));

に変えてあげればいいのだ。

これでau端末のIDも取れました。

試してないけどj-phone(softbank)もヘッダから取得するので取れてなかったと思う。

以下パッチ

--- MobileAgent.pm.orig    Thu Jun 07 19:18:24 2007
+++ MobileAgent.pm.new    Thu Jun 07 19:18:48 2007
@@ -6,7 +6,7 @@
use Catalyst::Request;
use HTTP::MobileAgent;

-our $VERSION = '0.02';
+our $VERSION = '0.03';

{
package Catalyst::Request;
@@ -16,7 +16,7 @@
sub prepare_headers {
my $c = shift;
$c->NEXT::prepare_headers(@_);
-    $c->req->mobile_agent(HTTP::MobileAgent->new($c->req->user_agent));
+    $c->req->mobile_agent(HTTP::MobileAgent->new($c->req->headers));
}

=head1 NAME
はてなブックマーク - Catalystで携帯端末ID取得

Javascript関連本

  • 投稿者: chiba
  • 2007/6/6 水曜日 23:48:53
  • javascript

AmazonでJavascript関連本を買い込む。

http://www.amazon.co.jp/dp/4873111692/

http://www.amazon.co.jp/dp/4873113237/

http://www.amazon.co.jp/dp/4873113229/

http://www.amazon.co.jp/dp/4873113253/

ここらへん。

うーんゆっくり読む時間がほしい。

はてなブックマーク - Javascript関連本

Perl勉強会

  • 投稿者: chiba
  • 2007/6/5 火曜日 23:50:58
  • perl

プログラム初めてという人にPerlを教える機会を得た。

一緒に「初めてのPerl」を読み進めて例題をやっているだけだけで、

なかなか プログラムの楽しさというのを伝えることができなくてもどかしい。

うーん。どうすれば伝わるのか。

毎日更新を一応続けてはいるがほんとどうでもいいことばかり書いているな。。。

久米の記事にトラックバックテスト

はてなブックマーク - Perl勉強会

環境構築とか

今日は1日の半分以上を環境構築だとか、社内サーバの整理だとかでつぶしてしまった。

その後もいろいろあって、あんまりコードは書けず。

もっとコードが書きたいよ~。

もうマークアップは嫌なのじゃよ~。

はてなブックマーク - 環境構築とか

hello wordpress

やっとHPをOpen.

blogもMovableTypeではなくWordPressに急遽変更でちと大変でした。

はてなブックマーク - hello wordpress

1 4 5 6 7 8 9

ホーム

検索
フィード
メタ情報

ページの上部に戻る