何となく 圧縮 - 基本的なアルゴリズムの再勉強

1日情報収集しただけでもかなりの量のアルゴリズムが出てきました。
昔独学したものばかりでしたがほぼ忘れてたので、もう1度頭に叩き込みました。

今回情報収集するにあたり以下のサイト
「M.Hiroi’s Home Page 」の「Lightweight Language」
がとても情報が整理されており、理論の説明、実際のコード、実行結果などが事細かに記載さされておりとても役に立ちました。
「M.Hiroi’s」様大変感謝いたします。
http://www.geocities.jp/m_Hiroi/light/index.html

私が今回やろうとしてるのは、音声やMPEG等動画系によく使われている次のフレームの画像を前後のフレーム情報から演算によって予測生成する技術を汎用データの圧縮に利用して実装してみようかと思っています。
なので、圧縮にはかなりの演算パワーが必要で、解凍にもそれなりの演算パワーが必要なヘビーな圧縮フォーマットになっていくかと思います。

基本的なアルゴリズムのキーワード

ランレングス圧縮
ハフマン圧縮
レンジコーダー圧縮
ブロックソーティング
PPM (Prediction by Partial Matching)
ブロックソート法
PackBits
Switched Run Length Encoding (SRLE)
ゼロランレングス (Zero Length Encoding)
γ符号 (unary 符号)
δ符号
二分木
CBT符号 (Complete Binary Tree)
ゴロム・ライス符号(Golumb)
ライス (Rice) 符号
シャノン・ファノ符号
ハフマン符号
平均符号長
算術符号
レンジコーダ (Range Coder)
LZ77 (スライド辞書法)
LZ 符号 (Zip-Lempel 符号)
LZ 符号は「辞書に基づく符号化方式 (辞書法, dictionary-based coding) 」
LZ77 符号は「スライド辞書法」
LZ78 符号は「動的辞書法」
LZSS 符号
特許の問題
データ圧縮と特許
http://oku.edu.mie-u.ac.jp/~okumura/compression/patents.html
LZB 符号
LZW 符号
レンジコーダ (Range Coder)
有限文脈モデル
マルコフ情報源モデル
接尾辞配列 (suffix array : サフィックスアレイ)
AA 木 (Arne Andersson tree)
赤黒木 (red-black tree)
接尾辞木 (suffix tree)
Union-Find

データ圧縮
http://ja.wikipedia.org/wiki/%E3%83%87%E3%83%BC%E3%82%BF%E5%9C%A7%E7%B8%AE

カテゴリ「データ圧縮規格」にあるページ
http://ja.wikipedia.org/wiki/Category:%E3%83%87%E3%83%BC%E3%82%BF%E5%9C%A7%E7%B8%AE%E8%A6%8F%E6%A0%BC

ZIP
http://ja.wikipedia.org/wiki/ZIP_(%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%83%95%E3%82%A9%E3%83%BC%E3%83%9E%E3%83%83%E3%83%88)

gzip
http://ja.wikipedia.org/wiki/Gzip

bzip2
http://ja.wikipedia.org/wiki/Bzip2

RAR
http://ja.wikipedia.org/wiki/RAR

NTCS
http://ja.wikipedia.org/wiki/NTSC

音声圧縮
http://ja.wikipedia.org/wiki/%E9%9F%B3%E5%A3%B0%E5%9C%A7%E7%B8%AE

可逆圧縮
http://ja.wikipedia.org/wiki/%E5%8F%AF%E9%80%86%E5%9C%A7%E7%B8%AE

非可逆圧縮
http://ja.wikipedia.org/wiki/%E9%9D%9E%E5%8F%AF%E9%80%86%E5%9C%A7%E7%B8%AE

JPEG
http://ja.wikipedia.org/wiki/JPEG
PNG (Portable Network Graphics)
http://ja.wikipedia.org/wiki/Portable_Network_Graphics

MPEG-1
http://ja.wikipedia.org/wiki/MPEG-1

MPEG-2
http://ja.wikipedia.org/wiki/MPEG-2

MPEG-4
http://ja.wikipedia.org/wiki/MPEG-4

H.264 / MPEG-4 AVC
http://ja.wikipedia.org/wiki/H.264

フレーム間予測
http://ja.wikipedia.org/wiki/%E3%83%95%E3%83%AC%E3%83%BC%E3%83%A0%E9%96%93%E4%BA%88%E6%B8%AC

フラクタル圧縮
http://ja.wikipedia.org/wiki/%E3%83%95%E3%83%A9%E3%82%AF%E3%82%BF%E3%83%AB%E5%9C%A7%E7%B8%AE

フーリエ変換 (Fourier transform)
http://ja.wikipedia.org/wiki/%E3%83%95%E3%83%BC%E3%83%AA%E3%82%A8%E5%A4%89%E6%8F%9B

超解像技術 (Super-resolution)
http://ja.wikipedia.org/wiki/%E8%B6%85%E8%A7%A3%E5%83%8F%E6%8A%80%E8%A1%93

ベクトル (vector)
http://ja.wikipedia.org/wiki/%E3%83%99%E3%82%AF%E3%83%88%E3%83%AB

MP3
http://ja.wikipedia.org/wiki/MP3

FLAC
http://ja.wikipedia.org/wiki/FLAC

誤り検出訂正
http://ja.wikipedia.org/wiki/%E8%AA%A4%E3%82%8A%E6%A4%9C%E5%87%BA%E8%A8%82%E6%AD%A3

CRC (Cyclic Redundancy Check, CRC)
http://ja.wikipedia.org/wiki/%E5%B7%A1%E5%9B%9E%E5%86%97%E9%95%B7%E6%A4%9C%E6%9F%BB

ECC (誤り検出訂正 / エラー検出訂正)
http://ja.wikipedia.org/wiki/%E8%AA%A4%E3%82%8A%E6%A4%9C%E5%87%BA%E8%A8%82%E6%AD%A3

MD5
http://ja.wikipedia.org/wiki/MD5

ブロックノイズ(blockiness)
http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AD%E3%83%83%E3%82%AF%E3%83%8E%E3%82%A4%E3%82%BA

AES (Advanced Encryption Standard)
http://ja.wikipedia.org/wiki/Advanced_Encryption_Standard

 

QRコード
http://ja.wikipedia.org/wiki/QR%E3%82%B3%E3%83%BC%E3%83%89
http://www.qrcode.com/

iQRコード
http://ja.wikipedia.org/wiki/QR%E3%82%B3%E3%83%BC%E3%83%89#iQR.E3.82.B3.E3.83.BC.E3.83.89
http://www.qrcode.com/codes/iqr.html

何となく 圧縮

えー 灯油とガスにさよならした、室内温度7度の中作業してます。
身体的にはまだまだ平気。
去年は-2度まで耐えれたw

で、なんか最近「圧縮」アルゴリズムの事がふと脳裏をよぎり、昔ゲーム制作会社に居たとき、ある一定のデータをメインロジックの残りの60分の1秒以内の隙間で如何にCPUを使わず作業メモリも数KBで内部を暗号化したデータを復元する、オレオレ圧縮形式を作った時に、色々な圧縮アルゴリズムを勉強したことがありました。

その後趣味で「JPEG」「MPEG」「MP3」等のメディア系も少し手出しました。

もう15年以上も昔の事なので、圧縮アルゴリズムの理論はさっぱり忘れてしまいましたが・・・。

で、何を思ったか、今度はCPU、GPU、メモリ、何ならGoogleやAmazonのクラウドサービスを贅沢に使ったら何所まで圧縮率の高いロジックが組めるか挑戦したくなってきて。

対抗する圧縮形式は「Gnu Zip」「Zip」絶対勝てないであろう「RAR」。

まー 多分ろくでもない結果になると思うが 趣味をかねて書いてみようと。

やってみよう! ~ 低スペックPCや、低通信速度、多様な端末から24時間Windows環境を擬似的に使える環境を作れないかやってみる ~ はじめに

※現在筆記中。

目標環境

  • WindowsXP世代のロースペックマシンや、タブレット等から、24時間いつでも同じ環境のWindowsが使える環境。
    (ゲームや、3D処理、動画再生、Photo shop等、重量級は対象外とする)
  • 目標の操作側の通信速度は、現在大量に増殖してる「格安SIM」系で、実効スピード200kbps程度で使たらいいな。

 

需要ありますかねー?

もしこれを見た方へ

 

今日は良い日だw 「駄目元で、とある「Y!mbile」店舗に電話してみた」 – (Y!mobile)(旧 Willcom)(旧 KDDI Pocket’s)

本日(2014/08/28 16時頃)

PHSサービスをやってる「Y!mobile」のとある店舗に、新規契約の件で電話してみた。

感想

とっても良い人だった!

の内容を下記に・・・。


 

俺 すみません、新規契約のお話なんですけど、かなり特殊な内容でして、お時間大丈夫ですか?

お姉さん はいー 大丈夫ですよー

俺 y!mobile -> willcom -> DDI poket’s <= 時代の10年以上前のPHSって新規で、持ち込み登録ってできますかね・・・。

お姉さん えー いまですねー Willcom時代の端末でも 持込可能なのは限られちやってるので・・・

お姉さん とりあえず 型番教えていただけますか? (まともに取り扱ってくれた!)

俺 端末メーカー「京セラ」 名前「データスコープ」 型番は「DS-320」です

お姉さん (間・・・・・・・・)

お姉さん んー そうですねー 昔のって端末に電話番号書き込まないと駄目だったんですよ。

俺 あ、今、端末からは060の番号が登録されてるのが確認できました

お姉さん んー そうですねー 申し訳ないのですが 可能だったとしても、新しいものを契約されたほうが便利かと・・・ スマートフォンとかですとインターネットとかもできますし。

俺 えー 何て言うか これ、スマートフォンと言うか何て言うか インターネットも、メールも出来るやつで、京セラさんから2種類しか販売されなかった特殊な物なんですよ。 ちなみに今現在Willcomさん時代にPHSを音声通話で契約してまして、音声通話だけで良いので使いたいんですよ。 

お姉さん そうですか・・・ 何か他にわかりますか?

AIREDGE時代の端末ですね。 えー 「αPHS」 とか 「αDATA32」「PIAFS」とか書いてますね。

お姉さん はいはいはい

お姉さん そうですかー うーん

俺 ですよねー 電波の周波数だって対応してるか微妙ですしねwww

お姉さん そうですねwww

お姉さん でも・・・ わかりました! ど~してもその機種が使いたいのですね。

お姉さん 少しお時間いただけたらセンターに連絡しお調べるることができますが 今お時間大丈夫ですか?

俺 いえいえ Willcom世代で無理なら無理ですよねwwww

お姉さん そうですねwwww

俺 すみません丁重に対応していただいて。 ありがとうございました

お姉さん いえいえー また何かありましたらご連絡ください(^^)

End

ワンセグの電波が悪く見れない環境を、部屋中(7畳)電波を受信出来るようにしてみた。

※この記事を参考にする方へ

私はTVを、NTT東日本の「フレッツ・テレビ」を契約し視聴してます。
初期の「ワンセグホームアンテナ」購入時に全くワンセグの電波に変化がありませんでした。
ネットで色々調べたところ、このようなアンテナ以外での視聴「フレッツTV」「ケーブルTV」など、通常のハイビジョン(12セグ)の電波は送信しても、ワンセグを配信しない環境もあるようです
私はそれに気がつかずかなりはまりました。
以下の記事は屋根のアンテナ配線に接続したときの内容になってます。

まねをされる方は、アンテナ以外からの人は、まず自分が契約してるTV配信会社でワンセグ放送が受信出来るかを確認してください

色々買うと1万円くらい行ってしまいますので、無駄にしないためにご確認ください。


えー、何を思ったか最近ワンセグ付きスマホを4台買ってしまいました・・・。
元々、電波も悪く、リアルタイムでテレビも見ないので、所持してるガラゲーでもワンセグはついてたのですが、ほぼ使ってませんでした。
窓際だとアンテナ最大で立って受信できるんですよ。

が、スマホのワンセグを使ってみると、電子番組表の使い勝手や、SNSや各種ネットとの連嶺で、おお! と思い使い出したのですがいかんせん電波が悪い。
これをなんとか改善できないかと試行錯誤してみました。

私のTV環境は
TVの差し込み口から、目的の部屋までは15m位あります

 

後日詳細を記載していこうかと思いますが、作業の流れはざっとこんな感じです

  • TVアンテナ用の同軸ケーブルに追加する、「ワンセグホームアンテナ」を買って見るも、理想に届かず玉砕。
  • TVの同軸ケーブルを地デジ対応の物に切り替えてみる。 多少かいぜん。(数値上)
  • Amazonのレビューを見て「ブースター」を併用するとかなりの改善と記載されてたのでとりあえず「安価」なブースターを購入・接続してみる、前よりは改善されたが、まだまだ理想に届かず。
  • えいや! ってことで6000円程度のブースターを購入・接続してみる。 すっげーーーー! ってなりましたw

結果、7畳間どこでも電波最大で安定視聴出来るようになりました。

 

通常時

「スマートフォン」「ガラゲー」ともに電波受信できない状況です。

IMG_0581

(スマホ)

 

ガラゲーの方はロッドアンテナが出せるのですが、出しても受信できない状態です。

IMG_0586

IMG_0585

(ガラゲー)

 

「ワンセグホームアンテナ」を設置してみる

今回買ってみたのは
Logitec ワンセグホームアンテナ/3mケーブル付/ブラック LDT-ANT1C3BK
という物でした。

製品紹介によると、これをTVアンテナケーブルにつなげば、1.5mの範囲で電波が飛ぶ物と記載されていましたが、レビューでは「期待しすぎ」「全く使えず」「ぴったりくっつければ受信可能」など色々でした。

IMG_0602

続きを読む «…»

書籍紹介 – 「ITエンジニアのゼロから始める英語勉強法」、「英語は絶対、勉強するな!」シリーズ

私は、中学校、高校ともに英語の成績は5段階評価で2した。

プログラムしてても、今現在、技術関連の英文をなんとなーく(それとなーく)感じ取れる程度です。

話せなくても読み書き出きれば良いと思っていったのですが英文読んでも「カタカナ発音」で覚えちゃうんですよね。
それじゃいかんなーとおもってるときに、またまたAmazonさんが「これはいかが?」と言ってきたので買ってみました。

書籍紹介 - 「ITエンジニアのゼロから始める英語勉強法」、「英語は絶対、勉強するな!」シリーズ(1)

 

この本の内容としては、いま流行り?(もう終わった?)「スピードほにゃらら」に似たような事がかかれ、とにかくネイティブの発音を聞き続け耳を慣らせと。
そのうちに意味がわからずとも聞き取れるようになる。
そうしてから、個々の文について勉強しろ。
みたいなことが書かれています。

この本を読んでいくと「英語は絶対、勉強するな!」の事がよく出てくるのでこちらも買ってみました。

書籍紹介 - 「ITエンジニアのゼロから始める英語勉強法」、「英語は絶対、勉強するな!」シリーズ(2)

 

最初「英語は絶対、勉強するな!」を購入し付属CDを聞いたのですが、早くてなかなか聞き取れなく。
次に「英語は絶対、勉強するな! 入門編」と「英語は絶対、勉強するな! 超初級編」を購入してみました。

「超初級編」の付属CDは、少しスローテンポの会話で現在の私の能力でもそれなりに聞き取れ、意味も理解できました。

続きを読む «…»

寒さに対抗 まだ戦力はある・・・ (2013/12/14) by 札幌

先ほど投稿した
寒さに負ける (2013/12/14) by 札幌

の数分後に、まだ負けるわけにはいかないと思い、戦友を探してみた。

「だが戦力はある。戦力は、まだあるさ」( by後藤隊長)

そうだ、メインマシンを稼働させればまだいけるかも?!w

メインマシン 「HP ML110 G6改」お前だって一応サーバの端くれやればできる子じゃないか?
(最大350W?) CPUやらHDD部品想定で、平常時80W程度?の排熱が出せるではないか。

あと、3台の24インチモニターもある。
2台のLED化されたやつらはチッポケも熱くならんが、10年前に買った「DELLの24インチ」お前なんて夏、クーラーが欲しいと思わせるくらいの排熱を出せるじゃないか。頑張ればできる子のはず!。

UPSを見ると300W以下のLEDが点灯中。
行けるか・・・。

えー、現在作業部屋(サーバラックがある部屋)の室温10度。
居間の温度6度。
寝室の温度2度。
外気温;-4度

装備:半そでTシャツ、トランクス1枚

まだ踏ん張れるか・・・・?!。

IMG_0153

 

IMG_0154

皆さんも、何かに無意味に挑んでみたいことないですか???

【以前の記事】
さて皆さん、札幌ではそろそろ自転車の季節ですw (12月08日)

 

あと一つ注意点として

このようなアホな挑戦をするときは雪国では「水道の元栓」を閉め水を落としてください。
配管が凍る可能性がありますので。

トイレも忘れずにね!

 

限界を超えるための眠気覚まし – (個人的にあまりお勧めしません)

前回の記事
試してみた – 慢性あくび症の私があくび改善の為にやってみたこと。(と、少し改善された事)

で思いだしましたが、20代後半に出入りしていたシステム会社で、私が机に向かってずっとあくびしてるので、「眠そうだね。これ飲んでみる?」と、海外製サプリをもらいました。

※国によって規制も体質も違うので、個人の責任において飲むなり飲まないなりしてください。
私は責任をおえませんので。

それが

Natural Balance 社製
「ターボチャージ」
というサプリでした。

ターボチャージ

検索すると効果とか色々出てくるかと思いますが、その中で「眠気を感じなくする」効果があるようで1錠飲むと約6時間ほど眠気が吹き飛びます。(副作用とし、若干頭が火照ることもあるらしいです)

検索すると、輸入代理店がかなり引っかかり高いところでは「60錠入り」で4,000円もするところもありますが、本来そんな高価な物じゃありませんのでそういうところでは買わないでください

私が利用してたのは
「BSDサプリメント」
http://www.bsdietshop.jp/

「NATURAL BARANCE社 – ターボチャージ」
http://www.bsdietshop.jp/shop/shopdetail.html?brandcode=008003000014&search=%A5%BF%A1%BC%A5%DC&sort=

こちらで、1600円で購入しました。

 

後この錠剤の恐ろしい所は、6時間で切れかけたところでまた飲むとまた6時間ほど効果が出、その後また飲むとまた6時間効果が出るという代物でした。
私はこれで、1度、納期がどうしても間に合わない案件があり、飲み続け3日寝ないで4日目に倒れこみました・・・
上記のように何度も飲むと、神経的に耐えれても、体が持ちませんのでその後のリバウンドはすごいです。

1錠程度であればなんてことはないです。
次の日も普通に動けます。

上部にも記載しましたが、自己責任でお願いします。

こういう仕事をしてると、やむを得ず徹夜後にまだ続くというとても悲惨なこともあり得るので、ユンケルで効かなくなってもこれは、恐ろしいほどに効果ありました。
ユンケルも、効果とともに高額になっていき、1本3000円のまではゲーム屋の時に試しましたが(--; あんな高いものおいそれと飲めません。

私も、今はもうそんな物飲まないで出来る様、スケジュール管理を調整するようにしてます。
もう、年ですしねw