1. SPARQLthon31

    - Docker

    SPARQLthonが、職場のある三島での開催の今回。だが、自分は引き続きDockerでbioなツールを動かす系の構築に勤しむ。今回のキーワードは、「ゆくゆくはSPARQLを知らないといけない」。

    前回のhackathon後、de novo transcriptome assembly系のTrinityをDocker上で動かすことを試みた。プ …

  2. ブログ回帰

    twitterによる情報発信に依存するようになってもう5年以上になるだろうか。引っ越しする前の職場では多くのアルバイト学生さんが居て、彼らに自分たちの仕事や状況を伝えるのに便利な …

  3. Picard MarkDuplicates

    NGSな変異解析にはsamtoolsの他にGATKやPicardといったツールを使うらしい。Picardだが、「ピカール」と読むらしい実は「ピカード」という英語発音らしい。インストールはいつものhomebrew。

    [shell] brew install -v picard-tools [/shell]

    いろいろ …

  4. cuffdiffの怪

    cufflinksに含まれるプログラムのcuffdiffは発現差を調べるのに有用なのだが、うまく動かないことも。その場合にしたこととして、 -pまたは--num-threadsで指定するthread数の指定を減らす、それでもダメな場合は1に。 また、IDとNAME両方が一番右っかわのカラムにないとcuffdiffがセグフォするらしい。無理やり書く捨てコード(実 …

  5. samtools sort の並列化

    samtoolsのsortは結構時間がかかります。新しいバージョン(1.2で確認)だと、-@というオプションを付ければ並列化されます。

    [shell] samtools sort -@ 4 -T /tmp/hoge -o hoge_sorted.bam hoge.bam [/shell]

    としたと …

  6. ぼうのブログreloaded

    某所の大規模停電の影響を受けて自宅サーバーのネットワークの不具合が起こり、でこのブログが見れなくなって …

  7. SPARQLthon30

    理研和光にて。NGSなツールたちをDocker上で実行するための検討を引き続き。 そのためにはそれぞれのツールを実際に動かしてみないと、ということでいろんなツールの使い方 …

  8. MacBookProのセットアップ2015

    MacBookProを使える状態にセットアップする機会があり、自分で能動的に入れたものをメモとして残しておく。

    • Xcode: 必須

    • Homebrew: macosx用パッケージマネージャー

    • vagrant: docker on macosx

    • Java: 最初から入っていないので

    • skype: chat用

    • f.lux …

  10. Trinity on docker in Mac

    - Docker

    SPARQLthon29では何故かネットワークの調子も悪く(DHCPが急に取れなくなったり)。容量の大きなFASTQファイルが手元になく、ダウンロードしてくることもかなわず、実行できずじまい。そこで、RNAseqなFASTQファイルを入手してdocker runのテスト。coreos上で [shell] coreos> docker run -it -v pwd:/data aewing …

  12. 次世代モデル生物

    これまで、非モデル生物とか、古典的なモデルでない生物とか、いろんな言い方をしてきた。あらゆる生物種のゲノム配 …

  14. BioDockerthon the last day

    - Docker

    国内版Biohackathon(BH14.14)最終日。これまでやってきたことは

    にすべてアップ。つくったDocker imageは以下の4つ。

    1. hmmemit

    2. debian-hmmsearch

    3. debian-hmmsearch2 (profileHMMと検索対象DBがdocker runの引数として選べる)

    4. ubuntu-tophat

    ubuntu-tophatに関しては、defaultのcoreosでは動かないという問題点あり。現状判明し …

  15. BioDockerthon day4

    - Docker

    国内版Biohackathon(BH14.14)4日目。昨日までのhmmerとは打って変わってより実際的なNGS解析のそれをということで、RNAseqにおけるspliced read mapperとしてデファクト・スタンダードのtophatを実行するそれに挑戦。 tophatのパッケージがdebianにはないらしいということで、ubuntuベースに。昨日まで作っていたhmmsearch用のDockerfileと同様に実行部分はシェルスクリプトに分けて実装。DockerhubのAutomated Buildを利用しているため、ファイル自体はgithubにあるが、再 …

  16. BioDockerthon day3

    - Docker

    国内版Biohackathon(BH14.14)3日目。今日もDockerチームにて。昨日作成したhmmsearchを実行するDockerfileの汎用化。引数としてprofile HMMと検索対象DBを指定できるように。最後の行でしか引数指定できないようなので、別にシェ …

  17. Docker on CoreOS on Mac day2

    - Docker

    国内版Biohackathon(BH14.14)2日目。まずは、昨日の続き。DockerfileをDockerHubに表示したいということで、GitHubとDockerHubの連携をやってみる。

    まずは、'New repository'から新規に作成し(hmmemitという名前)、必要なファイルをgithubに上げる。 [shell] git add Dockerfile Sod_Cu.hmm git commit -m "first commit" git push -u origin master [/shell …

  18. Docker on CoreOS on Mac

    - Docker

    国内版Biohackathon(BH14.14)1日目。色々話しあった結果、Dockerチームとして活動することに。これまでローカルに動かしてきた解析スクリプト(レシピ)をDockerfileとして記述していこうかということで。まずは動かし方を。

    [shell] brew tap phinze …

  21. 2015年の計

    2014年は職場の二度の引っ越し(3月に1回、4月にもう1回)でバタバタしていたこともあり、講演活動は前年ほど回数はなかったものの、新しく移った先近くで複数回実 …

  22. ダブルクリックしてシェルスクリプト実行

    MacOSXでシェルスクリプトなどのスクリプト言語をダブルクリックして実行するには、

    1. スクリプトのファイル名に.commandという拡張子を使う(例: hoge.command)

    2. ファイルに実行権を付与する。すなわち chmod +x hoge.command しておく

    3. スクリプトの先頭 …

  23. tophatのインストール

    Macosxの場合のtophatのインストールコマンド。もちろん、tophatのサイトからバイナリファイルを取ってきてそれを使うのでもいいのですが、tophatから呼び出される依存関係のあるプログラムも同時にインストールしてくれる点でhomebrewが便利なので、こちらを推奨します。

    [shell] brew tap homebrew/science -v brew install -v tophat [/shell]

    sratoolkitは、tophatとは依存関係がないものの、公共NGSデータベースのSRA(Sequence Read Archive)からダウンロードしてきたデータ …

  24. bamの切った貼った

    Reference genome配列に対するmappingの結果ファイル、bam。そこから特定の染色体などの場所を絞り込んだデータだけを作成する場合に以下のsamtoolsのオプションが大変有効です。 複数のbamファイル(1.bam 2.bam 3 …

  26. NO DATABASE, NO RESEARCH. DBCLS

    「種を超えて保存された生理代謝機構の解明に向けて：データベースによるアプローチ」と題して、第37回日本分子生物学会年会にてフォーラムという枠をいただいた。そもそもワーク …

  27. 目訴本

    amazonにも目訴本のエントリが。Ensembl, Jalview, InterPro, GEO/ArrayExpressの項のほか、第1部の「ウェットな研究にデータベースやウェブツールを役立てるための秘訣」とい …

  28. Biohackathon2014終了

    宮城県松島で開催されたBiohackathon2014に参加してきました。目標にあげた、複数のマシンに分かれてやっているAOEのデータ更新の仕組みの統合化とgithubでの公開は達成しました。そして、データ更新も開発者がいる …

  32. Mishima.syk#4

    次回に引き続き、今回も発表させていただく。ただ前回のようにいつもの話じゃなくて、新ネタ披露の場としてみなさ …

  34. justRMAその後

    処理したい生データ(CEL.gzのファイル)だけを実行するdirectoryに集めて、justRMAを実行するのであるが、これらはとくにgzip圧縮を解凍する必要はなく、圧縮されたままでも実行されるようである。同じ生 …

  37. mtr

    あるホストから別のホストまでのネットワーク経路をリスト表示するコマンドtracerouteの今風版のmtrなのだが、homebrewで [shell] brew install mtr [/shell] で簡単にインスト …

  39. ゲノムマッピング結果をwigで表示

    Bowtieなどで単にゲノムマッピングした結果(sam/bam形式)を各位置ごとに数値で表現してみたいというときに。マシンパワーと出力されるデータ量の制限で10塩基刻みでwigに変換するには [shell] samtools mpileup …

  40. 自家製BLAST用DBから必要な配列エントリ取得

    BLASTでヒットがあったエントリの配列データを切り出してきたい時はままあるかと。公共データベースのエントリならtogowsのRESTで取得するなり、ググるなりNCBIで検索するなりで配列データにありつけるかと思います。ところが、自分で作成したDBに対してBLASTした場合にはそうもいかないことがあるわけで。その場合どうする …

  41. github再入門

    某所の講習会でファイルの共有を(バックアップで)やっておく必要が出てきたので、新しいレポジトリを作成する必 …

  44. スパコンユーザー会

    他の方々の使い方を垣間見れて参考になった。公共データベースを利用して、という使い方はそれほどメジャーではなかったものの、そういう要望も出て …

  45. Soylatte事始め

    DBCLS SRA Metadata Search の結果をJSONで取ってくるのを教えてもらったので、備忘録的に。

    まずは出力されるJSONを処理するコマンドとして、jqをインストールしておく。

    [shell] brew install -v jq [/shell]

    で。SRAデータの中で、Study typeが'Transcriptome'、キーワード …

  46. Python Imaging Library

    [http://www.pythonware.com/products/pil/](http://www.pythonware.com/products/pil/)

    から入手できるとのことで、 Python Imaging Library 1.1.7 Source Kit (all platforms) (November 15, 2009) をダウンロード。5年近くアップデートされていないようで、libjpegもfreetypeもすでに入れていたのだが [shell] python setup.py …

  47. 実践コンピュータビジョン

    「実践コンピュータビジョン」(原著: Programming Computer Vision with Python)を本屋で手にとってみてから購入。次の展開にむけた体力づくりのため …

  48. 続・Selenium+PhantomJSで縦長のスクリーンショットを撮る

    前のエントリのSeleniumとPhantomJSを使ってブラウザを起動しないでスクリーンショットを撮るスクリプトの汎用化をpythonの勉強がてら。

    [shell] python scsho.py "http://sra.dbcls.jp/" [/shell]

    以下のスクリプトをscsho.pyとして、コマンドライン引数としてURLを入れることでそのページのスクリーンショットがscshoXXXXX.pngというファイル名で保存されるようにした。XXXXXはそのスクリプトを実行した時のpid(プロセスID)。

    [python] import …

About Me