MapReduce @ クラウド研究会

竹嵜さんにご招待いただいてクラウド研究会に参加しました。


今回のネタは丸山先生のMapReduce。　Googleの論文からはじまり、Map, GroupBy (Shuffling), Reduce の各部分で何をするのかといった内容とか、この環境での Fault tolerant とか。


昔のY社にいたときには、大量のログを分析するとか、大量にあるテキストを処理するとか、そういうネタがあって MapReduce な環境がほしかったんだけど、最近だとそれほどの量のデータを扱う仕事がないからなぁ。。　仕事がないのなら仕事を作り上げればいいんだろうけど。


あとは「どんな状況の時にMapReduceが使えるのか」なんていう話があったのだが、僕的には「大量のデータがあって、それをバッチ処理なりで回すといった使い方には使いやすいんじゃないか」なんて思うんですけどね。


久しぶりに大規模データの取り扱いなネタのお話で、楽しかったです。

コメント

コメントを投稿

このブログの人気の投稿

パスワードを覚えるのも無理があるから、パスワードマネージャ使いましょう。

皆さんにこのような話を毎度行っているので、まとめて書いておきます。 結論→ Webブラウザのパスワードマネージャか、 Lastpass か 1Password を使いましょう。値段が安いものならばLastpassを、使い勝手が良さそうなのは1Passwordかも。 最近10年ぐらいのアカウント情報漏洩の傾向を見ているとこのような具合になっている。 ある一箇所でIDとパスワードが漏洩する。  サーバに保存されているパスワードが暗号化されていない事がある。 IDに使っているのはメールアドレスや携帯電話番号であることが多い。 ユーザは他のWebサイトやサービスと同じパスワード文字列を使い回すことが多い。 漏洩したメールアドレスとパスワードの組み合わせは、他のサイトやサービスでも使い回されていることがある。 ということで、実際に漏洩したIDとパスワードのリストで、他のWebサイトへの不正侵入が試みられていたりします。そして多くの人が不正侵入に会っています。 ここまでくると、いくつかの常識は見直したほうが良い。 サイトやサービスがIDパスワードの十分な漏洩対策をしているとは思えない。 入力したメールアドレスとパスワードは漏洩するものだと考えるべき。 メールアドレスとパスワードが漏洩した場合、漏洩元の事業者との間での損害に留めておきたい。他の業者での無断発注などに繋がった場合は他の業者は補償してくれない。 例えば通販サイトと銀行のインターネットバンキングで使っていたパスワードが一致して、通販サイトからパスワードが漏洩した場合。銀行のインターネットバンキングに不正侵入されて引き出されたお金は補償してくれない。 ここまで来ると、各サイトやサービスで別のパスワードを使うしかない。 パスワードは紙などに書かず覚えておくように、と言われていたが、各サイトやサービスごとの別々のパスワードを記憶するのは無理である。となると紙よりは安全な何かに保存したいところ。 少なくともExcelシートとかに記録するよりは安全なものを。 最近はPCやスマートフォンを使うようになったので、できればパスワードの記録は複数マシンの間で共有できるものを。 各サイトやサービスごとにパスワードを設定するにも、人間が考えているうちは似たようなパスワードを設定しがちである。例えば masaruyokoi というパスワー
続きを読む

大型特殊自動車免許を取った時の話。

イメージ
 2018年5月2日というゴールデンウィーク中で仕事の休みが取りやすい時期に、大型特殊自動車免許を運転免許試験場での技能試験(いわゆる一発試験) で取ってきました。Blog記事の取り込みとかしていたところ、このネタを書いていなかったことに気づいたので、いまさら書きます。 そろそろ前回の青切符の違反から5年以上経過したのと、半年ぐらいあとに自動車保険の契約更新があるので、この際だから運転免許証をゴールドに強制変更すべく種別の追加をしようと思い、まだ取得していない第1種大型特殊自動車免許を取りに行くことに。 10年ぐらい前に府中で3回ほど試験を受けた気がするのだが、当時も仕事がだんだんと忙しくなったりして試験に行きづらくなり、大型特殊を取得することなく終わった気がする。 当時は鮫洲の試験場が首都高一号線の用地確保とか庁舎老朽化のために試験コースと庁舎を改築していて、大型・牽引・大特の技能試験を行っていなかった。他の車種がどうだったかまでは覚えていない。 まずは試験の申し込みに行ったのが2018年1月30日。初回の試験が3月6日という受験票の写真が残っていました。2回目は4月5日、3回目は5月2日と3回試験を受けております。試験の予約をする具合なのですが、このときはだいたい1ヶ月ぐらいあとの日程だと予約が取れたようです。昔府中の試験を受けていたときは2,3週間あとの予約が取れていたので、受験者数が多いんでしょうかね。 試験場の中の写真が取れないので大した記録がないのですが、4月5日には試験場の食堂でラーメンを食べたようです。試験場ではいつもラーメンですね。 5月2日の試験でやっと取れました。1回目2回目あたりの試験では、大型特殊特有なハンドル操作などになれていなかったり、車道の左側に寄っていなかったりで減点が多くて終了していました。車庫入れというか方向転換あたりは特に困らずに入るので、通常の周回コースとかでの車両感覚が掴めて、あの油圧で車体を折り曲げる操舵になれるまでが難しいところでしょうか。ホイールローダー自体が大きく、運転席の場所が1.5m以上の場所にあって車両感覚がつかみにくい、などの部分も練習が必要でしょうかね。 これで運転免許証がゴールドになって、晴れて自動車保険の割引も受けられるようになりました。
続きを読む

車両系建設機械運転者(整地)　の講習

イメージ
相変わらず資格取得の話を。一級小型船舶の次は車両系建設機械運転者(整地)の講習で、川崎大師近くにあるコマツ教習所へ。車両系建設機械運転者(整地)は、いわゆるユンボ/バックホーやパワーショベル、ホイールローダー、ブルドーザーといった地面を掘ったり均したり土砂を動かすための重機を運転するための講習です。 コマツ教習所は昔から話は聞いたことがあり気にはなっていたが、仕事上今すぐ必要な資格の教習でもなかったので、いつか機会があったら取りに行きたいとか思っていた。　一昨年の大型特殊自動車免許を取ったあとに、大特があると受講科目が一部免除になる資格があると聞き、時間があるときにでも取りに行こうかなと思っていた。ちょっとは資格でも取っておこうと思った瞬間に申し込んで、勢いよく申し込んでおいた。 教習風景などの撮影は出来なかったので写真少なめです。ランチは朝8:30までに食堂で食券を購入すると、お弁当を業者さんが持ってきてくれる具合です。何種類か選べられるようになっています。料金は1食520円でコスパ最強でした。 朝の授業は8:30から始まります。初日は7:30から8:15までがCheck-inの時間で、この間に免許証の確認や、受講後に発行される免許証の写真撮影などを行います。初日のCheck-inで撮影される写真が、後で貰える修了証の写真になります。朝早かったので寝癖が付いたまま写真撮影したら、それが修了証カードに印刷されていました。注意です。 1日目は学科の座学で、午前中に1時間×3コマ、午後が1時間×5コマの学科でした。2日目は1時間目が座学、2時間目が学科試験、3時間目から実技で2.5時間ずつ×2コマ、だっけな。そんな構成でした。 座学は先生が重機にまつわる枝葉の話に伸びていって、講義内容も講義時間にギリギリ収まる具合でした。大特や小型車両機械での業務経験があると、学科では構造や取扱方法の分野が省略されます。 小型車両機械での経験のある方ならば知っていそうな内容でしたが、大特を一発試験で取ってきただけの私には知らない世界の話が有ったみたいなので、後で少しだけ自分で教材を読んでおきました。 実技は、ユンボとホイールローダーの操作でした。ユンボではバケットを水平に移動させる練習と、水平に掘って埋め戻す、車両を移動させたり回転させる、といった内容でした。ホイールローダーでは、ホイ
続きを読む