YouTube APIとか
YouTube APIにはquotaという概念があり、簡単に言えば叩けるAPIのリミットの指標で、叩くAPIによって値が異なる。今はこの値が10000/日となっている(昔は1000000とかあったらしい)。
https://developers.google.com/youtube/v3/determine_quota_cost?hl=ja でざっくり計算できて、videoとかchannnelとかのlistを一項目やると3消費するらしい。要するにこの辺のリクエストを飛ばすなら3000回/日くらいということになる。検索とか投稿とか色々やろうと思うともっと大きいquotaを消費する。ページングがあるAPIの場合、全部拾うならページ分のリクエスト数×quotaが消費されてしまう。
昨日は二種類のpartから情報を取るリクエストをそれぞれ動画ごとに叩くということをやっており、結果として1000動画かそこらでリミットに引っかかってしまった。動画1本につき6quotaを消費していたことになるので、妥当っちゃ妥当。
partもそうだが、idもカンマ区切りで入力できるとちゃんとドキュメントに書いてあり、ちゃんとまとめて取得するように改修した結果、余裕で足りるようになった。1リクエストで50本分の情報が取得でき、まとめて二種類のpart情報を取得すると5quotaになるので、動画50本で5quota消費ということになって単純計算で約60倍の効率(ほんとかなあ)。現状にじさんじの動画投稿数はおよそ15000程度であり、とりあえず問題ない水準になったことは間違いなさそう。
RustでDBのcount関数の値を引っ張ってきた値をi32に格納しようとしたらtype conversion error: cannot convert to or from a Postgres value of type int4とかいうのから逃れられず死んでしまった。最終的に↓みたいな感じになって最悪になった。
conn.query("SELECT ~", &[]).unwrap().len().to_string().parse().unwrap()
ローカルで回してるバッチだから別によい(よくない)。
あとはAPIと評価用アプリって感じか。
にじさんじのおたくならご存知だと思いますが再生数トップはぶっちぎりで笹木は嫌われているでした。
進捗
会社で今期中に取る宣言をしていた資格試験をぶち殺したので新聞の開発に着手。
各動画の再生数なんかの情報を使って色々やっていこうと思うので、とりあえずYouTube APIを叩きまくるバッチシステムを作った。
ただAPI叩いてパースしてDBに情報を格納するだけのシステムなのでなんでも良いが、せっかくなので全く触ったことがなく投資価値がありそうなRustで書くことにしたが、あまりにわからなすぎて本当に苦労した。
Rustは雰囲気で書こうとすると即コンパイルエラーで弾かれるので本当にしんどいものの、unsafeなことをやらない前提で、コンパイルさえ通れば堅牢っぽいイメージなのでバチバチにチューニングしたい時はお世話になることがあるのかなって印象。凡人はGoをやれ。
データを揃えるのに必要なAPIのエンドポイントが複数あり、結構取得する情報の性質が異なるので、現状は2つの取得アプリケーションに分離して動かすようにした。適当なポーズはかけているものの、Googleなので安心して叩ける感じ。GraphQLエンドポイントを提供してくれ(もしかしてあるのか?)。
超雑にやろうと思えば、取ってきたパラメータを適当な重みで計算して上位のものを優先して出すようにすればとりあえず出せそうではある。作業しながらYouTubeのレコメンドを見まくっていたのでホンモノのレコメンドはすげえなって思いながらやるなどしていた。
画像がないとさみしいので雑にターミナルのデータを貼った。1年半はもうと言うべきかまだと言うべきか。ちーちゃんの行がおかしいのは多分ターミナルの問題と思われる。
にじさんじ新聞
— 本間ひまわり🌻21時ポケモン (@honmahimawari) September 2, 2019
にじさんじ追いたいけど
忙しくて追えない…
最近の流行りは?新人さん?
いろいろ、知りたい!
そんなあなたに!
ーにじさんじ新聞ー
出ないかなぁ。
既にまとめたサイトやらは色々あるしサービスっぽく動くものもあると思うけど、せっかくWebのエンジニアになったわけだし、勉強がてらレコメンドっぽいの作ろうかなって思った。
まだボタン押すと最近の委員長の動画が並ぶようにしかなってない。
API叩くのもフロントエンドから直接やってるような状態だからお話にならないけど、ちゃんとそのあたりの処理をサーバーサイドで自動化したり、適当なアルゴリズムでおすすめっぽい動画出せるようにしたら公開したいと思っている。
やる気が続いたらね。
(☝︎ ՞ਊ ՞)☝︎
この顔文字インターネットおじさんっぽい
年の瀬なので。
退職
twitterでもちらっと書いたり書かなかったりしましたが今年の秋にまーーーーーーーーーーーーーーーーーーーーた転職しました。人生はままならない。
端的に言えば待遇、仕事内容、人間関係の全てが自分の許容ラインを下回ったからですね。将来不安が日に日に増していき、あー完全に詰んだわ^^って感じでした。
なので転職をするわけですが、化学を活かしつつしっかりしてる会社は大体転勤の問題が付きまといます(それがなければ前々職はやめなかった可能性大)。新卒からわかりきっていつつもだましだましやっていましたが、やっぱり現実は厳しい。都心にいたい気持ちがいつまで続くかは別として、共働きの身で大して高給でもないメーカーに好き勝手居住地を決められるのはちょっと困る。
30も目前とし、大きい方向転換をするならそろそろ限界ラインだろうと考え、この段階で化学系の業種から退く判断をしました。
選択肢として知的財産方面かIT方面の二択がありましたが、何か作ることは続けたいと考えていたこと、IT方面自体は昔から興味があったこと、人材需給状況が結構良いこともあり、そちらの方向に舵取りすることにしました。
比較的就労環境の良いと言われるWeb系(大手SIerは興味的な問題もありますが未経験中途で良い会社はキツいですよね)で、かつ自社開発を希望という結構無謀な希望で求職していましたが、幸い活動早々に現職から内定を頂きました。そこそこ歳重ねてしまった勢いしかない未経験にも関わらず取ってくれたのでホント感謝してます。
現在はWebサービスの会社で開発系のエンジニアをやっています。案外どうにかやっております。待遇も結構有り難く労働環境も良い上、(多分それなりに)モダンな技術を使った仕事をやらせてもらっています。ビジネスが手堅い領域なのも非常に良いです。
今後はどうするんでしょうね。できることが増えてやりたいことが生えてきたり、異常な待遇の会社から声がかかったらまたそのときにでも考えますが、そろそろジョブホッピング芸は慎重になりたい気持ちも強いですね。社会に適合したい。
一発当てたい気持ちはまだありますが、向上心はできるかぎり持ち続けつつも、生活という現実とそろそろ向き合わないとなという感じです。
化学
大学から化学(特に有機化学)にロックインしていたわけですが、それともお別れです。参考書も専門色が強いものを中心に売り払っています。
化学自体は別に嫌いになったわけではなく、単純に食っていく手段として自分の中で不適判定をしただけです。専門的なトピックを上げてくれる某氏とか面白く思っていますし、今でもある材料のある分野(???)については有数の知識水準かと思います。
周囲の反応としては「マジで化学やめんの???」みたいなのと「お前はやると思っていた」の両方でした。
化学の領域ではまあそれなりに頑張ってきたかなという感じなので、少々もったいなく感じる気持ちもなくはないです。一方、研究やら仕事やら真面目にやってきて身につけた能力は専門外でも活きていると感じているので、過去に割いたリソースに関して特に思うところはないです。
最近は化学分野でもITとの融合が注目されつつありますね。特別関心が強いわけではないですが、せっかくの強みなんで活かせる道があれば良いな程度のお気持ちです。
デブ中間報告
1ヶ月前くらいから軽い食事制限と運動をある程度やるようになったので報告します。
食事:大体1500-1800kcal/day程度、以前より炭水化物減、たんぱく質増
運動:筋トレ(力尽きるまで適当)→プロテイン摂取→エアロバイク30分(最近少しサボりがち)
体重計:
こういうやつの体脂肪率はあんま信頼できなそうだけど一応低下傾向っぽい。測定は基本風呂上がり~寝る前あたり。
日々の誤差を丸めるために直近5点平均をとったのが下図(計り忘れて寝るとかあったから正確には5日平均ではないけど)。
精度はさておき、まあ下がりつつあると言えるのではないでしょうか。
今後の計画
そもそも腹凹めたいのが大きいので、筋トレを腹筋メインで進めていく。
皮下脂肪は落ちづらいので地道にやっていく。
追記
防風通聖散飲んでます。漢方とサプリ信者なので。
脂肪燃焼に効くという噂。
日報
日報が流行っているので日報書きます(毎日書くとは言っていない)。
・転職しました
7月1日付け入社しました。引き続き化学系の研究職です。
数年ぶりに有機合成やってます。
・ダイエットまじめにやりはじめてます
白飯の量減らしてカロリー抑えつつ筋トレとエアロバイク回してます。
↓のやつ買って2日目にして固定ピンがぶっ壊れたのでクレーム付けたら即対応してくれました。
売り上げランキング: 862
おしり