后来虞翻调任富春县长。孙策去世的消息传来，各县官吏都想离开属地去奔丧，虞翻劝阻说：“恐怕邻县的山民会趁机作乱，要是我们都离开城池远奔奔丧，必然会发生意外。” 于是他留在任上，穿着丧服办公守丧。其他县都效仿他的做法，全境因此保持安宁。（《吴书》记载：孙策去世后，孙权接管政事。定武中郎将孙暠是孙策的堂兄，驻守乌程，整顿兵马，想夺取会稽郡。会稽郡得知消息后，让百姓守城等待继位君主的命令，同时派人劝谕孙暠。《会稽典录》记载虞翻劝说孙暠：“讨逆将军孙策英年早逝，如今掌管事务统领部众的，应当是孝廉孙权。我已经和全郡官吏士人环城坚守，必定会拼出性命，为孝廉清除祸害，希望您好好考虑。” 孙暠于是退兵。臣松之按：这两种书记载孙策去世时，虞翻还担任功曹，与本传记载不同。）后来虞翻被州府推举为茂才，汉朝征召他为侍御史，曹操任司空时也征召他，他都没有接受。（《吴书》记载：虞翻听说曹操征召，说：“盗跖想用剩余财物玷污良家子弟吗？” 于是拒绝接受。）虞翻给少府孔融写信，还附上自己所着的《易注》。孔融回信说：“听说延陵季子精通乐律，如今看到您研究《易经》的成果，才知道东南地区的珍宝，不只是会稽的竹箭啊。又看您观察天象云气，推测寒暑变化，推断祸福吉凶，都与神灵相合，可以说是探索深奥道理、通晓变化规律的人了。” 会稽东部都尉张纮也给孔融写信说：“虞仲翔之前常被议论者非议，但他如同美玉为质，经过雕琢打磨更加光彩，这些非议不足以损害他。”
孙权任命虞翻为骑都尉。虞翻多次直言进谏，违逆孙权心意，孙权很不高兴。加上他性格不合世俗，常被人诽谤诋毁，最终因罪被贬到丹杨泾县。吕蒙谋划攻取关羽时，称病返回建业，因为虞翻懂医术，就请求让他跟随自己，其实是想借此机会让虞翻得到释放。后来吕蒙率军西进，南郡太守麋芳打开城门投降。吕蒙还没占据郡城，就在沙滩上设宴奏乐，虞翻对吕蒙说：“现在真心归降的只有麋将军一人，城中的人怎能完全相信？为什么不赶紧进城控制城门钥匙呢？” 吕蒙立即采纳了他的建议。当时城中果然有人埋伏作乱，全靠虞翻的计谋才没能得逞。关羽战败后，孙权让虞翻占卜，得到兑下坎上的 “节” 卦，第五爻变动成为 “临” 卦，虞翻说：“不出两天，关羽必定断头。” 结果真如他所说。孙权说：“你虽然比不上伏羲，但可以和东方朔相比了。”
魏将于禁被关羽俘获，关押在城中，孙权到后释放了他，还请他见面。有一天，孙权骑马外出，拉着于禁并肩而行，虞翻呵斥于禁说：“你这个投降的俘虏，竟敢和我们君主并马而行！” 说着就举起马鞭要打于禁，孙权连忙呵斥制止。后来孙权在楼船上宴请群臣，于禁听到音乐声流下眼泪，虞翻又说：“你想用伪装的悲痛求得赦免吗？” 孙权听了心里很不舒服。（《吴书》记载：后来孙权与魏国和好，想遣送于禁返回北方，虞翻又劝谏说：“于禁战败损失几万大军，自己成了俘虏，又不能以死明志。北方熟悉军政，得到于禁必定不会像我们预想的那样。遣送他回去虽然没什么损失，但就像放走盗贼，不如斩杀他来告诫三军，表明做臣子有二心的下场。” 孙权没有听从。群臣送别于禁时，虞翻对于禁说：“你不要以为吴国没有能人，只是我的计谋没被采用罢了。” 于禁虽然被虞翻厌恶，却仍然极力称赞他，魏文帝曹丕还常为虞翻设置虚位表示敬意。）孙权成为吴王后，在宴会结束时，亲自起身劝酒，虞翻趴在地上装醉，不接酒杯。孙权离开后，他立刻坐了起来。孙权因此大怒，拔剑就要砍他，在座的人都惶恐不安，只有大农刘基起身抱住孙权劝谏说：“大王在饮酒三杯后杀贤士，即使虞翻有罪，天下人谁会知道？况且大王因为能容纳贤才聚集众人，所以海内之人望风归附，现在一旦抛弃这个名声，值得吗？” 孙权说：“曹操尚且杀了孔融，我杀个虞翻又算什么？” 刘基说：“曹操轻易杀害士人，天下人都非议他。大王亲自施行德义，想要和尧舜比美，怎么能把自己和他相比呢？” 虞翻因此得以免死。孙权于是告诫左右侍从，从今往后酒后说要杀人，都不能当真执行。
虞翻曾经乘船出行，与麋芳相遇，麋芳船上的人大多想让虞翻回避，先导人员喊：“回避将军的船！” 虞翻厉声说：“失去忠诚和信用，凭什么侍奉君主？倾覆了人家两座城池，还敢称将军，合适吗？” 麋芳关上船窗不回应，急忙让船避开。后来虞翻乘车出行，又经过麋芳的营门，官吏关闭营门，车子无法通过。虞翻又发怒说：“该关闭时反而打开，该打开时反而关闭，难道符合事理吗？” 麋芳听到后，脸上露出惭愧的神色。
虞翻性格粗犷直率，多次因为喝酒惹出麻烦。有一次孙权和张昭谈论神仙之事，虞翻指着张昭说：“你们都是死人，却在这里空谈神仙，世上哪有什么仙人！” 孙权对他的积怨由来已久，这次终于爆发，于是把虞翻流放到交州。即便身处流放之地，虞翻讲学的热情也从未减退，门下弟子常常有几百人。（《虞翻别传》记载：孙权称帝后，虞翻趁机上书说：“陛下具备圣明的德行，怀有舜、禹那样的孝心，顺应天命时机，拯救天下百姓。臣听闻陛下接受天命登基，独自欢欣鼓舞。可惜臣因罪被流放，与朝廷隔绝，没有机会朝拜庆贺，仰望皇宫，心中又喜又悲。臣自我反省，性命比雀鼠还轻，本性如毫厘般微小，犯下的罪过极大，本应处死，却承蒙陛下九年的宽恕，本该受死却屡次得以存活，才能苟延残喘至今。臣已年过六十，反思过错心中忧愤，如今形容憔悴，头发花白牙齿脱落，虽未死去，却哀伤终将默默无闻地离世，看不见皇宫百官的盛况，看不到皇家车马的华美，听不到百姓对陛下的歌颂，听不到钟鼓和谐的乐章，只能永远沉沦在海边，尸骨抛在偏远之地，心中不胜悲伤思念。如今陛下登基的大庆典如此喜乐，让臣暂时忘记了罪责。”）他还为《老子》《论语》《国语》作注，这些着作都流传于世。（《虞翻别传》记载：虞翻当初完成《易注》时，上奏说：“臣听说六经的根基，莫过于阴阳之道，所以伏羲仰望天空的星象，创立八卦，观察变化把六爻发展为六十四卦，用来通达神明之意，类比万物之情。臣的高祖父曾任零陵太守虞光，年轻时研究《孟氏易》；曾祖父曾任平舆县令虞成，继承了他的学业；到祖父虞凤时，对易学的研究最为精深；臣已故的父亲曾任日南太守虞歆，从虞凤那里继承学业，家中保存着祖传的旧书，易学在我家已经传承了五代。前人讲解易学，大多沉迷于章句之学，即使有隐秘的说法，也与经文主旨相距甚远。臣生逢乱世，在军旅中长大，在战鼓声中研习经书，在战马之上探讨学问，承蒙先师的教诲，依据经文撰写注释。另外臣郡里的官吏陈桃梦见臣与道士相遇，道士披散头发穿着鹿皮裘，展示《易经》的六爻，拨弄其中三爻让臣喝下，臣请求全部吞下。道士说易学之道在于天意，三爻就足够了。难道是臣受命于天，应当通晓经学吗？臣阅览各家注解都脱离不了世俗之见，释义有不符合实际之处，就全部加以改定，以求得正确的理解。孔子说：‘乾元用九而天下治。’圣人面南而坐治理天下，大概取法于离卦，这实在是天子应当调和阴阳、招来麒麟凤凰的方法啊。臣恭敬地校正书稿副本呈上，希望陛下不要降罪。”