本发明公开了一种无损视频编码的率失真优化方法及相应的编码方法,所述优化方法包括:对于一个视频帧的未编码的CU,若其左边、上边和左上边都不存在相邻的已编码的CU,则对该未编码的CU进行粗略RDO的参数α和β进行赋值,否则根据其左边、上边和左上边的至少一个已编码的CU来计算该未编码的CU进行粗略RDO的参数α和β,其中Rresidue=αDrough+β,参数α和β基于已编码CU的候选模式的Drough、RpredInf和Rtotal数据,通过最小二乘回归算法获得。本发明充分利用了HEVC既有的编码结构,保持了原有标准中的语义和语法结构,在编码复杂度上和HEVC原有技术几乎一样,在RA‑Main、LDB‑Main和LDP‑Main三种编码环境下比特率平均降低了1.0‑1.3%。