一方面，随着油气勘探与开发事业的发展，必然对钻井的类型和技术内容提出新的要求并有更高的期望，从而促进钻井技术内容的不断创新；另一方面，由于钻井费用在石油工业勘探开发费用中占有50%～80%的份额，所以不断提高钻井技术水平和工程效率就成为石油公司降低勘探开发成本的主要着力点。概括起来讲，油气钻井技术发展的主要目标一是满足油气勘探开发的目标需求及提高勘探开发整体效益；二是提高钻井工程效率，降低钻井工程直接成本。
高压高温井、深井超深井、特殊工艺井(包括定向井、水平井、大位移井、复杂结构井、丛式井、欠平衡钻井及套管钻井等)、小井眼及随钻测量(包括几何、地质及力学的测量)等，都是适应不同的油气勘探开发需求而提出来的，这既是对传统钻井工艺的挑战，也是促使钻井技术不断发展的机遇和动力。
从现状和发展趋势来看，在进入21世纪后，旋转钻井仍将是油气工业最主要的钻井方法。旋转钻井又分为转盘旋转钻井、井下动力钻井及二者兼备的复合旋转钻井等不同的方式。转盘旋转钻井是整个钻柱处于旋转运动状态，同时带动钻头旋转钻进；井下动力钻井是井下动力钻具的转子带动钻头旋转钻进，转盘及整个钻柱可以不旋转；复合旋转钻井则是在使用井下动力钻具的同时又开动转盘旋转钻进。研究和实践证明，每一种旋转钻井方式都具有各自不同的钻井特性和优缺点。其中，复合旋转钻井方式在一定程度上兼备转盘钻和井下动力钻的优点，既可连续控制井眼轨迹和减少起下钻次数，同时还能提高机械钻速，是一种比较高效的可控钻井方式，今后应对这种钻井方式的系统动力学特性进行深入研究与试验。
在20世纪80年代，随着定向井和水平井钻井技术的发展，导向钻井系统应运而生，具有弯外壳或偏心稳定器的井下动力马达(称之为“导向马达”)替代了直杆动力马达和弯接头。将导向马达与无线随钻测斜系统相结合，成功地实现了定向井和水平井钻井的几何导向。在此基础上，1989年开发成功第一代无线随钻测井系统，使定向钻井技术由几何导向发展到地质导向。为了有效地控制水平井的“切线段”和“水平段”或实现井眼轨迹的连续定向控制，在应用导向钻井系统实施井下动力滑动钻进的基础上，提出了复合旋转钻井方式。具有反向双弯 (DTU)或单弯双稳定器的螺杆钻具组合，以及带偏心稳定器的涡轮钻具组合等，均在复合旋转钻井中获得成功应用。
无论是钻何种类型的油气井，还是采用何种旋转钻井方式，都存在着钻井效率问题，这也是钻井技术研究与发展的本质所在。影响钻井效率的主要问题可归结为钻进时的“间断”。目前造成“间断”的主要原因包括：接单根、更换钻头和底部钻具组合等，钻具失效，井眼失稳(漏、塌、喷、卡、阻)，纠斜作业，非随钻测量，达不到最优决策，以及多层次井身结构等。为了减少钻进“间断”，必须不断研究和提高钻井整体技术和装备水平，尤其是信息化、智能化及自动化钻井技术的研究与开发需要不断加强。
在旋转钻井领域一直处于领先地位的美国为了保持其技术优势，1995年启动了一项重大的长期研究和开发计划，称为“国家先进的钻井与掘进技术”(The National Advanced Drilling & Excavation Technologies，简称NADET)。前期的基础研究主要由政府率先资助，后期大规模的技术和产品研究与开发(R&D)则主要靠工矿企业投入巨额资金。通过该项研究与开发，预期在岩石破碎(高效破岩)、井眼净化(洗井)及井眼稳定等方面将有所革新(evolutionary)，在钻头、岩石和井眼的测量与评价以及定向控制等方面有所革命(revolutionary)。该项计划的核心任务是要长期致力于一种智能钻井系统(The Smart Drilling Systems)的研究与开发。
智能钻井系统包括地面和井下两个组成部分。井下智能钻井系统一般由井下执行机构、测量系统及控制系统组成。在钻进过程中，井下执行机构的动作应根据控制系统的指令来完成，而控制系统所发出的指令则应根据设计井的要求及实钻测量反馈信号来确定。井下智能钻井系统的未来发展必将以井下执行机构(底部钻具组合)的不断更新、测量系统的不断完善及自动化控制程度的不断提高为基本特征。
井下智能钻井系统的最终发展目标是“地下钻掘机器人”，井下执行机构好比是机器人的手，控制系统好比是机器人的大脑，而测量系统则好比是机器人的眼睛和其他的感觉器官。这种地下钻掘机器人不同于一般的工业机器人，它必须能够在地下极其复杂的地质环境及非常恶劣的工况下进行有效的工作，必须能够精确探测前方和周围的地质环境及本身的状态，进而作出正确的分析和决策，并且能够自动适应所处的工作环境，沿着预定的路线或要求到达地下终极目标，胜利完成人类赋予它实地探察地下资源并加以开采的神圣任务。这种地下钻掘机器人，是自动化钻井的核心，将是多种高新技术和产品的进一步研发及其微型化集成的结果，代表着未来钻井与掘进技术的发展趋势，可望在21世纪前半叶实现。
